目前高性能的文件系统有很多种,如Sun的QFS、IBM的GPFS、Quantum的StorNext、Red Hat的GFS、Panasas等。所以,如果要问哪个最好?答案取决于你咨询的对象和你需要的产品。
Quantcast文件系统(QFS)是一个高性能、容错的分布式文件系统,开发该系统是为了支持MapReduce处理或需要顺序读写大文件的应用程序。
Gpfs(通用并行文件系统)是IBM的第一个系统,它起源于IBM SP系统上使用的虚拟共享磁盘技术(VSD)。作为这项技术的核心,GPFS是并行的,它保证了资源组中的所有资源都可以并行访问整个文件系统;此外,可以在同时使用该文件系统的多个节点上安全地实现针对该文件系统的服务操作。GPFS允许客户共享文件,文件可能分布在不同节点的不同硬盘上;它提供了许多标准的UNIX文件系统接口,允许应用程序在其上运行,无需修改或重新编辑。
StorNext通过整合资源,充分保护用户现有的IT投资,通过打破瓶颈和降低消耗来提升数据中心的整体性能,最大程度地简化管理,得到了众多用户的一致认可。
帕纳斯首席营销官Len Rosenthal表示,“一般来说,我们必须与NetApp的OnTap或GX的Tap、EMC、IBM的GPFS、惠普的Polyserve和Sun的开源研究项目(即所谓的Lustre)竞争。”“虽然我们更换了运行Sun QFS的系统,但我们从未与他们展开过真正的竞争销售。”
罗森塔尔表示,quantum的StorNext和惠普的Polyserve最多只能处理16个集群化NFS服务器,因此在大规模NAS需求中并不是挑战。他说,同样,IBM的和Sun的Rosenthal,类似于Panasas的PanFS,是两个并行文件系统,主要用于大学和政府研究机构的笔记存储,因为它们没有足够高的I/O速率或足够多的数据管理工具,如快照。
以上言论来自帕纳萨斯。所以,我们来看看他的竞争对手对这些言论是怎么说的。
IBM(NASDAQ:IBM)GPFS供应经理Todd Neville表示,GPFS可以实现各种安装,包括HPC、零售、媒体和娱乐、金融服务、生命科学、医疗保健、Web 2.0、电信和制造。Neville也对I/O速率要求不屑一顾。
量子公司软件业务总监Greg Nuss给出了更有力的回答,指出Panasas对StorNext能力的评论是完全错误的。
“StorNext集群中的每个节点都可以作为一个独立的NFS服务器,在后端提供一个通用的文件系统名称空”他说。“现在,我们的每个特定节点都支持1000个节点、SAN连接和局域网到群集连接节点。实际上,我们安装了300-40个节点,所以我们通常不在市场上运行Panasas,因为StorNext通常不部署在横向扩展NAS体系结构中,而是在高性能工作流和归档配置中工作。”
同时,惠普也对帕纳萨斯的言论表示了不满。据该公司称,惠普的可扩展NAS对NAS文件服务的服务器节点数量没有限制,因此客户可以放心地在集群中采用它。
“列出的16个服务器节点的限制只是一个测试限制,”HP StorageWorks营销总监伊恩·邓肯说。“许多惠普用户在集群中使用超过16个服务器节点的NAS文件服务。”
Duncan说,Panasas、Sun的QFS、IBM的GPFS和Quantum的StorNext并不是真正对称的文件系统,而是基于主服务器的集群文件系统。无论是数据服务、锁定操作还是两者都有——在传统的单节点系统中很容易配置。然而,Duncan认为,它们的性能和可用性将受到主机服务器内部条件的限制。
“随着服务器的增加,主服务器的负载也随之增加。一旦主服务器出现故障,就会削弱性能,让更多节点遭受损失,”邓肯说。相比之下,4400可扩展NAS文件服务利用HP群集文件系统(CFS)和多个独立服务器来提供更好的可扩展性和可用性,并在出现任何人为或性能限制错误时隔离群集
为了更容易理解,让我们仔细分析一下其中的一些文件系统。
Panasas PanFS
Panasas PanFS并行文件系统是为I/O和带宽高性能对象文件系统设计的应用程序扩展。不像CIFS或NFS,PANAS也支持它。PanFS使用并行DirectFLOW协议,这也是未来pnFS(并行NFS)标准的基础,是即将发布的NFS 4.1版本的主要改进部分。Panasas并行存储的主要优势据说是出色的应用性能。
服务器NFS要求所有I/O请求通过单个NAS阵列,而PanFS支持将并行数据从客户端或服务器节点直接传输到存储系统。有了PaNASas,nas采用了数据路径,不再担心I/O瓶颈。例如,Panasas并行存储安装在新墨西哥州洛斯阿拉莫斯国家实验室世界上最高性能的计算机系统上,其在共享文件中的速度接近100 GB/s。
“由于这种架构,Panasas并行存储系统可以达到支持数千个用户/服务器的规模,在超过100GB/s的带宽中形成数万个容量,”Rosenthal说。其他主要功能包括基于软件的RAID体系结构,这使得重建的并行RAID比大多数存储系统快5到10倍
PanFS还包括Panasas分层验证技术,可自动检测和纠正不可恢复的介质故障,这在重建过程中非常重要。最后,通过许多模拟和建模应用程序对该文件系统进行了优化。
需要注意的是,Panasas系统是为文件存储而设计的,不是模块存储。因此,它不适合在面向应用程序(如ERP、顺序登录或CRM)中应用。相反,它更适合有大量用户或服务器节点的大规模文件共享访问系统。
惠普文件服务器
经过并行处理后,惠普服务器表现非常出色,应用市场针对的是中型企业用户,与传统NAS产品相比,他们需要更无缝的应用需求和简单的在线存储容量增长,而不需要服务器中断。HP StorageWorks 4400可扩展NAS文件服务器包括具有双阵列控制器和4.8 TB存储容量的HP StorageWorks 4400企业虚拟阵列、三个文件服务节点、管理和复制软件以及支持Windows或Linux的程序。凭借三个文件服务节点和双阵列控制器,4400可扩展NAS文件服务器没有单点故障。
坏处呢?
“4400可扩展NAS文件服务器不适合吞吐量超过6 GB/S的高性能计算应用,”Duncan说。
昆腾书店
当然,StorNext是所有选择苹果产品的人的选择。未来在媒体丰富的环境下,苹果、Windows或者其他系统一定会互相影响,StorNext也会在类似的环境下广泛使用。例如,StorNext通常用于视频产品中的重复应用,因为它具有处理大容量和高清内容帧率的能力。那么它在网络环境下的表现如何呢?
“StorNext与其他共享文件系统的最大区别在于,StorNext采用了分层归档和足够的磁带支持,因此它在集成方面非常精确,并且主要由OS平台支持,”Nuss说。"没有其他文件系统可以在单个集群环境中支持Linux、Unix、Apple和Windows . "
StorNext文件系统的独特之处在于,它通过完整的归档功能共享文件系统。Nuss说,该系统可以在SAN或LAN环境中快速处理或分发类似的图像、媒体、内容、分析数据和其他类型的高速共享数据库文件。根据文件大小和文件系统中的文件数量,StorNext在高性能数据速率和大容量系统方面都很出色。
通用并行文件系统
IBM的通用并行文件系统(GPFS)并不是很老。
“GPFS是一个高性能、磁盘共享的集群文件系统,支持AIX和Linux,”Iluminata的分析师John Webster说。
GPFS最初是为高性能计算(HPC)而设计的,但现在已经在关系数据库、CRM、Web 2.0、媒体应用、工程、金融应用、数据归档等需要高性能、容错和大容量的系统环境中找到了它。
“GPFS是基于SAN模式的,所有服务器都能知道存储情况,”内维尔说。为了帮助非SAN数据访问,GPFS提供了一个模拟SAN的软件,它允许通过普通网络,如以太网访问数据
在每个文件系统中,数据分布在条带中,因此每个磁盘的带宽可用于服务器生成的单个文件或多个文件集的性能。这种性能可以传递给组成集群的所有节点。GPFS也是一个可配置的服务,因此不存在单点错误。该文件服务器的一个主要特点是,GPFS可以根据集群中的策略信息和不同存储层(包括磁带)中的数据移动,提供类似于ILM工具的数据共享功能。
此外,GPFS还可以应用于文件服务NAS集群的核心,集群的所有节点通过NFS、CIFS、FTP或HTTP同时工作。根据需要,可以在集群中添加或删除更多节点或存储设备。IBM横向扩展文件服务器(SoFS)是基于GPFS的,也具有附件功能。
“由于文件中心的数据和存储仍在快速增长,希望NAS的发展能够跟上基于低功耗组件的HPC、Web服务和其他类似工业应用的发展趋势,这也是GPFS的核心竞争力,”Neville说。
更多
虽然上述大部分厂商都在宣称自己在很多方面的全球优势,但大部分都乐于承认自己在某些方面的弱点。底线是通过现场测试和试用期内的免费使用,来判断不同文件系统在你所要求的环境下的工作状态。
本文只是基于表面事物的介绍。今后,我将组织一篇文章,介绍NetApp、Sun以及一些传统文件系统协议(如CIFS和NFS)的更多数据。毕竟不是每个人都需要超高的性能。
