· [Java论坛][安全论坛][数据库论坛][操作系统论坛]
· [专题] IBM Rational高峰论坛 Windows 7十大功能
· [专题] 史上就危险7月 微软 BizSpark 计划介绍
· [IT技术周刊][IT资源下载专区][病毒求助专区]
· [热点] 我也能做CTO_赛迪连载 赛迪七夕特别行动
· [热点] Chrome 4.0采用V8引擎 Java开发编程规范

满足 Linux 集群的存储需求

发布时间:2006.07.13 17:14     来源:netapp.com    作者:

  1. 摘要

  目前,为了进行高性能计算、服务器集成以及获得高可用性,Linux 集群得到了快速部署和发展,而这对存储提出了非常严峻的挑战。通常情况下,集群会使用各种不同的存储平台来满足共享存储和专用存储等方面的需求,其结果是极大地增加了管理的复杂程度。随着集群规模的扩大,存储解决方案的可扩展性也就日益变得重要。面对这些挑战,Network Appliance 推出了统一存储解决方案。它通过单个存储平台即可满足所有的存储需求,从而大大地简化了管理工作,同时还利用一整套业务连续性软件来保护数据的安全。本文将深入地探讨用于 Linux 集群环境的 Network Appliance 技术的优点以及这两种技术结合后产生的神奇效果。

  2. Linux 集群的迅速流行对存储提出了新的挑战

  目前,Linux 集群正广泛应用于各种各样的计算环境。一个集群由多个通过高速网络互连的低价系统组成,它通常会采用专用软件来协助实现集群功能。现在,人们频繁地使用 Linux 集群来创建集群式高性能计算 (HPC) 系统、进行服务器集成以及保证应用的高可用性。

  有诸多因素促成了 Linux 集群的迅速流行。许多人发现,与专用解决方案相比,Linux 集群不仅在性能方面毫不逊色,甚至还要稍胜一筹,而且还大幅度地降低了总拥有成本 (TCO)。具体说来,成本的降低可归功于以下几个因素:使用价格低廉的硬件和网络、更加简单的管理以及开放源代码软件 (OSS)。

  由于 Linux 属于开放源代码软件,因此,可根据特定环境或应用的具体需要对其进行适当的修改。在 Linux 上运行的许多软件也是开放源代码软件,例如 Beowulf(用于高性能计算)、Apache(用于 Web 服务)和 MySQL(用于数据库)。这样,如果用户的集群中包括数十个甚至数百个节点,那么就可节省一笔数目不菲的许可证费用。由于使用的是低价硬件以及开放源代码软件,因此用户可以创建功能强大而又灵活的集群配置,同时避免陷入受供应商制约的被动局面。

  随着低价服务器的性能和可扩展性不断增强,Linux 集群的性能也随之增强。新近面世的刀片式服务器设计先进,能在单个机柜中密集放置多台高性能服务器。它简化了集群的部署,从而更容易部署大型密集集群。随着 Linux 集群规模日渐扩大,而且功能和数据处理能力日渐增强,现在用户面临一个难题,即需要保证存储系统具有必要的容量、可靠性和性能,使集群能够以最佳性能工作,反过来这又会从整体上降低总拥有成本。

图 1 下一代刀片式服务器设计

  3. Linux 集群环境中存在的存储难题

  对于 Linux 集群给存储带来的主要难题,究其根源可归结于多种存储设备的使用。通常,集群中各服务器都在本地有一些直接连接的存储设备 (DAS)。对于更大的外部存储池,则可通过存储区域网络 (SAN) 来提供。大多数应用还要求在多个节点之间共享某些数据。这可通过网络连接的存储设备 (NAS) 来实现。结果,在一个集群中将形成两个甚至三个截然不同的存储池。NAS 池和 SAN 池分别部署在由不同供应商提供的不同存储平台上,而且各自都有自己独特的管理工具。结果,不仅增加了系统的复杂程度和系统管理员的负担,而且增加了费用。

        图 2 由多种存储设备构成的典型 Linux 集群


  可扩展性和性能对于集群存储来说非常重要,对于共享数据来说尤其如此。随着单个集群节点的功能越来越强大,集群中的节点数目越来越多,NAS 的性能就变得非常关键了。如果采用错误的解决方案,那么即使是最快的服务器硬件也会在性能上受到制约。

  集群能够产生大量的数据。随着数据存储量的增加,关键数据保护工作的难度就越来越大。而且,由于数据可能位于 DAS、SAN 和 NAS 上,所以该问题更加棘手。随着越来越多的关键业务应用加入到 Linux 集群中,单靠磁带备份已难以完全胜任数据保护工作。此时,高级业务连续性解决方案就显得非常必要,但适合于 Linux 环境的解决方案几乎没有。

  目前有名目繁多的存储解决方案可帮助与低价服务器建立连接。但是,集群和单个服务器在存储方面的需求并不相同,而且人们最终往往发现,上述许多解决方案都无法独立完成所有任务。易管理性和可靠性非常重要,而为产品提供必要的服务和技术支持的供应商同样也非常重要。

  4. Network Appliance 的优势 - 越简单越好

  一直以来,Network Appliance 的指导思想都是“越简单越好”,这与 Linux 集群的初衷是完全一致的。Network Appliance 提供集成的软硬件解决方案,它们可简化存储设备的部署和管理。采用 Network Appliance 的统一存储解决方案之后,一个存储平台即可完全满足即便是最复杂的 Linux 集群的存储需求。系统管理员只需管理一个存储平台 - 易于管理正是该平台的主要设计目标之一。借助创新的设计,Network Appliance 可以不必执行许多十分耗时的管理任务。同时,必须进行的管理工作则可利用一套集成的工具来完成。这样就大幅度地降低了存储方面的总拥有成本。INPUT 于 2002 年进行的一项调查表明,与同类解决方案相比,基于 Network Appliance 硬件和软件的存储解决方案可降低高达 60% 的总拥有成本。

  同时,Network Appliance 的存储解决方案还提供了无可比拟的性能和可扩展性。单个存储设备经过扩展后,可存储数以万亿字节的数据,同时还不会降低性能,也不会增加管理难度。

  确保数据的可用性是 Network Appliance 的一个非常重要的目标。Network Appliance 会评测所有已安装设备的数据可用性。通常,单个 NetApp® 存储设备的可用性高达 99.997% 以上,而每年的宕机时间也就数分钟而已。集群设备的可用性就更高了。产品的可靠性来源于简单易用、集成、创新以及测试范围等因素,而非过于复杂的软硬件机制。软硬件从一开始设计和生产完全是为了使产品能够极其可靠地完成特定的任务。而且,Network Appliance 通过获得 SCP 认证的全球支持中心为产品提供业界领先的全天候技术支持。

  Network Appliance 硬件以一整套数据保护软件和业务连续性软件作为补充。对于几乎任何客户,我们都可根据它们的具体需求为其量身定制解决方案。这种解决方案既可以是简单的磁带备份解决方案(使用 Network Appliance 认证合作伙伴提供的业界领先的解决方案),也可以是远程站点同步数据复制解决方案,范围较广。

  5. 统一存储解决方案将您在 Linux 环境中遇到的存储难题一网打尽

  Network Appliance 为 Linux 集群带来的一个重要优势在于统一存储。可对存储设备进行配置,使其在直连配置或 SAN 配置中既能通过 NAS 进行访问,又能通过光纤通道进行访问,从而在单个平台上提供统一的存储解决方案。可部署单台设备来同时满足集群的 NAS、SAN 和 DAS 等需求。也可部署多台设备,让每台设备专门负责提供特定类型的服务。

  不管是部署单台设备还是部署多台设备,都将带来巨大的优越性:由于一个平台即可满足所有存储需求,因此存储的预配置和管理就简单得多,而且更为灵活。使用多个存储池往往会有一些局限性。例如,某个环境可能在 NAS 存储方面资源过剩,而在 SAN 存储方面又嫌不足。通常,如果采用各自独立的 SAN 解决方案和 NAS 解决方案,就无法按需协调存储设备。但如果采用单个存储平台,那么在为满足未来存储量需求制定规划时就要容易得多,而且在满足一些无法预见的要求时也会简单得多。

  Network Appliance 提供了种类齐全的存储设备,可为任何一个 Linux 集群提供合适的解决方案,而不管该集群的规模有多大或者运行的是什么应用程序。Network Appliance 提供具有高可用性的配置(无单点故障),以满足任务关键性应用的需求。Network Appliance 已完全通过了 Oracle 的认证,其产品可在 Oracle® 9i Real Application Cluster 环境中使用。在该环境中,多个节点可对同一个数据库处理事务。

       图 3 使用统一存储的 Linux 集群


  一直以来,如何通过网络在 NAS 设备上进行文件访问这个问题始终是 Linux 和 Linux 集群所要解决的一个难题。Linux 网络文件系统 (Network File System, NFS) 的客户端软件虽然日渐健壮,但它传统上存在某些缺陷。自 1992 年以来,Network Appliance 在 NFS 和 NAS 等领域一直都处于公认的领先地位,它有能力帮助 Linux 集群用户对各个集群节点进行微调,使 NAS 能够达到最佳性能且最为可靠。

  现在,灾难预防和恢复显得比以往任何时候都更重要。几分钟的宕机时间都将带来巨大的损失。如果宕机时间达到数小时,那可能会是灾难性的损失。Network Appliance 存储解决方案可为 Linux 集群提供周全的灾难预防措施,从而保障业务的连续性。由于 Network Appliance 业务连续性解决方案是在存储平台上运行的,因此,集群的操作几乎不会或根本就不会中断。我们可以提供各种各样的解决方案供用户选择,以满足各种需求,例如本地数据备份(使用磁带存储设备或在线存储设备)、防止出错和应用程序错误、防止发生影响整个站点的灾难等。用户可以快速而高效地实施远程站点镜像计划和灾难恢复计划,同时还不会增加管理成本。

NetApp 业务
连续性解决方案
特点优点
磁带备份从 Veritas、Legato、CA 和 HP 等公司众多经过认证的解决方案中加以选择由于选择范围比较大,因此易于与现有的解决方案集成;也可选择最能满足需求的业界领先的解决方案
Snapshot™ 技术每个文件系统可拥有高达 255 个时间点映像
  • 可轻松地恢复丢失或遭破坏的文件
  • 快照时间间隔可能要比磁带备份的时间间隔短得多
  • 为磁带备份提供了一个固定的起始点,并最大限度地缩短了所需的备份停机时间
  • SnapVault™ 至 NearStore™ R100本地或远程备份到在线磁盘,以备灾难恢复
  • 可以高速进行备份和恢复
  • 可更频繁地进行备份,从而降低了丢失数据的风险
  • SnapRestore®在数秒钟之内恢复所有卷或各个文件
  • 在意外删除或遭到破坏之后立即进行恢复
  • 在数秒钟(而非数小时)之内将遭到破坏的数据库恢复到正常运行状态
  • SnapMirror®高速地进行异步数据复制和容错
  • 全局数据可用性和灾难恢复
  • 高效地利用网络
  • SyncMirror™同步数据复制
  • 所复制的数据始终为最新版本,而且随时可供使用
  • 操作对用户完全透明


  •   此外,Network Appliance 在产品支持工作中花费了大量的心血并不断进行创新,以使产品在可用性方面出类拔萃。经过上述努力,该公司的支持流程现在可发现任何潜在的问题并予以解决,从而不会影响数据的可用性。Network Appliance 定制存储解决方案,以满足各客户的特殊要求。NetApp 专业服务可评估特定的业务需求和技术需求,设计存储网络体系结构,部署和管理解决方案。屡获殊荣的 NOW™ (NetApp on the Web)™ 网站也可以提供技术支持、知识解决方案、实时工程支持、客户已安装设备的详细信息等等。

      6. 案例研究 - 美国基因组研究所 (TIGR)

      美国基因组研究所 (The Institute for Genomic Research, TIGR) 是一家处于生物信息学和基因组学发展前沿的非赢利性研究机构。该研究所利用一个由 200 多个节点组成的 Linux 集群来运行各种内外部开发的生物信息学应用程序。该集群由各种各样的单 CPU 系统、双 CPU 系统和四 CPU 系统构成,都运行 RedHat Linux。

      TIGR 选择了一个原始存储量为 12TB 的 NetApp F880C Filer,以满足其在共享存储方面的需求。该 F880C 提供的存储具有较高的可用性,而且在存储基础设施中不存在单点故障。TIGR 在选择存储平台时采用的标准如下(按重要性排序):
    1. 性能
    2. 拥有成本
    3. 可扩展性
      Vadim M. Sapiro 是 TIGR 的 IT 部门主管,据他介绍:“我们基因组研究所部署了一个 F880C 集群系统,供我们的 Linux 集群计算场处理研究数据,其中涉及对基因和基因组进行结构分析、功能分析和比较分析等所得到的数据。这些数据包括 25 个以上对于科学研究来说非常重要的有机体的 DNA 序列信息和蛋白质序列信息。Filer 的简单易用性、可用性和性能满足了我们的研究需要,使我们能够轻松地进行扩展,达到目前的规模,也使我们对未来发展充满了信心”。

    图 4 美国基因组研究所使用的 Linux 集群

      7. 结论

      Network Appliance 存储解决方案的出现为本来就具有高性能、低成本特点的 Linux 集群添加了神来之笔。Network Appliance 在设计存储解决方案时所遵循的许多原则其实也是促使人们部署 Linux 集群的原因,例如优化性能、简化管理以及降低总拥有成本。只有 Network Appliance 所提供的统一存储平台能够满足 Linux 集群的所有存储需求。NetApp 的存储设备非常灵活,而且可以扩展。这些设备可提供极高的可用性,即使是在部署任务关键性应用时也完全适合迅速增长的集群的要求。各种各样的集成业务连续性软件解决方案扩展了 NetApp 硬件的功能,从而在 Linux 环境中实现了业务连续性。Network Appliance 认识到了存储对于任何一种计算的重要性。它专门组建了一个由专业人员组成的技术支持团队,为产品提供强大的技术支持,促进了高级存储系统的部署、维护和支持。


    [ 发表评论 ] 字体[  ] [ 打印 ] [ 进入博客 ] [ 进入论坛 ]  [ 推荐给朋友 ]
      相关文章
    · Linux集群大全 哪种群集适合您 (07-13) · Linux集群使天气预报更准确及时 (07-13)
    · 基于邮件系统的集群负载均衡技术 (07-13) · Linux服务器集群系统 (07-13)
    · 惠普集群解决方案 (07-13) · LVS集群中的IP负载均衡技术 (07-13)
    · 如何架构高性价比的分布式计算机集群 (07-13) · Apache2+Resin2.x集群配置实战 (07-13)
    · Catalyst3750交换机作为千兆位Linux集群互联 (07-13) · 基于Linux集群技术的校园网络中心方案 (07-13)
      客户需求反馈表
    * 姓  名:
    更多资料  了解方案  认识厂商
    * 单位名称:
    * 联系电话:
    * 电子邮件:
    资讯 通信 IT产品 IT技术 信息化
    专题:扭亏为盈 联想09年Q2翻番
    ·专题:Tech·Ed 2009微..
    ·直播:2009互联网大会..
    ·迅雷搜狐"互搏" 谁动了..
    专题:诺基亚危局已现 或重蹈摩托覆辙
    ·六股势力角逐4G标准 中..
    ·专题:联通iPhone并不贵..
    ·专题:排排坐开商店 三..
    商务演示需求分析 多媒体会议室必备投影
    ·VMware在京隆重举行2009..
    ·专题:笔记本频道10月热..
    ·专题:学生机市场 惠普 ..
    专题:Tech.Ed 2009微软技术大会
    ·专题:2009 SYBASE 亚太..
    ·专题:微软新一代桌面操..
    ·专题:2009年第3届CSDN..