1、ibm gpfs并行文件系統解決方案隨著技術的發展，大規模的并行計算的方式激發有關行業對高性能計算機的需求,作為后起之秀的linux 集群系統，吸取了sp 大規模并行機的諸多優勢，ibm的通用并行文件系統gpfs 等和linux 集群系統的竭誠不僅能在并行運算方面的性能得到保障，增強了集群系統的可管理性，而且采用具有高可用性的ibm xseries 服務器，可以大大降低成本。目標市場： 金融行業、氣象局、地質勘探、高校實驗室、生物工程、科研探索等高性能計算領域。ibm gpfs并行文件系統解決方案構成高性能計算機的架構主要以集群為主，整個高性能計算系統在硬件基礎架構上包含計算資源、網絡資源和存

2、儲資源三大部分。在目前主流的采用linux 并行集群架構的高性能計算系統中，計算資源分為計算節點和i/o 節點，計算節點負責運行計算任務，i/o 節點則負責數據的存儲并響應計算節點的讀寫請求，不同計算資源節點之間通過高速網絡進行通信和信息交換。在此次方案中，我們選用的ibm linux 集群系統使用了基于intel xeon 處理器的刀片服務器節點、成熟的集群管理軟件、提供極高的持續帶寬保證的存儲服務器，集中了最好的ibm 高性能設備和技術。不僅能在并行運算方面的性能得到保障，而且增強了集群系統的可管理性和可維護性。采用具有高可用性的ibm xseries 服務器，大大降低了總體成本。同時，數

3、據量的增加，帶來了針對數據的管理，共享，分布，保護等實際需求，市場要求存儲廠商不斷推出適合需求的解決方案和產品。傳統的服務器客戶機網絡結構在性能、可管理性、連接性等方面都達到了極限，而san 是解決這些問題的理想方案。ibm ds3500存儲平臺作為ibm針對大規模并行計算領域有著高性能、高穩定性和易擴展、易管理等特性，十分滿足高性能計算平臺對于存儲設備的要求。在計算節點的選擇上，ibm 建議采用blade center +hs22 刀片, ibm bladecenter 支持最新的intel 和amd 四核處理器,支持業界最快的高達4.0 ghz 的power 6 處理器,以及專用于高性能計

4、算的九核cell 處理器。ibm hs22 是業界功能最強大的刀片，hs22 采用最新的intel nahelem處理器,在集成了ibm bladecenter 傳統的高可靠等優勢的基礎上，性能、功耗和虛擬化的功能都比上一代產品有了顯著提升。io 節點采用ibm 的x3850或者x3650，產品前后端高吞吐量以及靈活組合方式，能提供極高的持續帶寬保證，非常適合做高性能計算環境下持續帶寬要求極高的存儲服務器，顯著提高i/o 節點的處理能力： i/o 節點是提供存貯共享的計算機。為了使任務可以并行執行，每臺執行任務的計算機必須能夠訪問同樣的數據，本方案存貯節點通過集群文件系統（ibm gpfs）來

5、確保數據訪問的同步。 i/o 節點和高性能存儲直接相連，并通過自己的fiber channel i/o 通道將冗余磁盤陣列上的多個分區做成集群并行文件系統gpfs，并向計算節點提供數個唯一路徑且全局共享的文件系統。本方案提供高速的文檔讀寫服務給所有計算節點， 特別適合于有可能會產生大文檔的高性能應用上。通常的io節點機共計4套主機，每個主機為兩塊8gb的高性能hba卡，單io節點連接到san網絡交換機，每個節點配置的帶寬為16gb的帶寬性能，本次測試配置4個io節點，共計有8條8gb 帶寬聯入san核心網絡中，從io節點聯入核心網絡總持續寫入帶寬為6.4gb/s的帶寬。 兩臺ds3500存儲節

6、點，每臺配置8個8gb fc接口聯入san網絡中，共計io帶寬為12.8gb/s. 每臺ds3500存儲節點配置為48塊300g 15k rpm sas及48塊1tb nl 7.2k sas,在每臺ds3500上實現io分級存儲，將核心的頻繁讀寫的io的lun劃分在15k的高速sas存儲上，其它的分布在nl sas上，ibm的gpfs支持hpc的分級io功能。本次方案為雙節點ds3500存儲節點，每個節點連接3個擴展柜，一級存儲容量為300g96 sas共計28tb容量，二級存儲容量為1tb*96 nl sas, 共計存儲容量為96tb.針對ds3500，在全配置8個8gb fc接口的情況下，

7、每個ds3500盤陣可以提供4gb/s的硬盤持續帶寬，兩臺ds3500共計可提供8gb/s的持續帶寬。 在gpfs配置上，我們建議用戶配置2mb的io block size,針對大規模并發運算應采用較大的io讀寫帶寬，在我們提供的gpfs hpc運算方式中，保證用戶為提供最大帶寬，單個gpfs系統并發帶寬可以通過16個8gb fc端口平均分布在這24個lun 上， gpfs系統對lun使用率可以達到90%以上，在這樣的配置下，2臺雙節點的存儲節點帶寬持續可以達到6gb以上。ds3500 存儲節點的優勢：ds3500 系列適合交易型的應用，如數據庫和聯機事務處理，以及吞吐量密集型應用，如高性能計

8、算和流媒體應用。ds3500 系列的線性擴展能力所帶來的性能提升，使其可以滿足最苛刻的應用和發展需求。ds3500的性能已經達到其它廠家中端產品的計算性能，而ds3500是一款具有入門級產品價格的高性能盤陣，從單存儲節點的性價比上，ds3500遠遠高出中端存儲盤陣。ds3500 以高可靠性和高可用性為目標，提供部件冗余、自動故障路徑切換和靈活的在線配置、重構和維護能力，確保您的數據全天候可用。ds3500 系列也可保護存儲的數據的安全： 使用dacstore 技術在每一個磁盤驅動器上存儲配置信息的元數據 堅實的吞吐量，6gbps sas及8gbps fc接口使得ds3500非常適合那些單個存儲

9、系統必須處理大量數據的集群環境 流媒體：大型i/o應用，例如全球轉播，大量的媒體存儲網絡，內容創建，建模及發布都將從ds3500系列提供的額外帶寬中受益。 提供持續的高速緩存備份功能，確保在掉電情況下，高速緩存中的數據仍是安全的。gpfs解決方案優勢：在hpc計算應用領域，gpfs以高安全性著稱，隨著系統節點數的擴充及容量的擴充，gpfs可以實現安全，高效的計算，及大規模的文件共享。先進的仲裁管理機制，確保系統最大程度的可用性，沒有單一故障點, 管理服務器在manager資源池內實現自動故障切換支持多路徑磁盤訪問，一條路徑訪問失敗，可以通過其它路徑實現.支持對元數據和用戶數據做replicat

10、ion，保證系統穩定可靠高性能，在高性能應用領域，fpfs公認是對文件計算以高性能主持，隨著節點熟的增加，gpfs的性能可以線性的增加，滿足了用戶平滑升級的需求。文件存儲采用條帶化技術，單個文件跨節點和存儲系統分布，提高并發訪問性能智能預取機制，通過對文件訪問模式的預測來進行預取，降低讀寫延遲分布式的byte range級鎖管理，包括文件和目錄兩個級別，允許最大程度的并發訪問分布式元數據服務器，避免元數據處理成為系統瓶頸支持客戶端數據緩存，不同節點可以根據需要設置不同的緩存大小數據塊的大小可自定義，16k, 64k, 256k, 512k, 1m，2m，4m對分級存儲的支持 在眾多的hpc并行

11、文件系統軟件中，一些軟件是開源的，但隨著設備io及帶寬要求的增多，不得不配置大量的硬盤，而且針對不同的數據不能按照應用自動的進行分級存儲，而gpfs支持的分級存儲功能，在充分滿足用戶在高性能計算的性能要求外，又充分節省了資源，提高了用戶的roi,保證了用戶的投資。package 1配置：6gb/s io及存儲節點 solution 服務器及網絡設備配置簡表功能組成配置簡要安裝軟件（網絡服務）數量管理服務器ibm system x3650m3服務器2*intelxeonprocessor (2.53ghz 1333mhz fsb, 16gb kit (4x4gb) 1.5v ddr3 rdimm

12、內存ibm 4*300gb 10k 2.5” sas 熱插拔hdd 1* giga ethernet pci-e cardlinuxibm cluster system management (csm)或xcatnis/dns/nfs/dhcp/tftp/ntp/ibm director server1i/o節點ibm system x3650m3服務器2*intelxeonprocessor(2.53ghz 1333mhz fsb, 16gb kit (4x4gb) 1.5v ddr3 rdimm內存ibm 4*300gb 10k 2.5” sas 熱插拔hdd 1* giga ethern

13、et pci-e cardlinuxibm general parallel filesystem (gpfs) server version 3ibm cluster system management (csm/xcat) client.ibm director client4存儲ibm ds3500 8*8gb fc主機接口4gb cache with turbo license48塊300 gb 10k 2.5“ sas硬盤48塊 1tb 7.2k 2.5” nl sas硬盤linux/intel host kit, 4-storage partitionsibm storage ma

14、nagementgpfs support2ip交換機ibm bnt 2個24口千兆以太網交換機bnt管理模塊2gpfs軟件gpfs licese分為server和client 兩種license,價格不同. 對以一個hpc cluster,至少需要一臺gpfs server若干和gpfs clientgpfs server和client都以pvu為單位,按核收費, 70 pvu / corespackage 配置二：12gb/s hpc 計算能力io及存儲節點配置 服務器及網絡設備配置簡表功能組成配置簡要安裝軟件（網絡服務）數量管理服務器ibm system x3650m3服務器2*intel

15、xeonprocessor (2.53ghz 1333mhz fsb, 16gb kit (4x4gb) 1.5v ddr3 rdimm內存ibm 4*300gb 10k 2.5” sas 熱插拔hdd 1* giga ethernet pci-e cardlinuxibm cluster system management (csm)或xcatnis/dns/nfs/dhcp/tftp/ntp/ibm director server1i/o節點ibm system x3850m3服務器2*intelxeonprocessor(2.7ghz 1333mhz fsb, 16gb kit (4x4

16、gb) 1.5v ddr3 rdimm內存ibm 4*300gb 10k 2.5” sas 熱插拔hdd 1* giga ethernet pci-e cardwith 2* 8gb hba cardlinuxibm general parallel filesystem (gpfs) server version 3ibm cluster system management (csm/xcat) client.ibm director client4存儲ibm ds3500 8*8gb fc主機接口4gb cache with turbo license48塊300 gb 10k 2.5“ sas硬盤48塊 1tb 7.2k 2.5” nl sas硬盤