1、第卷第期 中南大學學報自然科學版 392 ( V ol.39No.2 2008年4月 J. Cent. South Univ. (Science and Technology Apr. 2008一種基于SAN 架構的存儲網絡系統的設計與實現張建中1，陳松喬1，方 正2，王書方2(1. 中南大學 信息科學與工程學院，湖南 長沙，410083；2. 中南大學 圖書館，湖南 長沙，410083摘 要：針對數字圖書館對網絡存儲新的需求，分析傳統的DAS ，NAS 和先進的SAN 互聯網絡存儲技術，比較三者的技術差別。運用系統可靠性理論分析SAN 架構的冗余技術及其主要的性能指標體系，論證SAN 的多鏈

2、路并行交換技術的優越性。以此為基礎，提出并設計SAN 架構“雙塔型”網絡存儲解決方案，并根據中南大學數字圖書館資源建設情況，將此方案投入實際上線運行。經過2年運行結果表明，所設計的SAN 架構“雙塔型”網絡存儲解決方案與傳統的DAS 和NAS 比較，突破了響應速度、系統安全和系統容量三大瓶頸。 關鍵詞：數字圖書館；網絡存儲；SAN 架構；可靠性分析；工程設計中圖分類號：TP393 文獻標識碼：A 文章編號：1672-7207(200802035006Design and realization of a network-storage system based on SANZHANG Jian

3、-zhong1, CHEN Song-qiao1, FANG Zheng2, WANG Shu-fang2(1. School of Information Science and Engineering, Central South University,Changsha 410083, China;2. Library of Central South University, Changsha 410083, ChinaAbstract: To satisfy the new demands of network-storage in digital library, the interc

4、onnection technology of Network-Storage for traditional DAS, NAS and advanced SAN, and the differences between them were analyzed and compared. The redundant technology of the SAN construction and its main performance index system were analyzed based on system reliable theory, and the superiority of

5、 the multi-links parallel exchange technology for SAN was given. According to above works, a “twin-tower” type of network-storage on SAN was designed and realized in the library of Central South University. The runs for 2 years show that the frame has the advantages of response speed, system safety

6、and capacity over traditional DAS and NAS.Key words: digital library; network-storage; SAN construction; reliable analyse; project design數字圖書館底部的基礎架構是一族運行在高速網絡中、軟件與硬件協同、可跨庫跨平臺的數字化文獻資源群體。數字圖書館的一般過程是用戶通過元數據(對象屬性的描述體 來調動有價值的圖像、文本、語音、視頻、軟件和科學數據等多種資源對象，實現文獻收集、加工、發布、檢索和原文可視服務等功能。這個過程中，網絡存儲是核心環節。近10年來，數字化文

7、獻的持續增長和多元化需求對網絡存儲的能力提出了新的挑戰，傳統的存儲模式如DAS(Direct Attach Storage 和NAS (Network Attach Storage已經難以適應這種需求，必須研究和開發一種新的網絡存儲方法，能夠對存儲設備和數據實行集中的管理，提供一種獨立于服務器、統一、高可用性和擴展性的網絡存儲框架1。因此，存儲區域網絡(Storage Area Network，簡收稿日期：20070729；修回日期：20070913 基金項目：國家自然科學基金資助項目(50374077通信作者：張建中(1955 ，男，河北崇禮人，教授，博士研究生，從事數字圖書館、信息管理研究

8、；電話E-mail: jzzhang第2期 張建中，等：一種基于SAN 架構的存儲網絡系統的設計與實現351稱SAN 便應運而生。1 DAS，NAS 與SAN 的對比分析DAS 和NAS 是傳統存儲中具有代表性的2種模式。DAS 一般沒有內置服務器，受單臺外置服務器直接控制，需要占據服務器大量的CPU 時間來處理SCSI 指令和數據塊。NAS 將計算與存儲合為一體，可以在以太網中獨立完成文件級的服務。NAS 在很多方面優于DAS ，某些方面優于SAN 。在許多場合，NAS 與SAN 具有互補性。DAS 和NAS 共有的缺陷在于，同一個以太網環境下的存儲設備之間沒有直

9、接的通信鏈路，彼此分立，基本處于單機聯網作業方式，自然地形成局域網中的信息孤島。若DAS 和NAS 通過以太網通信，則又將消耗較大的CPU 和網絡帶寬資源。此外，DAS 和NAS 不能滿足多元化的需求。國內圖書館以往主要采用DAS 和NAS 技術來搭建存儲架構，近年來，許多大型數字圖書館項目的核心都采用SAN 技術。SAN 采用集中式存儲策略，在服務器與存儲設備之間通過交換設備進行連接，將多級存儲器合并成一個集中管理的網絡存儲基礎設施，由SAN 取代服務器實施對整個存儲過程的控制和管理，而服務器只承擔監督工作，這樣，減少了對服務器處理時間的占 用，服務器可以騰出更多的CPU 時間去處理客戶的服

10、務請求，提高了服務器的吞吐能力，并且SAN 中的存儲設備之間可以不通過服務器進行相互備份，減少了因網絡備份而對網絡帶寬的占用量。另外，SAN 是以光纖通道(Fiber Channel，FC 技術為基礎的，FC 可以提供高達4 Gb/s的傳輸速率和長達10 km的傳輸距離，使SAN 具有良好的網絡性能。SAN 可以提供比傳統網絡存儲模式更好的可擴展性、高可用性、容錯性以及可管理性等品質，將成為多媒體信息流存儲、大數據量的快速網絡備份、數據倉庫以及決策支持等應用領域中較理想的存儲 媒介。 SAN 是一種專注于信息存儲、訪問、管理的一個高速的子網，是近年興起的一種全新的存儲理念。這個子網中的設備可以

11、減小主網流量，是一種傳統SCSI 技術與網絡技術相結合的產物。SAN 與服務器、客戶機的數據通信是通過SCSI 命令而非TCP/IP，數據處理是“塊級”(blocklevel，易于實現對數據庫的支持。2 SAN存儲系統設計2.1 FC SAN與IP SAN的比較SAN 的主流技術目前為FC SAN與IP SAN 2種模式，FC(Fiber Channel和iSCSI(Internet SCSI是目前搭建SAN 的2個主流協議，二者本質上都是在網絡報文中傳輸SCSI 指令和業務數據來實現數據傳輸的功能，只是傳輸方式和介質不一樣2。FC 是在SCSI-II 基礎上發展起來的一個傳輸協議，為F 0到

12、F 4 5個層 次，大致對應于OSI 的物理層到運輸層。FC 頂端有一個高層映射協議ULP(Upper-layer Protocol，定義了FC 相對于IP 和SCSI 以及其他上層協議之間的接 口3。可見FC 不能直接與IP 通信，需要通過ULP 接口與FC-IP 轉換網關進行報文轉換。但是，FC 處于OSI 較底層，協議集簡潔，減輕了CPU 的占用量，數據處理速度快。對應于OSI ，iSCSI 4可以大致分為5層，最高端為SCSI ，最低端為IP ，具有流量控制機制、地址機制、超時重發機制等功能。但是，iSCSI 包含IP 協議，協議集比較龐雜，數據處理速度比較慢。此 外，FC 的光纖通道

13、受到距離的限制，一般不超過 10 km，而iSCSI 的通信通道(光纖或其他介質 沒有距離的限制。顯然，對于局域網，FC 是比iSCSI 更好的網絡互連協議；存儲網絡需要跨越遠距離時，或許iSCSI 比FC 更合適，IP SAN更有利于在廣域網中用較低成本來消除SAN 信息孤島。顯而易見，IP SAN與FC SAN各有自己的長處和短處。目前，2個協議的整合工作正在展開，已經推出的協議和產品主要有FCIP 5(網橋 、iFCP 6(網關 等。SAN 架構具有很多優點，例如，SAN 具有很強的擴展性，不僅內部的容量擴充，多個SAN 之間也具有很好的互聯性，甚至IP SAN與FC SAN 2種不同的

14、模式也可以在TCP/IP的基礎上互聯。再如包容性，SAN 有足夠的能力包容DAS 和NAS ，這一方面可以利用原有設備，保護投資；另一方面，也可以在SAN 的統一架構下，充分發揮DAS 和NAS 各自的長處。SAN架構的核心環節是陣列內部的光纖通道和外部的光纖交換設備。2.2 SAN交換并行架構的可靠性分析可靠性是指部件、元件、產品或系統在規定的環境下、規定的時間內、規定條件下無故障地完成其規定功能的概率7。SAN 的性能可以用一組指標來衡量，但是，可靠性是這組指標中最重要的。這里，利用可中南大學學報(自然科學版 第39卷 352靠性R 指標，結合存儲設備平均無故障工作時間指標MTBF(Mea

15、n Time Between Failures，對SAN 交換架構進行討論。FC SAN和IP SAN的典型拓撲分別如圖1和圖2所示，包含存儲、交換、主機和LAN 4個層次，可以看出二者結構非常類似。因為重點是考察存儲系 統，并提供為存儲交換設計的依據，因此，為了方便討論，合理地假定系統存在的環境和條件都非常 好，例如LAN 和電源等其他系統的可靠性恒為1，即。存儲系統則具有不同的可靠性，即1 (t R i i P t R = (。如果一個系統A 由多個子系統組成，A 的功能由子系統的功能集合完成時，子系統的可靠性分別為概率P i ，則全系統的可靠性取決于子系統的組合方 式。圖1和圖2中，主機

16、層到存儲層，都使用了2臺交換機。在計算和數據交換的邏輯過程中，1臺主機 圖 1 FC SAN 結構圖 Fig.1 Structure of FC SAN 圖 2 IP SAN 結構圖 Fig.2 Structure of IP SAN通過1臺交換機訪問存儲層中任何一套設備，可以看作是串聯模型，同時，通過2臺交換機訪問存儲層中任何一套設備可以看作是并聯模型。因此，主機層與存儲層之間的關系可以簡化為任務型的串聯和并聯模型。這2種方式在概率論和可靠性理論中都有嚴格的數學推導。對于n 個子系統串聯的系統，其可靠性的概率為8： =×××=ni i n P P P P R 1

17、21c L 串。 當各個子系統可靠性為等概率時，串聯系統的可靠性。 (2同理，n 個子系統的并聯系統，其可靠性為： (1為：n P R =串c= 1( 1( 1(1(1P P P P R L L21c n i 并=ni i P 11(1。 (3子系統可靠性為等概率時，并聯系統的可靠性為：c 并n P R 1(1=。 (4111 1(1(1212121c c +=P P P P P P R R 串并。 (5因為11P 與21P 都是大于1的數，故式(5的結果大于 1。可靠性R 指標是時間t ，無論什么系統，表 1 SAN結構的并聯與串聯方式的可靠性對比 Tab ion可靠性串并c c /R R的

18、函數隨著時間的推移，R 將會減小，即可靠性降低。當P 1與P 2都非常大時，式(5比值趨近1，而當P 1與P 2 都比較小時，式(5比值逐漸趨大。可見長期運行之 后，并聯的可靠性遠遠高于串聯，而且并聯的支數越多，可靠性越高。例如，交換機的可靠性一般高于0.9，若干年后，下降至0.5，假定系統的可靠性為等概率，則SAN 結構的并聯與串聯方式的可靠性對比見表1。le 1 Comparison between parallel and series connectmodes based on SAN并c R串c RR 0.990.811.22 1=R 20.9 R 1=R 2=0.5 0.750.2

19、53.00從表1可以看出，并聯的可靠性均比串聯的可靠性高，隨著時間推移，這種變化關系更加明顯。當系第2期 張建中，等：一種基于SAN 架構的存儲網絡系統的設計與實現 353統的可靠性為不等概率時同樣可得出相同的結論。并聯的等效方式還可以稱為冗余方式，實踐證明冗余技術在保證系統可靠運行方面發揮了很大作用。此 外，并聯技術也是一種并行計算的技術，同時也具有流量分配、負載均衡等優點。實際上，網絡存儲的其他環節，例如磁盤陣列、服務器、電源等設備的內部，也有大量的冗余設計，以提高可靠性。一個陣列光纖通道的實驗表明，并聯比串聯的數據讀的傳輸率提高12%51%，而響應時間下降18%33%。當然，這也并非并聯

20、回路越多越好，當并聯數增加到一定程度時，由于受PCI 總線的帶寬限制，會形成瓶頸，阻礙RAID 的傳輸率的進一步提高9。設備或系統經常用平均無故障時間來表達總體可靠性，例如EMC 公司某磁盤陣列中端產品的平均無故障時間大于8萬h ，高端產品可高達12萬h 。當然，不同級別的產品，部件冗余量不同，需要專門的微代碼設計，價格差別很大。可見，并聯的可靠性恒定大于串聯的可靠性。 2.3 系統需求分析館承擔全校教學科研的文獻任 務，兩類：一類是引的各類電子資源，特別遵循的原則道的光纖技術，可在光纖網長沙市5低于200 MB/s，提升主機率高。要備份的數據通過SAN 的傳輸速率網絡的ZOOMING 功能實

21、所有硬件設備具備冗余結構。全性、信息資源的類型、網絡性能和應(其中纖通道硬盤(其中套雙存儲控制器分別與2臺1行過程中，雙塔之間的關系是既各負其中南大學圖書學校啟動了“數字圖書館”建設項目，其目標是要打造一個既能反映學校學科特色、又具有國內一流水平的電子資源管理和運營中心；而實現這一目標的首要任務就是建設一個高水平的存儲系統平臺，這是由中南大學圖書館特殊的“資源狀況”與復雜的“應用需求”等兩個方面的因素所決定的。中南大學圖書館的電子資源主要分為進的大量電子書、刊和專業數據庫，它們統稱為“引進資源”；另一類是自建的各類專業數據庫，它們統稱為“自建資源”。上述兩類資源不僅總量十分巨大，而且增長非常迅

22、猛，有些單一數據庫的月增長量就達到幾GB ；特別是在自建資源方面，中南大學圖書館有兩大獨特之處：一是經過20多年的建設，已建立一批具有一定規模、一定學科特色的電子資源文獻數據庫；二是能夠為校外其他專家學者提供快捷方便的服務，為地區和行業提供文獻保障。由此可見，總量巨大、增長迅速是其中的自建資源，對中南大學圖書館的后臺存儲設施提出了嚴格要求。為此，構架一個快速、安全，為了確保學校教學和科研的文獻信息資源需求，具有實際應用需求的存儲平臺勢在必行。 2.4 系統設計2.4.1 系統建設所a. 擴展性好。采用先進通絡上增加光纖設備，滿足系統擴展需要。b. 傳輸距離遠。由于中南大學圖書館分散在個校區，確

23、保系統有足夠的傳輸距離，單模光纖傳輸距離不低于10 km，通過TCP/IP協議傳輸不受距離限制，以便實現異地容災。c. 傳輸速率高。環路帶寬不系統帶寬；由于大量的數據存在于高速的SAN 存儲池中，因此，必須減小服務器與客戶機之間的通訊帶寬。d. 備份效(200 MB/s到其他存儲設備，少量的控制信息通過TCP/IP協議傳輸，以節省TCP/IP網絡帶寬資源。 e. 配置靈活。通過相應軟件可實現基于SAN 的文件共享，文件訪問效率高。f. 安全性好。可通過光纖交換機現，交換機端口的訪問控制。通過磁盤陣列的LUN masking 實現LUN 一級的安全隔離。通過軟件實現文件共享訪問控制。g. 硬件的

24、完全冗余。確保2臺數據處理小機互為集群，一旦處于活動狀態的主機發生故障，另一臺主機將自動接管其全部任務，在沒有故障的狀態下分別執行各自任務。2.4.2 系統設計按照系統的安用方式，不采用磁帶庫等備份方式。這是由于這種方式對于在線提供服務，不具備及時響應的特點，而且資源還沒有達到閑置狀態，為此，經過反復分析論證，決定自行設計構建FC SAN“雙塔型”存儲網絡系統(見圖3 ，容量達到16 TB，其功能描述如下：第1套(A塔 配載了69塊146 GB光纖通道硬盤1塊為全局熱備盤 ，總存儲空間為10 TB。它所存儲的資源包括引進資源和自建資源。第2套(B塔 配載了42塊146 GB光1塊為全局熱備盤

25、，總存儲空間為6 TB。它專門負責各種自建資源的備份，這些資源包括：有色金屬文獻庫，冶金工程重點學科導航庫，楹聯數據庫，專家學者數據庫以及正在籌建中的醫學、土木工程、橋梁隧道等專業數據庫。在系統連接方式上，每6口光纖交換機相連，再通過2臺交換機與前端主機(2臺數據庫服務器加6臺應用服務器 的雙HBA 卡分別相連，從而構建了雙塔與前端主機之間“完全冗余”的光纖通道。與此同時，雙塔之間還設有一條數據線，該數據線不通過光纖交換機，而是直接連通2套存儲控制器，從而形成了一路傳輸速率更高的數據“直通車”。在系統運中南大學學報(自然科學版 第39卷354責，承擔著一個獨特的“自建資源更新。2.4.3 (見

26、圖1 。數據運行及數據備份過程如圖3所示。又相互支持。具體而言，一方面，A 塔負責“引進資源”的管理，B 塔負責“自建資源”的管理，前端主機對兩類資源的訪問被分別指向A 塔和B 塔，從而使巨大的訪問量在雙方之間均衡負擔；另一方面，一旦B 塔發生故障，A 塔將接管B 塔的全部進程，獨自承擔對兩類資源的存儲管理任務，并為B 塔的數據恢復提供來源，而一旦A 塔發生故障，B 塔將在繼續承擔自建資源管理任務的同時，為A 塔內自建資源的恢復提供數據來源。除此以外，A 塔還與備份傳輸”使命。自建資源是一個不斷增長的過程，新的自建資源在前端主機生成后，首先存入A 塔；然后，由A 塔經數據線傳輸至B 塔，使B

27、塔中的自建資源數據庫得到即時更新。上述過程在相應管理軟件的幫助下自動完成。軟件會對A 塔中的自建資源數據庫進行動態監測，一旦發現其中的數據變化達到1 GB的量級，就會自動開啟從A 塔向B 塔的備份傳輸過程。該系統主要設備及管理軟件見表2 拓撲結構、數據運行及數據備份過程系統采用3層架構：存儲層、存儲交換層和應 用服務層 圖3 FC SAN 運行系統圖 Fig.3 Data flow of FC SAN systemTable 2 Main equipment parts for SAN system產 品述表2 SAN 存儲網絡系統主要設備 描EMC CX600 (16 TB FC HD 個，

28、容量A 塔10 TB，B 塔6 TB4個2 GB CPU，CX600光纖擴展柜8EMC DS16B 光纖交換機2個2 GB FC Switch,16 ports7臺服務器4x1.45 GHz 8 G內存，用于操作系統軟件 AIX 5L V5.1 HAMCP4.4 卷管理軟件 VERIT備份軟件 VERITAS Manager磁盤管理軟件 SAN QLOGIC 光纖卡14塊 2 GB 光纖通道，用于連接 IBM P650 數據處理服務器元數據裝載，數據處理和檢索雙機切換軟件AS V olume Manager Copy第2期 張建中，等：一種基于 SAN 架構的存儲網絡系統的設計與實現 355

29、分析，最終選擇 FC SAN 進行存儲網絡系統設計。 3 系統實現 上述 CX600 雙塔方案在中南大學圖書館正式上 線。到目前為止，該方案已穩定運行了 2 年多，方案 的實施使中南大學圖書館在電子資源的存儲和管理方 面一舉突破了系統容量、響應速度和數據安全三大 瓶頸。 在系統容量方面， 雙塔滿配后總空間可達 35 TB， 這為中南大學圖書館各類電子資源的迅猛增長奠定了 堅實的基礎。系統上線后，資源引進和自建步伐已大 大加快，過去幾個月中陸續引進了一大批中外文電子 期刊、數據庫與電子書，并將館藏的 237 萬冊圖書全 面數字化，以最終實現全部館藏資源“開放、共享” 的數字圖書館建設目標。 在響

30、應速度方面，存儲系統的表現同樣很出 色。從設備性能看，單臺 CX600 就能夠達到 6 萬次/s 的 I/O 處理能力并可提供 680 MB/s 的可持續帶寬， 雙 b. 以中南大學圖書館為例， 根據資源特性和實際 應用需求設計了 FC SAN“雙塔型”網絡存儲系統， 并投入實際上線運行。運行結果表明，雙塔方案達到 系統設計要求，突破了系統速度、系統安全和系統容 量三大瓶頸。 參考文獻： 1 Gibson G, Meter R. Network attached storage architectureJ. Communication of the ACM, 2000, 43(11: 3745

31、. 2 楊 進, 魏軼偉, 賈惠波, 等. 存儲區域網的性能測試J. 計 算機工程, 2003, 29(16: 4344. YANG Jin, WEI Yi-wei, JIA Hui-bo, et al. Performance testing of storage area networkJ. Computer Engineering, 2003, 29(16: 4344. 3 張雪冰, 張延園. SAN 異構存儲共享系統實現技術研究J. 計算機工程, 2006, 32(3: 105106. ZHANG Xue-bing, ZHANG Yan-yuan. Study of SAN heter

32、ogeneous storage sharing systemJ. Computer Engineering, 2006, 32(3: 105106. 4 黃建忠, 謝長生, 朱光喜, 等. 一種基于 iSCSI 的對象存儲安 全系統的設計與實現J. 計算機科學, 2007, 34(4: 7071. HUANG Jian-zhong, XIE Chang-sheng, ZHU Guang-xi, et al. Design and implementation of iSCSI-based object storage security systemJ. Computer Science, 2

33、007, 34(4: 7071. 5 韓德志, 鄢 讓, 傅湘林. iSCSI 協議及 SAN 互聯技術J. 計 CX600 分別支持自建資源與引進資源，進一步分擔了 訪問流量，從而使存儲系統對應用指令的響應更加快 捷。從傳輸通道看，CX600 支持 2 GB 光纖通道技術， 它們與光纖交換機共同構建了一個 2 GB 的光纖 SAN 架構，SAN 內部的帶寬資源已經非常充裕，在此基礎 上，雙塔之間的心跳線使陣列間的數據備份獨立于 SAN， 這種設計思路進一步減輕了 SAN 內部的數據傳 輸壓力， CX600 與前端主機之間的數據傳輸更加暢 使 通無阻。 在數據安全性與系統可用性方面，特別是在自建 資源的安全保護方