1、醫療行業非結構化數據混合云存儲及大數據分析解決方案設計單位:建設單位: 編制日期:目錄 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 第一章項目背景3 HYPERLINK l bookmark6 o Current Document 第二章需求分析5 HYPERLINK l bookmark14 o Current Document 第三章解決方案7 HYPERLINK l bookmark16 o Current Document 1.存儲技術分析7 HYPERLINK l bookmark18 o Current Docume

2、nt 3. 1. 1.塊存儲、文件存儲、對象存儲幾種方式的對比7 HYPERLINK l bookmark20 o Current Document 3. 1.2.對象存儲簡介13 HYPERLINK l bookmark24 o Current Document 3. 1.3.對象存儲選型對比14 HYPERLINK l bookmark26 o Current Document 3. 2.系統現狀16 HYPERLINK l bookmark28 o Current Document 3. 3.IBM GPFS 解決方案173. 3. 1.GPFS Server 集群18 HYPERLIN

3、K l bookmark30 o Current Document 3. 3. 2.系統基本結構193. 3. 3. GPFS 系統優勢203. 3. 4. GPFS典型配置舉例213. 4.IBM Cleversafe對象存儲解決方案223. 4. 1.IBM Cleversafe 對象存儲223.4.2. IBM Cleversafe對象存儲與傳統存儲髙可用性對比243. 4. 3.IBM Cleversafe對象存儲糾刪（擦除）碼技術253. 4. 4.IBM Cleversafe對象存儲軟硬件配置263. 4. 5.IBM Cleversafe 對象存儲擴容283. 4. 6.Clev

4、ersafe對象存儲實現PACS系統的災備建設28 HYPERLINK l bookmark40 o Current Document 5.大數據分析29 HYPERLINK l bookmark42 o Current Document 第四章總結32 HYPERLINK l bookmark44 o Current Document 1.采用Cleversafe對象存儲技術的新架構用戶取得的收益33第一章項目背景醫院是集醫療、教學、科研、預防為一體的現代化國家三級甲 等綜合醫院。醫院現有A、B、C三個主體院區，編制床位1500張，開 放病床3000 張。在領導班子的帶領下，醫院全面實施“數

5、字化醫 院”建設，首創醫療質量管理信息系統、建立城鄉協同醫療服務網絡。 醫院作為某市的龍頭醫院，其整體業務呈現快速增長的態勢，當前 醫院正在擴建新的住院病區，隨著住院床位數的增加，醫院的業務 必然會有一個明顯的增長，而醫院的存儲基礎架構已經相對老化，其 現有的EMC系列存儲已經表現出性能瓶頸，醫院當前的核心數據庫存 在性能不均衡的情況，如果要求應用軟件開發商進行軟件和數據庫 性能調優，可能需要花費大量人力物力，但卻不能保證調優的效 果。醫院業務量的增漲帶來了數據量的增張，PACS系統海量的非結 構化數據安全高效的存儲是目前亟需解決的問題，在做好非結構化 數據存儲的基礎上，結合結構化數據存儲與A

6、pache Spark數據分析 處理引擎對接實現臨床操作和研發兩個方向的大數據分析，從而更好 的服務于病人并且促進醫療行業從業人員專業技能的提升，實現數 字化醫院為全民健康奠定基礎。綜合比較不同的傳統存儲技術與云存儲技術后，選擇 IBMGPFS+C1 eversafe對象存儲實現了 PACS系統 海量的非結構化數 據的存儲和容災備份。醫院綜合各方面因素，提出了構建醫院“大數據云存儲”平臺 的建設目標。1）構建一套安全、穩固的大數據云存儲平臺，集中統一承載醫院 所有業務數據；2）為醫院數據交換平臺提供高性能、穩定可霏，并具有足夠彈性 的存儲平臺；3）為PACS影像類數據提供大量低成本的存儲空間并

7、具有足夠 的擴展能力；4）未來擴容應該可以基本做到不停機（停機時間在可接受范圍 內）；5）提高業務系統的可靠性和可用性，實現容災備份，保障業務連 續性。第二章需求分析醫院的核心業務系統是醫院數據交換平臺（包括PACS系統、HIS 殳記 regtslrattonHIS系統、RIS系統、LIS系統等）。report序人館患 patent WormabonnrdRfw pUnRd冷推合report roposoyit th工ft詁 diagnostic workstationpucdjif M4iedukMjPACS認 xdi filed圖丘取images rolriovedEB存儲 image s

8、toredimages printedacquisition compleied圖匕理與歸恃Image munagm and archiveacqucsikxi cx)mplelod3工作列舉設釜 modabty v/orikst rnoInteIXeonFroceMr 2. S3CHz 13331出 FSB. 1MB Kit (4iM) 1.5V 咖 RD1U 內秤IP1 300GB Id 25 * SAS2 Glga Bthemet PH-E cr4LinuiI hl Clutter Syttcft lanaceoent (0) KiCATici s/ws/irs/MCP/rnp/XTP/

9、IM Director terverII/O節克INI See X3SMW3嚴務-o Liertae #300 82.5 ” SASWft1TB 7.2K 2.5* NLLir*u/!ntl Hm* Kltt 4- Sy PartitioMIM Stordcc larksceoent GFFS ATP4TQ4I?im wr2卜24口千盹以機2件CPfS Lice冷為Server 10 Cllmt WlfHcira*.不 網 W-tWC amter.XR 更一臺GPFS ServerBT10CPFS ClientGFfS SerwIOCHenOFAr力TO PVU / Ce釆用IBM GPFS的

10、AFM功能，可以有效遷移原有NAS系統中存儲的數據，在遷移過程中對應用透明，不影響應用的正常運行。34 IBMCIeversafe對象存儲解決方案根據醫院PACS系統現在存在的問題和建設目標，采用IBM Cleversafe對象存儲技術實現海量的非結構化數據的存儲和容災備 份。IBM Cleversafe對象存儲IBM Cleversafe對象存儲由三部分組成，包括CS Manager管理 節點、Accesser訪問節點和Silcestor存儲節點，其中管理節點安裝 Cleversafe軟件實現對Cleversafe對象存儲系統的監控和管理，訪 問節點提供 對外的用戶訪問，存儲節點用于代替原有

11、的NAS系統 保存海量的數據。Cleversafe 組成CS Manager切片訂徒 m曲夠畑h于言冷的定偷利豪切片SlicestorxIBM Cleversafe具有以下特性:IBM Cloud Object Storage安全性鈕0-內助慮可擴議怪多100PBULt護U孕EBU上的 耕事決構可口&性可口型個說B4.可用性中卜9的可需性-G個9AW翻5.tsm，耶縛初. K1DR成本.成本MKtt80% IX件楓方砂 在任何幀麗的 x86*ftif7可擴展性，多家100PB以上的客戶，擴展至EB以上的 無共享架構。安全性，零接觸、運營商級別的安全性且內置加密功 能。可管理性，每名管理員可管理

12、25PB數據，零宕機時 間。可用性，提供9個9的可靠性，6個9的可用性。經濟效益，消除復制、鏡像和DR成本，成本降低80%,軟件解決方案可在任何供應商的X86硬件上運行。IBM Cleversafe對象存儲與傳統存儲高可用性對1 p 可用 tmQiiiui 可矗竦?J6占* IFTt 韁人存17 tt .IFTt 無L采用傳統的存儲在RAID6架構下1PB的原始數據要占用1. 2PB的存 儲空間，為了實現數據安全做本地鏡像和同城復本后數據要占用 3.6PB (1.2*3)的存儲空間，那么膨脹因子就是3倍，采用 IBMCleversafe對象存儲1PB的原始數據要占用1. 7PB的存儲空 間，C

13、leversafe對象存儲使用1.7倍的膨脹因子就可以實現建設與 RAID6相同或是還要高可靠的存儲系統，Cleversafe對象存儲占用更 少的磁盤，占用更少的機架，節約機房空間，降低了運營成本，降 低了運維管理的難度，無需其它軟件就可以實現高可靠性和高可用 性。IBM Cleversafe對象存儲糾刪（擦除）碼技術0Q0QCleversafe 軟件 加空、應用信息 海散法IDA （ 即擦除碼）對數 齬切片00QQQ mcACT與RAID和復制 方法不同無需副本自帶容災5片分布在隼強的UE之中rUMfi 于苦個堆理位M行業馳x86 ilW年之中.為了如.為緩地懺財38位 。詬C苻定義的切片孑

14、U. Split a file into k pieces (7)IDA=7/12Encode the pieces to n (12)Any k of n pieces can be used to get back the fileIBM Cleversafe對象存儲使用糾刪碼技術實現存儲系統的高可 靠和高可用，糾刪碼技術首先對原始數據進行分段（每段4M）,之 后對一個分段進行切片，例如一個分段切7片，之后通過ECC校驗算 法變換為12片，這樣膨脹因子就是1.7, 1PB的原始數據就占用了 1.7PB的存儲空間，這1.7PB的存儲空間由12個切片 組成，把這12個 切片均勻的部署在多個站點

15、的每一臺服務器中，例如在三個站點每 個站點部署4臺服務器，這樣在這三個站點中只要有7臺服務器是正 常運行的，數據就是完好的可以正常讀取，可以避免服務器硬件故 障或斷電，網絡故障，甚至1個站點故障都不會影響數據的可靠性和 可用性，任何一個站點的任意一臺服務器硬盤損壞后，只需插入一 塊新硬盤而無需做RAID就可以正常使用了。可借助12個切片中的佟阿7個執行讀取操作寫入時創建的切片數稱為霓度（歧處為12）讀取時H要的5片徽稱為瀆取福值（此處為7）該示例為*12個” ffiSXMX法（IDA）中的7個刪節點MlM2X3在該IDA中，仍可借助 任何5個無效的存儲節 點執行讀取。存68節點、.即使整個站點

16、中斷（外加 另一個存儲節點中斷）也 無影響.IB M CI eve rsaf e對象存儲軟硬件配置CSManager管理節點和Accesser訪問節點可以選用1U或是2U的 X86服務器，配置大內存如128GB,256GB,對其它硬件沒有特殊要求。S訂cestor存儲節點服務器可以選用4U高密度x86服務器，該服 務器滿配48塊硬盤，每塊硬盤配置8Tb,這樣一臺服務器的裸容量 就是384Tb, 12臺服務器可以提供4. 5Pb的裸容量，冗余系數是17,那么可用容量有2. 6Pbo下圖是硬件配置建議清單:-ATWBfl可m/m可用/可 ffi/wa1trans點1U X86服拓1NA1NA1NA

17、2訪問按入節點 (Accessor)1U X86碾務器2NA3NA3NA3warn點 iceStPj)勞器3(12MTB)72TB/144TB6(12*10T B)52OTB/72OTB12(48*8TB)2.6PB/4.5PB4咖交換以電口 x 2 * 10GEX162NA2NA2NA5磧件負fit均檢 設備F 5脫司工功館設 備1NA1NA1NA下圖是Cleversafe的管理界面:gdeversafd35視卑安全性維護 ttpHelp | Sign OutQGOSummaryICpecyOQprAi 0 Cow Al * aNttEvaiwMnSMrigtPocis(l) AecmPoo

18、lip) |g(2)omcM(2J)23D*m1 esMeuraorDtv(Accm&rS OrrcM IfSkMaortOMoM41C/witzStoigtmC/wiefiywt2ACOSS POOHCrtMtACMMOt2Sfl4CMtsdsNet Capacity3&.S5TB57156 TBMocaMimaoom RQoiayOpen IndMi (1)Sit: CIMcigo.DC.ICibirwt CortSitt-RicDevic: QchWfpOC$ApCWMhlQS：pOMrorfmtMd201Q2919386 COT基于Web的訪問RBAC支持 配可用的API通過Cleve

19、rsafe管理界面可以實現對Accesser訪問節點和 Silcestor存儲節點的運行狀態進行監控和維 護管理。IBM Cleversafe對象存儲擴容當用戶的訪問量很大時無需關心存儲節點，只需關心訪問節點 就可以了，增加訪問節點的數量就可以提升用戶的訪問速度。當存 儲節點的容量不足時，去除購買并加電服務器的時間只需要十幾分 鐘就可以實現存儲的擴容。訪問C1 ever safe對象存儲有如下三種方式：訪問方式-RESTful API- TCP/IP-Objects* 可式.REST APIsff用HTTP協議対Jgifi行KMTCreate PUT* . Read Gef . Update*

20、 PUT* . Delete DeLETE*-Objects%府放conUiner*( 乂叫ftbuckeudlBvault)-名弼砸I -pfehxes*用于幀文ft夾結構-9AM PUT httpy/server name/contamer name/prefix/filename *-讀取*GT httpy/server ruime/container name/prefix/6lename IW諄條蘇中哥個對跑NW9URL-http$V/dalO5 objectstorage.softiayer net/vl/AUTH 7c79cbO262/example/Smiley.pdfAmaz

21、on S3OpenStack SwiftSimple Object兼容三種主流API格式Cleversafe對象存儲實現PACS系統的災備建設災備建設正是Cleversafe的強項所在，對比傳統存儲，因為糾刪碼的算法，從而無需副本、RAID方式，就能夠在配置合理的情況下，允許對應40%的節點失效，這40%的節點數會大于我一個站點所包含的節點，這樣的失效場景也不會影響業務系統的正常工作。 同時，可以做到糾刪碼算法后的切片能夠分發到異地，因此 Cleversafe如果多站點的部署情況下，不需要做任何數據同步備份 即可實現災備系統的建設，（多站點的部署可以根據醫院的實際情 況選擇是同城多站點還是異地

22、多站點的部署）災備架構圖如下： -pMUura杭州3.5.大數據分析醫療行業大數據分析包括臨床操作和研發兩個大方向，臨床操 作包括醫療數據的透明度、遠程病人監控、臨床決策支持系統，比 較效果研究等；研究方面包括預測建模、疾病模式的分析和提高臨 床試驗設計的統計工具和算法等。本方案在做好非結構化數據存儲的基礎上，結合結構化數據存 儲與Apache Spark數據分析處理引擎對接實現臨床操作和研發兩個 方向的大數據分析，Spark啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載，Spark的運行速度是 HadoopMapReduce的100倍，而且它還結合了SQL、流處理和

23、復雜情況分析。使用Stocator和OpenStack Keystone,前者是一個用作驅動程 序的開源軟件，后者提供了身份驗證功能。Stocator利用了對象存 儲語義，而且與以前專為處理文件系統而設計的Spark存儲連接器 相比，Stocator顯著提高了性能。Stocator釆用JOSS （一個開源 Java客戶端）生成HTTP REST命令，這些命令通過OpenStack Swift 接 口訪問 IBM Cleversafeo下圖是 IBM Cleversafe Stocator與 OpenStack Keystone 之 間的關系圖：首先，安裝和配置Spark,可以將Spark配置為

24、一臺獨立機 器，或者在集群上使用YARN、Mesos或Spark的獨立集群管理器。其次,安裝和配置IBM Cleversafe,為IBM Cleversafe設置 了 Keystone身份驗證。最后，安裝和配置Stocator,為了從Spark訪問 IBMCleversafe,我們使用了開源驅動程序軟件Stoca- torc Stocator是Spark的高性能的對象存儲連接器，它利用了對象存儲語 義。它提供了OpenStackSw辻t API的完整驅動程序，可輕松地擴展 它來支持其他對象存儲接口。我們利用了 Stocator通過其Swift API 將Spark與IBMCleversafe相連的能力，從而實現了醫療大數據分析 的功能。第四章總結以現在醫院的需求和目標為基礎，對存儲技術進行分析對比發 現對象存儲技是最適合醫院PACS系統海量非結構化數據的存取和分 享的解決方案。采用IBM GPFS實現原有NAS系統中的數據到IBM Cleversafe對象存儲的遷移，最終實現PACS系統海量非結構化數據 的對象存儲，滿足未來五年數據增長與業務發展的要求。采用