1、數字化圖書館解決方案1 圖書館信息化概述目前在 Internet 和信息技術的不斷發展時代，對高等院校的教學與管理帶 來了深遠的影響，網絡遠程教學、多媒體應用、數據查閱、信息管理等應用已經 成為高校教學與科研重要的一環，并逐步與學校的教學、服務與科研融為一體。 高校校園網建設、網絡中心的規模與數字圖書館已經成為全面衡量高等學校信息 化水平的三項重要的指標。 圖書館除向全校師生提供教學、 科研以及數字化信息 服務外，還面向社會為眾多單位提供培訓及咨詢服務。隨著計算機應用的發展， 圖書館服務器和數據量急速增加，管理的復雜程度越來越大。數字化圖書館是一種運行在高速寬帶網絡上的、 可跨庫檢索的海量數字

2、化信 息資源庫群，對有價值的圖像、文本、語音、影像、影視、軟件和科學數據等多 媒體信息進行收集，進行數字化加工、存儲和管理，實施知識增值，并提供基于 網絡的電子存取服務。數字圖書館在本質上就是一個集數據庫應用平臺、 信息資源電子商務平臺與 資源數字化加工服務平臺于一體的巨大數據倉庫， 以互聯網為平臺， 面向高校內 部廣大師生和外部互聯網用戶提供基于內容的服務。 作為圖書館發展的方向， 數 字圖書館應以統一的標準和規范為基礎、 以數字化的各種信息為底層、 以分布式 海量資源庫群為支撐、 以智能檢索技術為手段、 以電子商務為管理方式， 以寬帶 高速網絡為傳輸通道，將豐富多彩的多媒體信息及時的傳遞給

3、用戶。2 圖書館系統概述數字圖書館系統是一個基于 Internet/Intranet 分布式環境、 能夠針對用戶 的需要提供信息服務的分布式海量信息系統，其基本功能包括：1. 提供用戶交互式信息瀏覽、查詢，具有基于內容和知識的檢索引擎。2. 支持連續媒體的網絡傳輸，數字化圖書館所支持的數據類型包括具有 時間基的連續媒體信息；支持多媒體信息流的同步和集成，建立先進 的同步模型和同步機制保證靜態信息流的空間同步和動態信息流間的 時間同步。3. 建立通用、標準和規范的數字化圖書館系統結構模型，提供數字化圖 書館系統有效的資源管理和控制功能。4. 支持動態服務質量（QoS管理機制，系統可以根據用戶請求

4、、系統檢 測和資源均衡需求，動態地調整用戶端的 QoS參數。5. 數字化圖書館系統的中心服務器和媒體服務器應該具有可伸縮的體系 結構，根據資源的使用情況，采用適當的負載平衡策略，把信息存取 和網絡傳輸的負載均衡到相應的機群中，同時，系統具有信息存儲和 網絡帶寬的可擴展性。6. 系統具有透明性，信息的重組在一定條件下是可見的，但是對用戶是 透明的。7. 系統具有可移植性，具有可運行特征的媒體信息在不同的運行環境下 都可以再現圖書館的主要組成部分：1. 圖書館管理系統2. 數據庫3. 電子期刊庫4. 電子圖書庫5. 碩博論文庫6. 自建數據庫：論文、期刊、圖書、聲像、教參等等7. 音視頻資源管理系

5、統8. 網絡接入認證系統9. 門戶網站10. 博客服務11. 論壇服務12. FTP系統13. 等等因此，可以說建設數字圖書館的關鍵技術在于存儲系統， 一個良好的存儲系 統解決方案應能適應圖書數據的海量存儲和不斷增長， 同時能夠滿足當今網絡環 境復雜性和擴展性的不斷提高。這樣的目標無疑對存儲系統的要求很高， 既要求高可用性、 高可靠度和大容 量，還需要低成本和易安裝管理。3 圖書館信息系統需求分析數字化圖書館就是將圖書館文獻信息數字化， 并利用計算機技術儲存、 查詢 和發布，以滿足當地或遠程讀者對文本、圖像、聲音等不同種類的信息需求。數字圖書館的顯著特點就是： 各種信息（文獻，期刊，圖書，報紙

6、，論文，音樂，視頻等）的數字化； 海量數據的存儲和管理； 對數據的有效訪問和查詢；數字化資料在網上發布和傳遞。 數字化圖書館的開發與建立是計算機、 通信 和網絡技術、 海量存儲技術以及多媒體技術有機結合的產物， 并且還引進了大量 數據庫技術及概念。圖書館存儲系統需要存儲以下內容的數據信息：1. 數據庫： 一般采用MSSQL和Oracle數據庫，數據量不大，一般在幾GB以內，且數據增量不大。2. 電子圖書： 以文本文件存儲和 讀取為主， 文件大小一般為32KB-64MB存在形式為靜態，容量增長小于5每年；3. 視頻資料信息：包括電影資料的VCD/DV形式，MPEG2A形式，以大文件形式存儲，流媒

7、體讀取為主 . 文件大小一般為 80MB -5GB；4. 電 子 期 刊 ： 以 文 本 文 件 存 儲 和 讀 取 為 主 ， 文 件 大 小 一 般 為 32KB-64MB存在形式為動態增長，增長速度為線性定值；5. 其他電子信息資料： 包括音頻資料，碩博論文，自建資源庫，教參等等，以文件方式存儲，以流媒體或文件方式讀取，文件大小一般 為 32KB-40MB在圖書館中， 數據庫的管理和操作是最核心的問題， 所有的電子圖書、 期刊 和多媒體數據全部存放在大容量存儲系統中， 存儲系統是整個數字圖書館的支撐 點。根據圖書館中數據的特點來分析數字圖書館的數據應用特點， 數字圖書館大 致可劃分為以下

8、兩種類型的數據：1. 數據庫類型數據： 圖書館管理系統和外購商用軟件系統以及自建系統的數據庫。 需要提供高速數據檢索和查詢服務，數據訪問速度要求高。 需要提供 7*24 小時高可靠運行2. 文件型數據： 包括電子圖書，期刊，論文，自建數據資源，影視頻資料文件等 等。需要提供大容量數據存儲空間。 大量數據處于靜止狀態，少部分數據在相應時間內處于活躍狀 態。數據訪問速度一般沒有嚴格要求。隨著圖書館數字化進程的逐步深入， 圖書館的應用系統越來越多， 環境也變 得越來越復雜， 這無形中增加了圖書館管理人員管理系統的難度。 同時，隨著應 用系統的不斷增加， 數據也相應大量增長， 這就給原有的存儲系統提出

9、了更高的 要求。平滑的提供更大的存儲空間 提供更快的響應速度 提供更大的數據吞吐能力總體來講，圖書館信息化的關注點在于： 如何滿足業務連續性要求 關鍵系統高性能 關鍵服務不停頓 關鍵數據不丟失如何解決數據容量迅速增長帶來的成本、管理等問題3 圖書館信息系統推薦方案3.1 設備選型原則存儲系統是數字圖書館的核心基礎，其性能的優劣，質量的好壞，對全局的 影響關系重大。在存儲系統平臺的選型上應充分考慮系統應用的水平和數據處理 數據量的大小，綜合總體系統設計的方針，予以慎重選擇。在選擇存儲平臺時， 要考慮的因素很多， 需要根據實際情況決定， 一般來講， 以下特性是必須要考慮的：存儲系統的 IO 性能系

10、統未來的可擴展性存儲系統的高可用性存儲系統對各種服務器操作系統的兼容性與標準系統管理員的可維護性3.2 方案綜述數字圖書館中需要存儲的數字資源大致分為以下幾類：圖書館管理系統數據庫圖書館購買的各類商業軟件的數據庫圖書館購買的各類電子化的圖書和期刊數據圖書館自建資源庫根據對圖書館信息化系統的需求分析，可以總結出圖書館核心應用的特點如下：數據庫：是整個圖書館業務系統的核心-數據類型：數據庫(SQL, Oracle等)-性能要求：同時訪問人數較多，并發性能要求較高-可用性要求：不能停機-數據量：幾百MB到幾個GB圖書館應用系統數據：-數據類型：文件（文本，圖像，音視頻）-性能要求：同時訪問人數較少，

11、但傳輸數據量大，帶寬要求高-可用性要求：不能停機-數據量：很大且增長很快，從幾 TB到幾十TB根據性能和可用性的分析，可以得出相應推薦的存儲系統架構如下:應用數據類型性能容量數據保護典型存儲架構FCSANiSCSI數字化圖書館管理系統 （采、編、流）數據庫高低高優選自建資源系統數據庫/ 文件中高高推薦可選碩博論文文件中高高推薦可選期刊文件中高低推薦可選電子圖書文件中n高低推薦可選影視頻資料文件中高低推薦可選以下我們分別闡述 DCN面向高校數字化圖書館的信息基礎架構: 數據集中存儲方案備份與恢復解決方案3.2.1數據集中存儲方案針對高校圖書館信息化應用系統的存儲需求，建議采用FC SAN+IP

12、SAN勺存儲架構：將圖書館的圖書館管理系統數據庫、各類外購商業軟件數據庫系統以及 自建資源數據庫等核心數據庫應用通過 FC SAN進行連接，實現高性能、 高可用的存儲；同時將一些應用如門戶網站、FTP等通過IP SAN行連接，實現低成本、 咼效率的存儲。整體架構從以下幾方面綜合設計，以滿足業務連續性的要求: 存儲系統的高可用性：經過用戶驗證達到5個9可用的存儲系統DCNCS4 系列存儲網絡SAN的高可用性：采用雙光纖交換機組成冗余 SAN網絡，配合 主機上的雙HBA卡和多路徑管理軟件（DCN PowerPath，實現數據訪問 通道的高可用；圖書館信息化系統集中存儲結構圖:隼中存餡査躡存詁本次系

13、統建設的最終目標是為高校圖書館提供一套具有國際先進水平的電子化圖書館信息平臺，提供具有全球最新科技水平的SAN存儲區域網絡存儲平臺 -DCN CS4,為高校圖書館未來的高速發展提供堅實的技術保障平臺。為保證服務器到SAN網絡的全冗余性連接，每臺服務器均配置2塊8GbpsFC 光纖通道卡，分別連接到SAN網絡中的2臺光纖通道交換機上，即使其中的一條 鏈路發生故障，服務器仍然可以通過冗余的光纖鏈路訪問磁盤陣列上的數據，從而達到系統的7*24小時不間斷運行。本次存儲系統建設采用Open SAN體系結構搭建高校圖書館數據存儲網絡, 在整個SAN網絡中，所有設備之間的網絡鏈接均采用全冗余鏈接，確保整個存

14、儲 系統系統具有良好的鏈路冗余能力，為高校圖書館信息系統提供不間斷運行的存 儲網絡交換平臺。由于電子化圖書館中的數據絕大部分都是文本文件和圖片及音視頻資料文 件，少部分數據是數據庫數據，則在進行圖書館存儲體統磁盤規劃時， 應充分考 慮磁盤分級存儲管理，提高了磁盤利用率，同時也為圖書館節省了大量的資金投 入。將訪問性能要求高的數據庫文件保存在 FC磁盤上將訪問性能要求不高的文件類型的數據保存在 SATA磁盤上本方案具有以下特點：DCN CS4 99.999%的高可用性DCN CS4吉構提供最高的可用性。所有組件都實現全面冗余并可熱交換。全 光纖通道技術允許客戶隨時隨地擴展其存儲容量，可以在不關閉

15、應用或者現有存儲能力的情況下，添加其它驅動器或者驅動器架(DAE磁盤陣列機箱)。DCNDS4系統擁有各種先進的數據保護功能-全局熱備用、全面冗余的組件、通向光纖通道磁盤驅動器的雙重冗余路徑、磁盤扇區嗅探校錯技術(Sniffer )、斷電高速緩存數據寫入硬盤、端-端數據奇偶校驗以及一致性操作環境所提供的 其它獨特功能，所有這一切都是 DC2S4享有盛名的原因所在。這種層次的數據 保護應該是所有客戶的要求，也是任何其它供應商所無法滿足的。中端存儲配置發展很快，且變得日益復雜，這是因為較大的系統具有更多的 驅動器，并且磁盤驅動器的密度越來越大。UltraPoint 是新一代的DCNCS4技 術，隨著

16、客戶將系統向新級別的擴展，它可確保CLARiiO N繼續提供最高級別的可靠性和可用性。UltraPoi nt 技術將新的點對點光纖通道 DAE設計與FLARE操作環境中新 的故障檢測和隔離功能結合在一起。UltraPoi nt 將后端故障探測和隔離的精確 度具體到了單個驅動器的級別。這一技術將使 DCN CS4系列能夠：在單個磁盤驅動器級別執行故障檢測和隔離操作，因此可以采取糾錯措 施。在驅動器進入聯機狀態之前檢驗驅動器 一在加電時，在更換驅動器時， 以及在增加容量時。一體式分層存儲使用DCNCS4存儲系統，高校圖書館可以整合大量不同類型和業務價值級別 的數據，通過選擇滿足特定需要的驅動器選項

17、， 實現在一個系統中提供多種性能 /成本級別的靈活性。存儲層次驅動器類型適用環境第1層146GB 300GB 450GB15kRPM光纖磁盤并發訪問量大的圖書館管理系統第2層400GB 10kRPM光纖磁盤檢索系統、經常訪問的文件類型數據（如近期的電子期刊等）第3層仃B 7200RPM SAT磁盤圖書館文件類型數據文件（不經常訪問的）第4層1TB 5400RPM SAT磁盤圖書館文件類型數據文件（長期保存，歸檔）DCN PowerPath 軟件DCN CS4網絡存儲提供PowerPath軟件，它提供了連續的數據可用性，并 針對主機環境實現性能優化。PowerPath是一種常駐服務器的、性能和信

18、息可用性增強路徑管理解決方 案。PowerPath面向開放式服務器平臺集成了自動故障切換、動態負載均衡和信 息存取優化能力。PowerPath采用后臺工作方式，確保各種應用保持連續可用。 PowerPath的自動故障切換和動態恢復特性允許在服務器和存儲間數據路徑發 生故障時，將數據存取分散至備用數據路徑中。 這樣應用程序就絕對不會因為適 配器、電纜或通道控制器的單點故障而出現中斷。PowerPath運用自動負載均衡特性，對多條I/O流開展智能化管理，并通 過在多條路徑之間自動調整工作負荷的方式實現性能優化。這種特性確保不會出 現某條路徑負載過重，而其它路徑帶寬又沒有得到充分利用的情形，避免I/

19、O瓶頸的出現。PowerPath確保圖書館關鍵業務數應用隨時處于運行狀態，賦予它們以最 高可用性和最高性能，確保它們獲得業界領先性能存儲系統 DCNDS4的所有優勢。3.2.2 備份與恢復方案作為數據訪問量巨大的圖書館系統，無論是現在還是將來，數據和應用安 全和可靠對于它來說都是第一重要的。為此，在圖書館需求中把這些應用系統在提供服務方面分為三個級別：第一級： 要求接近零停機時間， 如書目數據庫以及多校使用的網絡數據庫， 應采用熱備的方式保證。第二級：出現故障，恢復期可在 1 天的服務，如部分自建數據庫以及使用 量較小的數據庫，數據備份應盡可能采用在線方式，至少要近線存儲。第三級：可忍受較長恢復期的應用，該類數據備份可采用近線或離線方式 備份。引起數據丟失的原因很多，備份系統解決的問題主要在：硬件故障造成的數據丟失應用程序 / 數據庫損壞造成的數據丟失 人為錯誤造成的數據丟失 黑客攻擊 / 病毒感染造成的數據丟失 軟硬件系統升級與維護前的數據備份為避免以上問題造成的數據丟失， 建議對圖書館的核心應用系統進行定期備 份，并定期進行數據恢復驗證測試， 確保備份數據的可恢復性。 需要備份的系統 如下：數字化圖書館管理系統自建資源系統數據庫及自建數據資源建議采用 DCNNetworker 集中備份管理軟件， 實現關鍵應用系統的在線備份； 采用基于磁盤介質的備份設備，如利舊原有的