中國移動江蘇公司 信息技術中心 云備份平臺實踐 作者姓名： 張晶、王堅 、王宏圖 、孫凱 作者單位： 中國移動通信集團 江蘇 有限公 司 單位地址： 南京市虎踞路 59 號 郵政編碼： 210029 摘 要 隨著運營商用戶數的持續增長，業務的飛速發展， 3G 業務的推廣，企業數據中心的規模越來越大，數據也越來越重要，需要備份的數據量在持續的增長。與之對應的卻是 業務系統要求的越來越苛刻的恢復準確率 。 業務支撐部門面對 分散的數據中心， 持續擴大的系統平臺規模， 7*24 小時的服務時間要求，全面 嚴謹 的業務指標考核標準， 業務數據 “零” 丟失的嚴謹要求 現狀 ，緊張的維護人力資源配置狀況，迫切需要 提高現有備份系統 的備份效能，提高 運維管理效率高、降低運維成本。 并根據這些經驗及公司未來的 ICT 業務發展戰略，也可以將這些成熟服務產品推向市場。 本文通過介紹 中國移動江蘇公司 統一備份 平臺在 備份 虛擬化 、 備份服務差異化 、 備份系統管理自動化、 系統架構云 備份 模型優化的具體實踐， 能夠很好的解決 中國移動江蘇公司 現網系統運行遇到的種種問題 ，為讀者建立了一種全新的 備份 系統架構設計思路。 關鍵字 ： 備份 虛擬化 ， 云 備份 ， 獨立備份 SAN 網絡 系統 ， 系統設計 目 錄 1、 引言 - 1 2、 系統建設背景 - 1 3、 系統技術實現方案 - 2 3.1 虛擬化 - 3 3.2 SOA 備份服務 - 3 3.3 自動化管理 - 5 4、 架構收益 - 6 5、 結束語 - 7 1 1、 引言 如今的數據中心越來越復雜，不僅系統規模每年翻番，系統的復雜性及面臨的風險也與日俱增， 另一面，業務部門對 業務連續運行的要求 卻是不斷提高的，甚至越來越多的系統要求“零數據丟失”。拿 中國移動江蘇公司 的核心業務 支撐系統來看 ，包括 BOSS 系統、經營分析系統、客服系統、企業信息化系統等子系統 ， 總計近 400 臺服務器 （ TPCC 值超過 10000 萬） ， 近 100 臺 高 、 中 、 低端 存儲設備 ，超過 1000TB 的重要業務數據 ，分布于南京和無錫的 5 個數據中心 。為了提高數據的安全性，作為數據保護的最后一道防線 -備份的重要性就不言而喻了。但是根據國際知名調研機構對世界五百強大企業的技術主管的回訪記錄和巡檢記錄來看，大部分企業用戶的平均備份成功率在 75%左右 。事實上， 我們還注意到很多時候的備份成功率小于 50%，恢復率就更低 。一方面我們面臨的實際情況是每天需 要備份的數據量在增長， 中國移動江蘇公司 業務支撐系統 每年需要備份數據的增長量在 50%75%之間，但備份 系統 的預算的增長卻遠遠小于這個速度 。 傳統的備份系統都是和項目一起采購，造成數據中心多個獨立的備份系統，備份的效率差和備份資源的浪費很嚴重， 備份系統架構及其不合理， 管理也極其復雜 。 相同的問題也給 IT 行業的發展帶來挑戰 。 因此 “虛擬化”、“ 云 備份 ”、“標準化”和“ 備份 資源整合”等成為 目前業界最為熱門的技術話題，同樣也代表著未來技術 發展的方向 。近幾年來，在業界也涌現出幾家在這個領域運營不錯的云備份服務的廠商 -如 賽門鐵克的 Norton Online Backup, EMC 的 Mozy. 作為IT 技術、 IT 系統大量應用的 中國移動江蘇公司 該如何解決自己發展中遇到的問題 ，如何整合行業先進經驗、新技術、解決方案，如何規劃 IT 系統架構科學發展，我們在 上述領域 做出 了一些 自己的實踐 。 2、 系統建設背景 中國移動江蘇公司 擁有一套完整的企業備份產品， 在架構設計上基于原來的經驗進行了創新， 并結合一些 云技術的設計理念，為 業務支撐系統 的數據保駕護航。 2 虛擬化 -以整個數據中心為視角的備份資源部署，而不是基于應用和設備的備份資源管理 ； SOA-建立跨越整個備份資源的統一兼容的面向業務需求的備份服務，而不是綁定特定的應用或設備的備份軟硬件設備； 自動化 -以整個數據中心為視角的基于策略的圖形化備份資源管理，實現備份 任務 的靈活調度、 實時 監控和報告，而不僅僅是僵化的為備份而備份 圖 1：中國 移動 江蘇公司 業務支撐 系統 備份云示意 3、 系統技術實現方案 系統的技術設計及實現方案分為以下幾個層次： 備份虛擬化技術引入及部署 -建立一個可擴展的基礎架構 SOA-建立跨越整個備份資源的統一兼容的面向業務需求的備份服務 自動化管理 -提高云備份基礎架構管理 效率降低復雜度 3 3.1 虛擬化 首先， 在 云備份 架構中將 備份 SAN 從生產 SAN 分離出來，這一變革，使得原有的四 個數據中心中，分散在各個應用系統中的備份設備通過備份 SAN虛擬化 地 呈現給整個數據中心，形成了一個集中的備份資源池。同時備份的 SAN 可以根據業務的變化，備份任務的變化靈活的擴展和回收，實現了備份資源的靈活調度和靈活的縮放，對生產 SAN 沒有任何影響。 在數據中心備份 SAN 的基礎上，建立了跨數據中心的備份 SAN 連接，使得所有數據中心都能物理共享第 五 個數據中心 （浦口高新機房） 的備份設備，這樣當任何一個數據中心 的備份設備故障時，云備份架構將自動啟用第 五數據中心的備份設備， 保證核心生產系統備份作業，如數據庫歸檔日志備份能夠持續進行。這里的關鍵是第 五 數據中心的備份設備是共享的而不是其中一個數據中心專享的。 對于 IP 網絡的資源虛擬化 ，則在云備份架構中建立了一個具有負載均衡功能的介質服務器資源池，接入云備份架構的任何一個網絡備份客戶端的備份任務可以自動計算并分配到一個負載最低的備份介質服務器。所以對于通過網絡備份的應用系統來說，備份系統是即插即用式的，備份客戶端軟件從備份服務器自動下發，同時客戶端不需要關心對應哪個介質服 務器，或具體使用哪里的備份設備。 多層次的備份架構，除了傳統的磁帶庫設備，還采用了新型的磁盤備份技術，如虛擬磁帶庫技術，數據重復刪除技術，這些技術都作為基礎架構的形式提供，為接入云備份系統的不同性質數據提供不同類型的存儲方式。其中使用的數據重復刪除技術 是云備份體系中核心組成部分即備份軟件自帶的功能，在對客服系統中大量的具有冗余性質的 VMware 虛擬環境的備份有良好的效果。 建立面向地市分公司支撐系統的共享備份架構，對于分公司的備份需求，統一提供備份資源池，提供用戶透明的集中備份服務，用戶不需要考慮備份系統所 在的地點和具體結構， 同時 通過 重復數據刪除技術，減少本地寫入的數據量，相應的減少網絡數據流量。 3.2 SOA 備份 服務 一個共享的、可伸縮的備份架構是實現 一個滿足 SLA 的 備份服務 投送平臺的基礎 。我們所定義的備份服務基于備份云上的各個關鍵要素 數據、網絡、存儲資源，分別細化、組合、封裝，最后形成備份服務的 SLA。 對服務的使用者來說，云服務通過封裝底層技術屏蔽了復雜的技術組合， 使得一個復雜的備份策略設置操作，變成簡單的服務挑選 。 我們首先通過區分應用系統數據重要性等級，分別定義金，銀，銅三個服務等級；數據 重要性等級指標有三個，一為是否需要快速恢復，二為是否需要長期保存，三為是否需要異地保存 。之后我們 將應用系統對應到備份平臺的 SLA； 從 服務等級的 角度看，銅牌服務僅提供長期保存 （磁帶備 4 份） ，銀牌服務則在滿足長期保存基礎上提供了異地保護 (磁帶復制等 )，金牌服務除包括長期保存和異地保存外還提供了數據的快速恢復 （綜合磁盤備份等多種技術） 。這樣在備份平臺上每個服務器都被賦予了 SLA 的屬性，并將貫徹到其對應數據的整個備份生命周期。 這其中用到了SLP(Storage Lifecycle Policy)技術，不同服務標準的 備份作業會自動尋找 合適 的存儲資源，備份數據也可以根據設定的數據生命周期在存儲資源間進行流動 。 圖 2： 備份服務等級 管理 對備份系統服務水平的評價標準之一是是否滿足集團對數據保護的要求，其中關鍵的一點是能否 為特定數據 提供異地的備份數據冗余，比如 跨機房的 數據 復制 。 由于備份 SAN 架構的形成 ，使得南京各數據中心和無錫數據中心的備份 數據可以互相流動 ，流動的形式是多樣的，可以是在線多數據流復制，也可以是離線的 Vault（保險柜）復制 ，相比傳統的手工出庫和磁帶運送方式先進很多 。 共享的 備份數據 驗證 服務，大多數企業的集中 備份環境都缺少可行的數據恢復驗證環節，但事實上數據的恢復是比備份更復雜的過程，即使系統在初始備份后進行了成功的恢復測試，也不代表在實際生產中需要恢復的時候一定能成功， 實際情況中數據庫軟件的升級，備份軟件的參數調整，失敗的備份作業，操作系統參數的調整都有可能造成恢復失敗，而恢復失敗時現場定位錯誤原因需要的時間將直接影響業務系統恢復的時間，所以常規例行的數據恢復驗證能最大程度保證生產系統的快速恢復。在我們的云備份架構中提供了共享的數據恢復平臺， 能夠 滿足多個核心系統的數據恢復 驗證需求。 并專門立項建立了業務支撐系統 數據備份恢復測試環境，覆 5 蓋了支撐系統主機的所有相關機型和版本 和存儲的主要型號 。 數據安全性 ，不同的業務系統其數據的敏感程度不同，對備份數據安全性的要求也不同，當所有系統的備份都歸入云備份架構后如何保證數據的安全性，如何保證敏感信息不泄露？事實上我們可以利用云備份架構中的數據加密模塊，啟用數據加密的備份數據只能被數據源系統所 恢復 ，數據加密所需要的證書管理和認證都作為平臺 服務 提供 ，對于高負載的業務系統的加密備份可以由資源池中的介質服務器承擔加密運算，減少對業務系統的性能影響。 3.3 自動化管理 集中的報表平臺 ，報表平臺作為云備份架構的重要組成部分，可以為遵從驗證和業務規劃提供高級備份報告。在云備份作為 SOA 存儲服務的情況下，我們需要具有跟蹤和分析備份服務水平遵從以及將操作作為一項業務來進行管理的能力。 備份管理平臺 為我們提供了所需的報告，以驗證各關鍵系統的數據庫等數據受到確實的保護，以及 RTO（恢復時間目標）和 RPO （恢復點目標）要求可以得到滿足。同時還可以深入了解數據保護基礎架構，這樣就可以為備份操作進行有效的業務計劃。 例如，可以按照業務系統、用戶和部門分析增長趨勢和資源需求。 同時，可以為備份服務使用部門 或系統提供在線的報表展示，確保服務水平承諾。 報表平臺還可以根據各部門或應用系統統計固定時間段內其備份所產生的費用成本，這樣的報表數據既可以做為部門成本核算的依據，也可以做為系統擴容的參考。 圖 3：集中報表平臺 集中的管理平臺，我們 通過 基于 Web 的集中管理門戶能夠 實現 所有監控、警報、報告和故障排除功能，并通過圖形化的方式顯示。管理員能夠實時收集信息，包括恢復的成功率、哪些系統由于備份故障而面臨風險、存儲 6 使用的趨勢、關于特定警報與錯誤的詳細信息。可提供整個基礎設施范疇的所有數據保護操作的視圖。為了簡化日常管 理工作， 還 能夠通過統一備份界面，保護和管理數據資源。管理員能夠主動診斷故障，識別可能的問題，并采取正確的糾正措施。 4、 架構收益 隨著該系統架構投入使 用，我們獲得了諸多 收益，很好的解決了目前系統 采購、建設、 運行、維護、使用 、應用支撐方面的諸多問題，具體的內容如下： （ 1） 成本 云架構的采用對備份系統成本的影響是革命性的。備份系統占總體架構的投資比例 顯著 下降 了 。原來備份系統占總體投資的 10，云架構使得這個比例下降到 不足 5，節約了 50以上的投資 。 備份資源 的增加來自云備份架構整體需求，資源復用率和整體利用率提高，由 此帶來了成本的相對減少。 維護成本的減少來自兩個方面，一個方面，低端磁帶庫主要面向中小型業務系統的獨立備份需求，由于 機械 故障率極高，帶來的維護成本較高， 云備份使得這方面的維護成本消失。另一方面，由于備份標準不統一、業務平臺各自為陣，一個數據中心就有多個備份管理員，云備份把多個備份平臺整合成一個，一個專業備份管理員就夠了。 （ 2） 構架“ 云”模型來 提高備份服務能力 實現任意業務 數據備份 可以隨時運行在任意“云節點”上 , 實現了負載均衡與隨需調度 充分利用云架構的擴展能力，實現了比業務增長速度更高的擴展性。核心業務系統的 數據量在增長， 備份 /恢復 窗口卻在縮小。 針對業務 系統的架構瓶頸 和備份策略 , 通過交叉備份方式來提升數據備份和恢復的效率和成功率 ， 成功 實現了 IT 部門 承諾的 99.99的 恢復成功率。 備份 系統處理 余 量由原來的 30%下降到 15%甚至更低 （ 3） 利用備份 “ 解耦”提升 備份 系統可靠性 業務應用模塊并不關心備份數據在哪里 一套完整備份策略可以靈活在任意的備份中心部署 （ 4） 利用備份共享提高備份資源利用率 ， 提高備份調度運維效率 通過構建全局備份視圖將需要管理的備份空間數量有效降低了 20%， 將預 7 留的冗余備份空間容量有效降低了 25%。 更 好的根據業務調整備份策略，充分利用網絡的資源 , 提高備份的處理效率 通過細分業務、方式 調整備份策略，實現業務服務水平和備份服務水平的的精細化管理，既提高了整體備份服務水平，也優化了備份資源 備份