1、 銀行向對象存儲架構轉型升級的思路和最佳實踐 【摘要】本文從某銀行非結構化數據存儲的現狀及痛點入手，深入剖析當前影像系統的架構方案瓶頸和不足，并對對象存儲架構體系轉型升級的需求進行深入分析，提出相應的轉型思路，同時結合實際現狀，拋出轉型過程中需要克服的幾個難點問題，希望對各位同行有所幫助。前言隨著某銀行數字化業務的持續開展和監管要求的不斷提高，各線上線下業務渠道不斷拓展，其產生的影像、音頻、視頻等非結構化數據急速增加，該行正面臨現有的文件存儲設施不能適應業務增長、系統管理復雜、擴展能力差、訪問能力差等問題。因此亟需啟動開放式海量非結構化數據的存儲平臺項目，來滿足海量的非結構化數據存儲、讀取和管

2、理需求。本文將從某銀行非結構化數據存儲的現狀及痛點入手，深入剖析該行當前影像系統的架構方案瓶頸和不足，以及對對象存儲架構體系轉型升級的需求進行深入分析，并提出相應的轉型思路，同時結合實際現狀，拋出轉型過程中需要克服的幾個難點問題，希望對各位同行有所幫助和借鑒。一、非結構化數據存儲的現狀及痛點目前某銀行非結構化數據 （影像數據 ） 存儲、調用和歸檔主要采用傳統的在線、 近線和離線存儲分層架構體系。從影像數據來源來看，某行的影像數據主要分兩大塊，一塊是地市影像數據，主要用于事后督查業務，另一塊是總行影像數據，主要是通過柜面、智能柜臺和移動營銷等線下渠道、信貸系統辦理客戶各項業務時產生的影像數據，以

3、及通過互聯網金融 APP 、手機銀行 APP 、ATM 等線上渠道進行人臉識別時產生的影像數據。地市影像數據目前分別存放于多個 SAN 存儲當中，分別部署于不同的地市機房，根據地市的業務規模不一，存儲容量也不一，平均每個 SAN 存儲約 100TB 。總行影像數據通過存儲分層架構實現在線、近線和離線數據的存儲和隔離，如下圖所示。在線存儲存放于閃存 （ IBM FS900 ） 當中，約 10T ， 保存了近 7 天的影像數據，并通過 IBM ECM 客戶端定期遷移至 ECM 系統所接入的近線存儲 （ IBMDS8870 和 V7000 ） 當中，約 50T ，保存了近 30 天的影像數據，最后再

4、通過 IBM TSM 備份軟件每日將近線存儲中的影像數據歸檔至離線存儲（ 華為 5300V3 、 IBM DCS3700 ）當中。當信貸系統或者柜面等線下渠道業務需要調取 7 天以內的影像數據時，直接訪問影像系統，讀取影像節點的后端在線存儲；當需要調取 7 天以上， 30 天以內的數據時，將先通過部署在影像節點上的 ECM 客戶端，從 ECM 系統中抽取數據至影像節點，再傳給相應的線上或線下的渠道業務系統；當需要調取 30 天以上的數據時，則步驟更加繁瑣，涉及鏈路節點更多，需先通過 TSM 備份軟件抽取備份的影像數據至 ECM 系統，再傳給影像節點，最終傳給相應的渠道業務系統。此架構通過利用不

5、同性能的存儲實現影像讀寫質量分層，不同性能的存儲提供不同質量的 I/O 服務，閃存在影像數據寫入和在線讀取性能極佳，為各線上線下渠道業務系統的影像數據錄入和調取縮短大量時間 （極致的響應速度 ），并大幅提升并發能力 （ IOPS ） ；離線的大容量存儲則提供了較高的存儲性價比，滿足日益增長的海量影像數據永久存儲需要。該架構也確實在某行影像平臺上線后的3、4年內，提供了比較高效的非結構化數據存取能力。然而隨著近兩年存儲的影像數據量的暴增，新增了多類業務的影像業務和數據，像互聯網影像數據、手機銀行及 ATM 人臉識別影像數據、移動營銷及智慧柜臺等智能終端辦理業務時產生的影像數據、銀企業務影像數據等

6、等，這樣就導致影像系統尤其是再后端的 ECM 系統壓力陡增，目前遇到以下幾個痛點問題：其一在于 ECM 系統，無論是近線數據還是離線數據，影像數據的位置與影像數據間的關系等信息均存放于 ECM 數據庫當中，該數據庫為聯機型關系數據庫，隨著數據量的劇增，ECM 數據庫的數據量已達到近 8TB ， 7 天以上的數據調閱均需要訪問先 ECM 數據 庫，來獲取數據位置，然而目前龐大 ECM 的數據庫，即使經過多次數據庫性能調優，并發讀取性能已經越來越不滿足業務的需求，因此數據調閱響應時間也越來越長；其二在于影像數據調閱所需經過的節點過多，鏈路過長，包括影像節點影像存儲節點、影像數據庫、 ECM 節點、

7、 ECM 數據庫和 TSM 節點等，影像系統的服務耗時較長，隨著影像數據量越來越大，耗時問題將越來越嚴峻，尤其是 7 天以上歷史數據的調閱耗時過長問題，故障點多，且響應時間慢，若全用閃存來完全取代近線存儲，則性價比過低；其三在于影像系統的兩地三中心建設難度大，方案復雜，存儲投入大，成本高，數據副本重復，且切換耗時較長， RPO 和 RTO 均不能滿足監管機構的要求。因此，基于以上的現狀及痛點，該行迫切需要對現有影像以及 ECM 的數據存儲架構進行轉型升級，精簡該存儲架構，全面提升影像數據的存儲效率，并建設影像系統的兩地三中心體系。二、非結構化數據存儲轉型思路及需求分析鑒于某行目前非結構化數據主

8、要存放在 SAN 集中式存儲上，而傳統存儲采用集中式的元數據處理方式，因此，當某行影像系統在處理千萬、億級的文件量時就會出現陡峭的性能驟降拐點，直接表現就是前端影像平臺處理效率降低，柜面、信貸、事后督查等涉及影像的業務效率的下降，最終導致客戶滿意度的下降，這顯然不利于該行的健康持久發展。因此該行需要對現有存儲中的海量數據進行整合、精簡存儲架構，目前非結構化海量數據存儲較好的方案主要有傳統分布式NAS 方案和對象存儲方案。傳統 NAS 存儲方案由于和現有 SAN 存儲方案類似，都是基于文件系統的方案，均為樹形目錄組織結構，隨著數據量的增大，同樣存在文件尋址越來越慢的瓶頸。另外如果將現有 SAN

9、方案改為 NAS 存儲方案， IOPS 和 I/O 響應時間還有所降低，尤其是在線儲存目前所用存儲為閃存陣列，近線存儲為 DS8870/V7000，離線存儲和地市影像存儲均為華為 5300V3 ， 通過 NAS 方案 顯然不適合對現有架構進行改造，且存在越改越差的情況。至于 NAS 存儲的兩地三中心容災備份方案，依舊是兩套 NAS 鏡像或者雙活的方式，副本數較少，備份效率低，數據一致性校驗困難。因此該行在非結構化存儲架構轉型方案上偏向于采用對象存儲方案。該行期望通過使用分布式對象存儲架構替換現有傳統的 SAN 存儲架構，能夠解決海量非結構化數據的集中存儲及訪問問題，提升非結構化文件存取效率，解

10、決地市影像和總行影像存儲單點問題，并盡可能的精簡現有非機構化數據的存儲架構。而分布式對象存儲能夠保證不丟失數據、不中斷服務、提供良好的用戶體驗，解決存儲擴容等一系列復雜問題。由于分布式對象存儲采用扁平化的數據組織方式，所以目錄架構擴展性強，耦合性低，增刪節點時所需遷移的數據少。整體而言，在業務系統、 IT 性能以及運維方面都帶了本質的提升。基于此，該行非結構化數據存儲轉型需求可以概括為以下三個方面：1 、精簡非結構化數據存儲架構。對總行影像數據而言，該行現有的存儲架構為：IBM FS900 閃存 -IBM DS8870/V7000- 華為 5300V3 ，三層存儲架構，且存儲和現有生產交易類閃

11、存和 DS8870 存儲共用，一來非結構化數據不適合放于 I/O 響應時間優異的存儲當中，性能浪費嚴重，且占用過多的存儲空間，其他對 I/O 響應時間要求更高的交易類系統，可能反而得不到高性能的存儲。二來該存儲架構過于冗余，數據存儲存在大量遷移和調用的過程，如 7 天以上的數據由閃存遷移至 DS8870/V7000，30 天以上的數據由 DS8870/V7000 遷移至華為 5300V3 ，歷史數據調閱的過程又反向，雖然均通過 ECM 系統和 TSM 軟件實現了該過程，但效率較低。可以將該問題概括為：使用率性能比較優異存儲，但整體數據存取效率反而不高，尤其是歷史數據的調用方面。對地市分行而言，

12、不同地市分別部署了一套華為存儲，獨立使用，數據來源于事后監督系統通過部署在地市影像節點上的ECM 客戶端來抽取總行 ECM 系統的歷史數據，該數據和總行數據存在部分重合， 但卻又并不是總行數據的副本，無法接管總行影像系統。而采用對象存儲方案，可以通過總行和地市部署存儲節點和訪問節點的方式，將所有存儲打通成一個大存儲資源池，所有影像數據均放在該存儲池，形成二層精簡架構，所有數據的存取，包括柜面、信貸、后督等系統對影像數據的存儲，均通過本地的訪問節點訪問，大大提升了訪問效率。2 、提升非結構化數據的存取性能。雖然目前的架構方案中引入了閃存，對于 7 天以內的影像數據的存取效率大大提升，但歷史影像數

13、據的調閱性能依舊較差。導致該問題的一個主要原因在于歷史影像數據調閱需要通過 ECM 客戶端訪問ECM 系統中的存儲數據，而該訪問的過程首先要讀取 ECM 數據庫，獲取存儲數據的位置和地址，才能獲取存儲當中的數據，這樣的弊端在于隨著該行業務的拓展， 接入影像系統的渠道越來越多，影像系統每日的業務量越來越大， ECM 數據庫中 相應的數據也與日俱增，進而導致 ECM 數據庫訪問效率大大降低， 30 天以內的歷史影像數據的調閱也就越來越慢，無法滿足柜面等渠道及信貸系統對影像數據 調閱的需求。對于 30 天以上的歷史數據就更加如此，除了需要訪問 ECM 數據庫 之外，還需要訪問 TSM 備份系統，通過

14、 TSM 備份系統自動將要調閱的數據恢復至ECM 系統中，再上傳給影像系統，供其他渠道和系統調閱。因此整個過程實際上耗費了大量時間在數據查找和數據傳輸上，即使底層存儲采用了 SAN 存儲，性能 較對象存儲強，但算上這些額外開銷時間，總體調閱時間大大提高。因此倘若采用了對象存儲，訪問時間就僅僅為對象存儲的尋址時間，沒有其他額外時間的消耗，總體性能也就大大提升。3 、提升非結構化數據的副本數和冗余度。相較于現有存儲架構中的單副本數據，要提升副本數，建設非結構化數據的兩地三中心體系，必須通過存儲級的復制技術實現，多副本間為完全拷貝，相同的一份數據在生產、同城和異地站點的存儲中均保留一份，對于海量的影

15、像數據而言，容量起步 PB 級，建設兩地三中心，需要大量的存儲成本投入，性價比低。而采用對象存儲方案，其天生具有地理容災性，通過獨特的糾刪碼技術，將每份影像數據通過切片的方式切成若干份，分布于多個數據中心的多個存儲節點當中，同時保留一定切片冗余。例如經典的 7/12 的切片規則，一份數據被切為 12 個切片，只要任意的 7 個切片數據完 整，則原始數據就能正常訪問，這樣能夠容忍任意 5 個切片數據失效。因此數據的冗余度也大大提升，即使某個數據中心的存儲節點發生故障，或者訪問節點發生故障，均可以通過其他存儲節點和訪問節點獲取原始數據。該技術易于構建非結構化數據的兩地三中心部署方案，提升數據可靠性

16、，同時極大降低存儲投入成本。三、非結構化數據存儲轉型難點分析基于以上的需求分析和轉型思路，對該行的非結構化數據存儲架構的改造而言，采用對象存儲方案是最優的方案，轉型后的架構如下圖所示。但同時，另一方面，采用對象存儲，也將給該行帶來三個方面的難點問題，需要提前妥善解決。1 、傳統的文件系統讀取的方式需要改為對象存儲 API 的方式。無論是采用SAN 存儲或者 NAS 存儲，各渠道系統訪問影像系統，是經影像應用節點處理后， 讀寫影像應用節點后端 SAN 或 NAS 存儲，讀寫接口方式為傳統的文件系統讀寫。對于大多數文件系統來說，尤其是 POSIX 兼容的文件系統，提供 open 、 close 、

17、read 、 write 和 lseek 等接口。而對象存儲的接口是 REST 風格的，通常是基于HTTP 協議的 RESTful Web API ，通過 HTTP 請求中的 PUT 和 GET 等操作進行文件的上傳即寫入和下載即讀取，通過 DELETE 操作刪除文件。對象存儲和文件系統在接口上的本質區別是對象存儲不支持和 fread 和 fwrite 類似的隨機位置讀寫操作，即一個文件 PUT 到對象存儲里以后，如果要讀取，只能 GET 整個文件，如果要修改一個對象，只能重新 PUT 一個新的到對象存儲里，覆蓋之前的對象或者形成一個新的版本。因此，要將文件系統讀寫方式轉為對象存儲 API 方

18、式，需要對現有影像系統應用進行大規模改造，增加新的對象存儲 API 接口，修改大量程序代碼，時間周期和工作量需要提前計劃好，并進行充分測試。2 、非結構化數據存儲遷移問題。原閃存、 DS8870 、 5300V3 中的非結構化存儲數據需要通過調閱的方式遷移至對象存儲當中，涉及的數據量較多，耗時較長， 且影像系統在數據遷移過程中，不能影響各渠道業務的正常辦理，業務不允許中斷，遷移時也要對其他業務系統提供影像服務，因此，整個平滑遷移與過渡的方案要理清和妥善計劃。另外，值得考慮的一點是，在遷移過程中，涉及歷史數據調閱并重新通過 API 寫入對象存儲，同時正常的業務辦理也需要調閱 7 天以上的影像數據至影像節點后端的文件系統，因此影像應用在改造時，需先同時兼容兩種接口方式，并以拷貝的方式將數據備份至對象存儲，而非直接遷移。3 、帶寬擴容問題。由于