分布式存儲在行業(yè)和應(yīng)用分析

來自twt社區(qū)同行交流，歡迎更多同行參與交流目前分布式存儲是否適用大多數(shù)行業(yè)和應(yīng)用？隨著X86性能的提升和萬兆、10萬兆網(wǎng)絡(luò)的發(fā)展，分布式存儲的瓶頸似乎也越來越少，除了如金融等對IO有特殊要求的行業(yè)，分布式存儲是否適用在大多數(shù)行業(yè)和應(yīng)用中呢？以我目前接觸過兩個例子來說，一個用的超融合運行大數(shù)據(jù)分析業(yè)務(wù)，另一個用的VSAN運行虛擬化，上面分布數(shù)據(jù)庫、中間件等，由于業(yè)務(wù)沒有那么大的壓力，所以目前看分布式存儲是可以勝任這樣的環(huán)境的。在實際更多的行業(yè)中，還有哪些除了對IO有很高要求的行業(yè)以外，不適用分布式存儲的應(yīng)用呢？問題來自社區(qū)活動，由會員@潘延晟系統(tǒng)工程師提出，來自twt社區(qū)眾多同行的分享，歡迎大家參與交流，各抒己見。*“爭議”欄目內(nèi)容來自同行分享的一手體驗和觀察，僅代表個人觀點@TB洪雪技術(shù)總監(jiān)：摘一段某金融行業(yè)工程師的話，應(yīng)該也是出自twt的話題：1，分布式存儲沒有大量使用，其中一個最大的原因是“軟件定義的分布式存儲”在可用容量單價方面相比傳統(tǒng)存儲貴太多了，我們金融企業(yè)真心用不起。2，高可用方面，分布式存儲高可用方面對比傳統(tǒng)SAN存儲有明顯差距，無論是單節(jié)點重啟影響，微碼升級影響等各方面在IO靜默時間IO跌落幅度和長度方面差距太明顯了。3，集中式架構(gòu)決定性能可做得更好更極致更低時延。分布式架構(gòu)天然上性能低時延不如集中式。4，經(jīng)歷者曾經(jīng)有幾十PB幾十套軟件定義分布式存儲（廠商產(chǎn)品）的運維經(jīng)驗：對比傳統(tǒng)集中式存儲軟件定義的設(shè)備故障時的影響持續(xù)時間和修復(fù)難度要高得多。最怕遇到的是軟件bug或是某個軟件模塊服務(wù)異常，這種情況一般很難快速修復(fù)，甚至要等幾天到周的時間等廠商寫hotfix然后打上修復(fù)。@wwwdp西安未來國際項目經(jīng)理：分布式存儲目前在公安和交通的視頻監(jiān)控應(yīng)用和視頻圖像分析、卡口圖像（人臉/車輛識別）、大數(shù)據(jù)分析后端都有廣泛的應(yīng)用。有些廠家的分布式存儲可提供集文件存儲、對象存儲、塊存儲、大數(shù)據(jù)四種存儲服務(wù)于一身的分布式存儲架構(gòu)，通過橫向擴展基礎(chǔ)架構(gòu)實現(xiàn)單系統(tǒng)存儲節(jié)點擴展至數(shù)千個，形成EB級海量存儲空間、百億數(shù)據(jù)文件管理、千萬級IOPS和百GB帶寬，并憑借其高效可靠的數(shù)據(jù)自動修復(fù)和自動運維機制，顯著降低了存儲管理的負擔(dān)。分布式存儲采用全對稱、去中心化分布式架構(gòu)，將系統(tǒng)的數(shù)據(jù)和元數(shù)據(jù)平均的分布到各個節(jié)點上，打破了傳統(tǒng)系統(tǒng)的元數(shù)據(jù)集中式存儲和管理這一限制，對系統(tǒng)的目錄實行分而治之，實現(xiàn)負荷分擔(dān)、負載均衡；即使系統(tǒng)中出現(xiàn)節(jié)點故障，系統(tǒng)也能夠通過數(shù)據(jù)冗余規(guī)則以及故障修復(fù)迅速進行響應(yīng)，恢復(fù)故障節(jié)點存儲的數(shù)據(jù)及元數(shù)據(jù)信息，提供比傳統(tǒng)存儲系統(tǒng)更高的可靠性。分布式存儲系統(tǒng)完成系統(tǒng)中各個節(jié)點存儲資源的組織，對外提供統(tǒng)一API、支持不同協(xié)議的存儲服務(wù)。分布式存儲通過iSCSI協(xié)議對外界提供塊級別設(shè)備接口，采用分布式系統(tǒng)技術(shù)、高可用系統(tǒng)技術(shù)將大量的存儲設(shè)備進行集中管理，并支持快照、克隆、卷QoS、精簡配置等功能，提高資源利用率，保證關(guān)鍵業(yè)務(wù)的性能。分布式存儲系統(tǒng)通過HDFSAPI提供大數(shù)據(jù)服務(wù)，使用HDFS可以將存儲系統(tǒng)強大的分布式存儲能力與Hadoop中MapReduce強大的并行任務(wù)處理能力相融合，并結(jié)合HDFS相關(guān)組件，將數(shù)據(jù)直接存儲，從架構(gòu)上解決數(shù)據(jù)爆炸性增長、非結(jié)構(gòu)化數(shù)據(jù)分析速度緩慢等問題；通過數(shù)據(jù)共享訪問能力的提升與接口的開放，可實現(xiàn)跨平臺的數(shù)據(jù)共享訪問，滿足不同應(yīng)用的需求。分布式存儲系統(tǒng)可以根據(jù)客戶業(yè)務(wù)需求，靈活的添加或者移除存儲節(jié)點，從而將數(shù)據(jù)和應(yīng)用程序從硬件抽象出來。當(dāng)向系統(tǒng)中添加節(jié)點時，每個節(jié)點或者機箱都將聚合增加CPU、內(nèi)存、緩存、網(wǎng)絡(luò)等資源，使系統(tǒng)整體性能高于各部分總和，提高吞吐量、容量和IOPS。分布式存儲采用了元數(shù)據(jù)集群和基于一致性哈希算法的去中心化技術(shù)，支持節(jié)點動態(tài)擴展，不存在性能瓶頸。隨著節(jié)點數(shù)的增加，存儲容量和計算能力線性增加，最終給用戶提供呈線性遞增的吞吐及并發(fā)能力。客戶為保證存儲空間利用率，分布式存儲提供清空回收站與定時刪除功能。分布式文件系統(tǒng)回收站和分布式塊存儲系統(tǒng)回收站數(shù)據(jù)存儲位置及方式不同，因此清空和清理時限的設(shè)置要分別進行。清空回收站操作需要慎重處理，在清除數(shù)據(jù)之前，需要查看回收站，確認沒有需要的數(shù)據(jù)，再進行此項操作。而定時刪除功能降低了用戶的管理負擔(dān)，用戶可以自由設(shè)定定期掃描時間和文件目錄/邏輯卷超時時間，系統(tǒng)每隔一段時間在后臺運行掃描一次，遍歷回收站目錄下所有日期目錄或卷回收站內(nèi)卷刪除時間，獲取當(dāng)前時間，與日期目錄或卷刪除時間進行比較，對小于文件目錄超時時間的文件/目錄/邏輯卷不允許刪除，反之，則進行自動刪除操作。分布式存儲將零散的存儲資源集合起來，提供一個統(tǒng)一命名空間給用戶，使用戶可通過任何節(jié)點接入系統(tǒng)并處理客戶端連接請求。為均衡分發(fā)客戶端的連接請求并確保業(yè)務(wù)可靠性，提供“輪詢機制”、“連接數(shù)機制”、“cpu機制”、“memory機制”、“bandwidth機制”的負載均衡策略供用戶自主選擇，系統(tǒng)根據(jù)選定的策略將多客戶端連接到系統(tǒng)各節(jié)點，使得不同存儲節(jié)點業(yè)務(wù)、硬盤壓力相對均衡，優(yōu)化系統(tǒng)資源的使用。@榮重實XSKY技術(shù)總監(jiān)：依照IDC的中國市場分析，分布式存儲在國內(nèi)占比已經(jīng)超過40%，可以說是普適了大量的行業(yè)和場景。從場景看：1、私有云和混合云，本身就是分布式存儲的主戰(zhàn)場，在各個行業(yè)內(nèi)廣泛采用，其中政府、互聯(lián)網(wǎng)、金融、運營商、教育、醫(yī)療等等行業(yè)已經(jīng)穩(wěn)定運行多年。2、各種類型影像系統(tǒng)，比如金融的ECM和雙錄，醫(yī)療的PACS和病理分析，高科的基因和電鏡及AI，制造業(yè)的封測和MES，教育的精品課錄播，自動駕駛的大量分析類數(shù)據(jù)，交通的卡口、ETC信息。3、大規(guī)模監(jiān)控云，如政府和運營商的各類視頻收集平臺4、海量的備份歸檔數(shù)據(jù)5、兩地三中心容災(zāi)分布式比較難適配的場景，除了對IO延遲及其敏感的場景，其他場景幾乎都涉及了分布式存儲，近期很多金融機構(gòu)已經(jīng)開始嘗試利用國產(chǎn)化硬件配合全閃介質(zhì)進行跑批測試，簡單的說就是客戶對于雙模架構(gòu)的理解已經(jīng)非常深刻，不會盲目的進行站隊，而是在充分理解自己應(yīng)用和IO模型的情況下，選擇最適合自己的數(shù)據(jù)存放方法。隨著SSD和網(wǎng)絡(luò)技術(shù)的繼續(xù)發(fā)展，我們有理由推斷，分布式存儲在市場中占有的場景和行業(yè)會繼續(xù)增加，慢慢成為主流的數(shù)據(jù)存放方式，結(jié)合數(shù)據(jù)湖以及數(shù)據(jù)流動的概念，更快更穩(wěn)定更長久的保存數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)本身的價值。@penguinhe成方金融項目經(jīng)理：分布式存儲應(yīng)用在應(yīng)用服務(wù)器、中間件服務(wù)器等對IO沒有極致要求和高可用方面有較高要求的分區(qū)上，結(jié)合應(yīng)用、中間件和系統(tǒng)層面自身的雙活及高可用設(shè)計，基本可以滿足需求。@一只紅松鼠華為：從題主的描述來看，問題可能是“采用通用X86服務(wù)器的分布式存儲是否適用大多數(shù)行業(yè)（比如問題中的超融合）”，甚至可能是“采用通用X86服務(wù)器+分布式軟件是否適用大多數(shù)行業(yè)（VSAN的例子）”。所以分別回答一下這幾種情況。首先以我的經(jīng)歷，IT業(yè)務(wù)場景的差異是非常巨大的。幾年前一個項目招了幾個DBA，干了幾天發(fā)現(xiàn)他工作方法效率非常低，不像有幾年的經(jīng)驗的樣子。后來明白了，他以前搞的數(shù)據(jù)庫1T就很大了，而我們的業(yè)務(wù)抄起來就是幾T甚至十幾T，他原來效率很高的方法就變成了很低效的方法。具體到提問，第一，分布式存儲，僅討論使用分布式架構(gòu)的存儲的話，那么大部分場景都是適用的（參見另一話題回復(fù)：/Question/443341-3013459）。例外之處反而可能不是高IO，而是一些小場景。因為分布式架構(gòu)需要一定規(guī)模才能發(fā)揮性能、成本優(yōu)勢，小場景反而是磁盤隊列的優(yōu)勢。那么我們來看看“采用通用X86服務(wù)器的分布式存儲是否適用大多數(shù)行業(yè)”。我借用下AWS的實踐來回答，因為AWS能看到場景應(yīng)該比我們能遇到的豐富得多。AWS的存儲絕對是分布式的，早期也是用通用服務(wù)器的，網(wǎng)絡(luò)是10GE。很符合題主描述的情況。但從去年發(fā)布的EBSIO2Express，開始使用專有硬件、專有網(wǎng)絡(luò)協(xié)議。網(wǎng)絡(luò)帶寬沒有看到，但因為估計要承載ROCE，25GE是大概率。從AWS上抓了不同卷類型的特點、場景對比表，應(yīng)該比較符合題主的問題方向，但也不可能完美解答。比如Oracle，虛擬桌面等等在多種類型的存儲中都出現(xiàn)過，應(yīng)該用哪種，恐怕AWS也說不太清。這就像我找的DBA，他理解的最大、IO密集型、中小等概念，和我理解的可能不在一個位面。不過這張表還是能看出很多信息，簡單解讀一下：

1.對存儲的選擇除了性能還有可靠性，對應(yīng)題主的問題，除了金融等特殊行業(yè)，要求可靠性高的場景也很多；2.而從存儲能力方面，高性能和高可靠往往是相伴而生的，即使性能要求不高，有很高可靠性需求也要使用比較高端的存儲，只能全都要，不能二選一；3.高性能、高可靠的需求大量存在，否則AWS也不必花那么大投入，還收購了一家公司來補齊這部分能力；4.高性能高可靠是很難實現(xiàn)的，AWS只是實現(xiàn)了個預(yù)覽版，而且通用硬件已經(jīng)搞不定了。至于像VSAN這樣完全分離的方案，要考慮的因素還有軟件的能力。VSAN是很強大的軟件，運維也比較容易。如果使用其它產(chǎn)品，可靠性，運維能力也是需要考慮的。補充說明，表中的信息記憶中是從英文網(wǎng)站扒的，但時間長了，找不到鏈接了。而且用的機器翻譯，各位湊合看吧。@趙海技術(shù)經(jīng)理：首先，分布式存儲這個概念不是一個唯一的產(chǎn)品，很多產(chǎn)品都可以歸為分布式存儲的范疇。例如有分布式對象存儲，分布式文件系統(tǒng)存儲。不同的產(chǎn)品由于其數(shù)據(jù)存取及組織方式的差異，必然有自己最適合和擅長的場景，當(dāng)然也會存在自己的短板。所以，分析分布式存儲適合什么樣的行業(yè)和應(yīng)用，如能聚焦到某一類產(chǎn)品上來，會更有針對性。再有我們分析這個產(chǎn)品適不適合這個行業(yè)和應(yīng)用，需要從應(yīng)用所處的場景特點來分析。就通用分析而言，無論是分布式對象還是分布式文件系統(tǒng)類的產(chǎn)品，目前應(yīng)用的大多數(shù)場景還是企業(yè)的一些非結(jié)構(gòu)化及半結(jié)構(gòu)化的數(shù)據(jù)存儲及分析場景。一方面是數(shù)據(jù)量級的問題，另外一方面是數(shù)據(jù)本身的結(jié)構(gòu)特點，再有一個就是擴展性的問題。但是對于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫類的應(yīng)用，由于其數(shù)據(jù)量級、數(shù)據(jù)并發(fā)控制的嚴格性以及穩(wěn)定性等方面要求，大多數(shù)還是在傳統(tǒng)集中式存儲上。對于一些分析類的應(yīng)用，由于互聯(lián)網(wǎng)的融入，數(shù)據(jù)特點及量級方面都有了質(zhì)的變化，因此大家都是根據(jù)具體應(yīng)用特點采用NOSQL+分布式存儲+定向開發(fā)等形成一套具有自己獨特應(yīng)用特點的數(shù)據(jù)中后臺。@whistwuSmartX解決方案經(jīng)理：我的答案是肯定的，分布式存儲將適用大多數(shù)行業(yè)和應(yīng)用。在此之前，我們來了解大多數(shù)行業(yè)和應(yīng)用對存儲的訴求是什么？剛開始的時候，我們只需要一個能存儲數(shù)據(jù)文件的設(shè)備，隨著數(shù)據(jù)量越來越多，應(yīng)用越來越多，我們需要更大空間的存儲，而且大家能共享使用，不會造成資源浪費，這時通過光纖網(wǎng)絡(luò)共享的SAN存儲滿足了需求；同時，SAN存儲的快速發(fā)展還受益于IOE的架構(gòu)體系，這中間的“O”就是數(shù)據(jù)庫體系，因為數(shù)據(jù)庫對IO性能的要求苛刻，SAN存儲的IO性能和響應(yīng)時間能夠滿足要求。因此“高性能”是大多數(shù)行業(yè)對存儲的訴求之一，同時也是對分布式存儲的訴求。剛開始的時候，因為分布式架構(gòu)和產(chǎn)品成熟的因素，性能確實是考驗分布式存儲的一個難關(guān)，記得2017年中國移動組織了第一次分布式存儲集采，結(jié)果17家送測廠商無一例外失敗了，其中最主要的原因就是性能不達標(biāo)。行業(yè)里第一個想到的辦法是超融合，計算虛擬化+分布式存儲融合在一起，將數(shù)據(jù)更加靠近計算，沒有存儲網(wǎng)絡(luò)的延遲影響，能發(fā)揮設(shè)備的極致性能。有意思的是IDC報告里把HCI超融合和分布式塊存儲的市場放在一起來統(tǒng)計，是有一些道理的，因為超融合主要面對的是生產(chǎn)核心系統(tǒng)的領(lǐng)域，而這正好也是分布式塊存儲的目標(biāo)市場之一。但是企業(yè)里還是有很多應(yīng)用沒有用虛擬機的，這部分怎么辦呢，所以存算分離的場景是分布式存儲重點的方向之一。影響分布式存儲性能有很多方面，最重要的主要是兩點，介質(zhì)和傳輸網(wǎng)絡(luò)，對于分布式存儲系統(tǒng)來說，介質(zhì)可以選擇高性能的全閃磁盤，甚至全NVMe的SSD磁盤，能達到較高的IO性能，對于網(wǎng)絡(luò)來說，分布式存儲選用iSCSI連接方式比較多，但我們知道，iSCSI作為存儲接口使用走的是TCP/IP網(wǎng)絡(luò)，TCP/IP網(wǎng)絡(luò)為非無損網(wǎng)絡(luò)，意味著一旦有丟包，存儲性能會下降非常快，最新的方式是采用NVMe-oF作為傳輸協(xié)議，通過NVMeoverFabric實現(xiàn)NVMe標(biāo)準在PCIe總線上的擴展，以此來挑戰(zhàn)SCSI在SAN中的統(tǒng)治地位，同時這也非常適合分布式存儲架構(gòu)，NVMe-oF配合RoCEv2，能夠使得分布式存儲的響應(yīng)時間達到了微秒級別。其次，需要企業(yè)對存儲的另一訴求是“可靠性”。傳統(tǒng)的SAN存儲可靠性主要是采用了部件冗余和RAID技術(shù)，因為系統(tǒng)的工業(yè)化集成程度高，耦合性好，所以故障報修的問題少，而現(xiàn)在的分布式存儲中，更多的考慮是通用型號的X86服務(wù)器設(shè)備作為平臺，適用性較好，通過糾刪碼和副本技術(shù)來保護數(shù)據(jù)不會因為硬件故障而丟失，同時，考慮冗余的角度變成了防止硬盤故障、節(jié)點故障、網(wǎng)絡(luò)故障和集群故障等，用通俗的話來說，一個是按法拉利F1方程式來設(shè)計的，一個是按方便實用特斯拉電動車型設(shè)計的，當(dāng)然這里說的是高端的磁盤陣列，普通的雙控傳統(tǒng)存儲可能還遠遠達不到F1方程式級別。從企業(yè)應(yīng)用角度還要考察的第三項是“穩(wěn)定性”。正常情況下，分布式存儲平穩(wěn)運行是基礎(chǔ)，需要考慮的系統(tǒng)是出現(xiàn)問題的時候，處在非健康狀態(tài)下是否也能平穩(wěn)運行，比如磁盤故障恢復(fù)時、部分節(jié)點故障后、網(wǎng)絡(luò)亞健康時、存儲容量達到80%的時候，這都是考驗各分布式廠商技術(shù)功底，特別是在數(shù)據(jù)庫環(huán)境下，更考驗分布式存儲廠商是否有長時間的技術(shù)積累，相信隨著技術(shù)發(fā)展和分布式存儲軟件的迭代，分布式存儲的穩(wěn)定性會更好。如果閱讀中國IDC2021年上半年的報告，你會發(fā)現(xiàn)分布式存儲和超融合已經(jīng)不聲不響的占了快一半的市場份額，比去年同期還高了5.8%，從市場表現(xiàn)上來看未來的分布式存儲毫無疑問是適用大多數(shù)行業(yè)和應(yīng)用的。@劉東

東軟集團IT技術(shù)咨詢顧問：首先，隨著X86服務(wù)器性能的提高，10GE/100GE網(wǎng)絡(luò)的性能提升、固態(tài)硬盤的普及和大容量硬盤的出現(xiàn)，分布式存儲確實越來越突顯出其優(yōu)勢，性價比高，規(guī)模化部署成本低，性能線性增長，這些特性讓越來越多的行業(yè)正在將業(yè)務(wù)更多的部署在分布式存儲上。從前幾年的試探性部署，到現(xiàn)在的規(guī)模化部署，分布式存儲的市場增長率，在大容量存儲市場，已經(jīng)顯著的超過了傳統(tǒng)架構(gòu)的集中式存儲。其次，我們需要看到，各個行業(yè)雖然都在大規(guī)模的部署分布式存儲，但是傳統(tǒng)的集中架構(gòu)式存儲仍有市場空間，目前據(jù)我了解，還沒有任何一個行業(yè)的存儲市場完全被分布式存儲替代，仍然是混合架構(gòu)，而非專有架構(gòu)。最后，我們從兩個不同的行業(yè)進行分析，看一下具體的應(yīng)用場景。1、醫(yī)療行業(yè)，最適合分布式存儲部署的場景就是PACS文件系統(tǒng)，這類系統(tǒng)的應(yīng)用特點是對文件存儲有大容量的存儲需求，同時又要求高性能。平均每個大型醫(yī)院每年的數(shù)據(jù)增長量有幾十TB，所以傳統(tǒng)集中存儲架構(gòu)已經(jīng)不適合這種大規(guī)模的數(shù)據(jù)量增長需求。最不適合分布式存儲部署的是核心HIS系統(tǒng)，這類系統(tǒng)數(shù)據(jù)量不大，通常只有最多只有幾個TB，每年數(shù)據(jù)增長幾十GB，但是對I/O非常敏感，而且涉及到財務(wù)，對數(shù)據(jù)一致性要求也比較高，不太適用分布式存儲。2、政府行業(yè)，最適合分布式存儲部署的場景是大數(shù)據(jù)平臺、電子公文系統(tǒng)等，類似公文這類系統(tǒng)通常需要存儲大量的郵件附件等文件，對數(shù)據(jù)量要求比較高，但是性能要求一般，使用大容量低成本硬盤組件分布式存儲是非常合適的，不但可以降低政府部門投資，靈活的擴展能力也可以將系統(tǒng)投資按年進行擴容，合理分配預(yù)算。最不適合的是電子政務(wù)的數(shù)據(jù)庫系統(tǒng)，通常這類系統(tǒng)存儲民生等關(guān)鍵業(yè)務(wù)數(shù)據(jù)，特別是在做全國數(shù)