深信服超融合HCI產(chǎn)品技術(shù)白皮書密級(jí)：公開(kāi)文檔版本01（2022-08-29）深信服超融合HCI技術(shù)白皮書產(chǎn)品版本HCI6.8.1文檔版本1.0發(fā)布日期2023.02.13深信服科技股份有限公司版權(quán)聲明版權(quán)所有?深信服科技股份有限公司2022。保留一切權(quán)利（包括但不限于修訂、最終解釋權(quán)）。除非深信服科技股份有限公司（以下簡(jiǎn)稱“深信服公司”）另行聲明或授權(quán)，否則本文件及本文件的相關(guān)內(nèi)容所包含或涉及的文字、圖像、圖片、照片、音頻、視頻、圖表、色彩、版面設(shè)計(jì)等的所有知識(shí)產(chǎn)權(quán)（包括但不限于版權(quán)、商標(biāo)權(quán)、專利權(quán)、商業(yè)秘密等）及相關(guān)權(quán)利，均歸深信服公司或其關(guān)聯(lián)公司所有。未經(jīng)深信服公司書面許可，任何人不得擅自對(duì)本文件及其內(nèi)容進(jìn)行使用（包括但不限于復(fù)制、轉(zhuǎn)載、摘編、修改、或以其他方式展示、傳播等）。特別提示您購(gòu)買的產(chǎn)品、服務(wù)或特性等應(yīng)受深信服科技股份有限公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購(gòu)買或使用范圍之內(nèi)。除非合同另有約定，深信服科技股份有限公司對(duì)本文檔內(nèi)容不做任何明示或默示的聲明或保證。由于產(chǎn)品版本升級(jí)或其他原因，本文檔內(nèi)容會(huì)不定期進(jìn)行更新，如有變更，恕不另行通知。除非另有約定，本文檔僅作為使用指導(dǎo)，本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔(dān)保，深信服科技股份有限公司不對(duì)本文檔中的遺漏、變更及錯(cuò)誤所導(dǎo)致的損失和損害承擔(dān)任何責(zé)任。聯(lián)系我們售前咨詢熱線：400-806-6868售后服務(wù)熱線：400-630-6430（中國(guó)大陸）深信服科技官網(wǎng)：

文檔說(shuō)明本文檔是深信服超融合HCI產(chǎn)品介紹材料，包括產(chǎn)品架構(gòu)、主要功能、典型應(yīng)用場(chǎng)景等介紹，旨在幫助一線銷售、售前、技術(shù)支持等人員了解產(chǎn)品，達(dá)成熟悉產(chǎn)品和應(yīng)用場(chǎng)景的效果。修訂記錄修訂記錄累積了每次文檔更新的說(shuō)明。最新版本的文檔包含以前所有文檔版本的更新內(nèi)容。日期文檔版本備注2023-02-13V1.0符號(hào)說(shuō)明在本文中可能出現(xiàn)下列標(biāo)志，它們所代表的含義如下。圖形文字使用原則危險(xiǎn)若用戶忽略危險(xiǎn)標(biāo)志，可能會(huì)因誤操作發(fā)生危害人身安全、環(huán)境安全等嚴(yán)重后果。警告該標(biāo)志后的注釋需給予格外的關(guān)注，不當(dāng)?shù)牟僮骺赡軙?huì)給人身造成傷害。小心若用戶忽略警告標(biāo)志，可能會(huì)因誤操作發(fā)生嚴(yán)重事故（如損壞設(shè)備）或人身傷害。注意提醒操作中應(yīng)注意的事項(xiàng)，不當(dāng)?shù)牟僮骺赡軙?huì)導(dǎo)致設(shè)置無(wú)法生效、數(shù)據(jù)丟失或者設(shè)備損壞。。說(shuō)明對(duì)操作內(nèi)容的描述進(jìn)行必要的補(bǔ)充和說(shuō)明。在本文中會(huì)出現(xiàn)圖形界面格式，它們所代表的含義如下。文字描述代替符號(hào)舉例窗口名、菜單名等方括號(hào)“[]”彈出[新建用戶]窗口。選擇[系統(tǒng)設(shè)置/接口配置]。按鈕名、鍵名尖括號(hào)“<>”單擊<確定>按鈕。目錄1. 產(chǎn)品概述 91.1. 超融合介紹 91.2. 深信服超融合演進(jìn) 102. 客戶價(jià)值 113. 超融合整體架構(gòu)設(shè)計(jì) 123.1. 架構(gòu)設(shè)計(jì)原理 123.1.1. 分層設(shè)計(jì) 123.1.2. 組件解耦和服務(wù)化 133.1.3. 服務(wù)云原生容器化 153.2. 功能架構(gòu)設(shè)計(jì) 153.3. VDI和HCI融合架構(gòu) 163.3.1. 融合部署場(chǎng)景 173.3.2. 桌面即服務(wù)（DaaS）場(chǎng)景 183.4. 產(chǎn)品兼容性 194. 超融合關(guān)鍵技術(shù) 204.1. 計(jì)算虛擬化aSV 204.1.1. 技術(shù)概述 204.1.2. 功能/特性架構(gòu)圖 264.1.3. 資源管理 274.1.4. 數(shù)據(jù)保護(hù) 374.1.5. 故障預(yù)防與處理 514.1.6. 性能優(yōu)化 614.1.7. 業(yè)務(wù)部署 654.2. 存儲(chǔ)虛擬化aSAN 784.2.1. 技術(shù)概述 784.2.2. aSAN產(chǎn)品架構(gòu) 784.2.3. 數(shù)據(jù)存儲(chǔ)流程 814.2.4. 高性能 824.2.5. 高可靠 984.2.6. 智能運(yùn)維 1264.2.7. 存儲(chǔ)高級(jí)特性 1344.2.8. 延伸集群 1444.3. 網(wǎng)絡(luò)虛擬化aNET 1504.3.1. 技術(shù)概述 1504.3.2. aNET架構(gòu)設(shè)計(jì) 1514.3.3. 多集群大二層網(wǎng)絡(luò) 1634.3.4. 網(wǎng)絡(luò)部署能力 1644.3.5. 虛擬網(wǎng)元設(shè)備 1804.3.6. 網(wǎng)絡(luò)流量轉(zhuǎn)發(fā)功能 1834.3.7. 網(wǎng)絡(luò)可視化 1954.3.8. 流量鏡像 1964.3.9. 網(wǎng)絡(luò)運(yùn)維功能 1984.4. 安全虛擬化aSEC 2034.4.1. 技術(shù)概述 2034.4.2. 安全防護(hù)架構(gòu) 2044.4.3. 云安全中心（內(nèi)建安全） 2074.4.4. NFV組件 2144.4.5. 東西向分布式防火墻 2214.5. 超融合管理 2234.5.1. 超融合管理概述 2234.5.2. 集群管理 2244.5.3. 運(yùn)維管理 2284.5.4. 集群升級(jí) 2344.5.5. 平臺(tái)管理安全 2374.5.6. 開(kāi)放性支持 2454.6. 災(zāi)備技術(shù)架構(gòu) 2464.6.1. 容災(zāi)方案總述 2474.6.2. 容災(zāi)流程 2484.6.3. 業(yè)務(wù)可靠性分級(jí) 2534.6.4. 容災(zāi)技術(shù)特性 2554.6.5. 云備份 2594.6.6. 異構(gòu)災(zāi)備 2614.7. 云管平臺(tái)SCP 2625. 信創(chuàng)架構(gòu)關(guān)鍵技術(shù) 2645.1. ARM和X86同架構(gòu) 2645.2. 產(chǎn)品性能增強(qiáng) 2655.2.1. 網(wǎng)絡(luò)親和調(diào)度優(yōu)化 2655.2.2. 內(nèi)存讀緩存 2665.2.3. CPU調(diào)度負(fù)載均衡優(yōu)化 2675.2.4. 網(wǎng)卡隊(duì)列和中斷綁定優(yōu)化 2685.2.5. PAT優(yōu)化 2695.3. 產(chǎn)品可靠性增強(qiáng) 2705.3.1. 通用IO處理增強(qiáng) 2705.3.2. 文件系統(tǒng)優(yōu)化增強(qiáng) 2715.3.3. 內(nèi)核核心模塊增強(qiáng) 2725.3.4. 增強(qiáng)型功能合入 2735.3.5. 外設(shè)驅(qū)動(dòng)適配增強(qiáng) 2755.4. 平滑升級(jí)能力 2765.4.1. C86架構(gòu)平滑升級(jí) 2766. 超融合解決方案 2796.1. 業(yè)務(wù)場(chǎng)景解決方案概述 2796.2. 信創(chuàng)國(guó)產(chǎn)化解決方案 2796.2.1. 業(yè)務(wù)場(chǎng)景與挑戰(zhàn) 2796.2.2. 解決方案架構(gòu) 2806.2.3. 客戶價(jià)值 2816.3. 數(shù)據(jù)中心解決方案 2826.3.1. 業(yè)務(wù)場(chǎng)景與挑戰(zhàn) 2826.3.2. 解決方案架構(gòu)及優(yōu)勢(shì) 2826.3.3. 客戶價(jià)值 2846.4. 容災(zāi)解決方案 2846.4.1. 業(yè)務(wù)場(chǎng)景與挑戰(zhàn) 2846.4.2. 解決方案架構(gòu)及優(yōu)勢(shì) 2856.4.3. 客戶價(jià)值 2866.5. 數(shù)據(jù)庫(kù)管理解決方案 2866.5.1. 業(yè)務(wù)場(chǎng)景與挑戰(zhàn) 2866.5.2. 解決方案架構(gòu)及優(yōu)勢(shì) 2876.5.3. 客戶價(jià)值 2886.6. 虛擬化替換解決方案 2896.6.1. 業(yè)務(wù)場(chǎng)景與挑戰(zhàn) 2896.6.2. 解決方案架構(gòu) 2906.6.3. 客戶價(jià)值 2916.7. GPU場(chǎng)景解決方案 2926.7.1. 業(yè)務(wù)場(chǎng)景與挑戰(zhàn) 2926.7.2. 解決方案架構(gòu)及優(yōu)勢(shì) 2926.7.3. 客戶價(jià)值 2936.8. VDI場(chǎng)景解決方案 2946.8.1. 業(yè)務(wù)場(chǎng)景與挑戰(zhàn) 2946.8.2. 解決方案架構(gòu)及優(yōu)勢(shì) 2956.8.3. 客戶價(jià)值 2967. 附錄：縮略語(yǔ)與名詞 297產(chǎn)品概述超融合介紹在傳統(tǒng)IT環(huán)境下，應(yīng)用和資源是緊耦合的，使得底層架構(gòu)缺乏彈性，業(yè)務(wù)轉(zhuǎn)型帶來(lái)業(yè)務(wù)數(shù)量增加、用戶數(shù)量快速遞增，IT資源無(wú)法快速靈活的隨之增長(zhǎng)；業(yè)務(wù)部署緩慢，傳統(tǒng)數(shù)據(jù)中心整體架構(gòu)復(fù)雜、設(shè)備種類多，新業(yè)務(wù)從方案設(shè)計(jì)、集成部署到最終的運(yùn)營(yíng)上線，需要長(zhǎng)則數(shù)月的時(shí)間；運(yùn)維管理困難也是一直存在的挑戰(zhàn)，數(shù)據(jù)中心設(shè)備繁雜、品牌不一，使得IT部門很難對(duì)基礎(chǔ)設(shè)施執(zhí)行統(tǒng)一監(jiān)控和管理；當(dāng)前IT資源的利用率普遍較低，多數(shù)設(shè)備資源利用率不足20%，除部分?jǐn)?shù)據(jù)中心應(yīng)用了計(jì)算虛擬化，存儲(chǔ)、網(wǎng)絡(luò)、安全仍采用物理設(shè)備部署，導(dǎo)致建設(shè)成本高昂。最重要的是，IT部門將大部分精力投入到基礎(chǔ)架構(gòu)的維護(hù)中，而無(wú)法過(guò)多的關(guān)注信息化和業(yè)務(wù)結(jié)合的創(chuàng)新，失去了在業(yè)務(wù)轉(zhuǎn)型過(guò)程中的核心價(jià)值。深信服緊密圍繞客戶價(jià)值需求，推出超融合解決方案，首先在基礎(chǔ)架構(gòu)層面，我們以超融合管理和分布式存儲(chǔ)等軟件能力為核心，實(shí)現(xiàn)了只用通用的X86服務(wù)器和二三層交換機(jī)，通過(guò)完全軟件定義的方式實(shí)現(xiàn)云基礎(chǔ)架構(gòu)；進(jìn)一步的，我們?yōu)闃I(yè)界首家構(gòu)建了云內(nèi)建安全的能力，實(shí)現(xiàn)了業(yè)務(wù)上線即安全。在管理層面，我們通過(guò)云管平臺(tái)實(shí)現(xiàn)底層云基礎(chǔ)架構(gòu)和上層應(yīng)用的緊密融合。因此，深信服超融合解決方案是數(shù)據(jù)中心基礎(chǔ)設(shè)施簡(jiǎn)易交付、高效運(yùn)維、向云化演進(jìn)的最佳路徑。深信服超融合云平臺(tái)產(chǎn)品架構(gòu)包括虛擬化產(chǎn)品、超融合HCI、云管理平臺(tái)SCP，其中超融合產(chǎn)品由計(jì)算虛擬化aSV、存儲(chǔ)虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全虛擬化aSEC組成，云管理平臺(tái)搭建在超融合平臺(tái)之上，承載多HCI集群的管理運(yùn)維工作，并具有可靠中心、安全中心、監(jiān)控中心、納管第三方資源等高級(jí)運(yùn)維功能。深信服超融合不斷圍繞穩(wěn)定可靠、性能卓越、安全有效和智能便捷四個(gè)方面打造產(chǎn)品，能夠承載用戶數(shù)字化轉(zhuǎn)型過(guò)程中的各種類型業(yè)務(wù)，可滿足不同客戶數(shù)據(jù)中心建設(shè)和管理需求。隨著信息技術(shù)應(yīng)用創(chuàng)新產(chǎn)業(yè)的不斷發(fā)展和推進(jìn)，越來(lái)越多的客戶在構(gòu)建自主可控的IT基礎(chǔ)設(shè)施，深信服超融合作為面向下一代數(shù)據(jù)中心的軟件定義基礎(chǔ)架構(gòu)，從一開(kāi)始就立足自主研發(fā)，打造全棧自主可控的超融合架構(gòu)。通過(guò)軟件定義的方式實(shí)現(xiàn)ARM和C86架構(gòu)的資源池化，提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和云內(nèi)安全等資源，提高了資源的利用率與靈活性。兼容飛騰/鯤鵬/海光等8款國(guó)產(chǎn)CPU，與50多家國(guó)產(chǎn)服務(wù)器/數(shù)據(jù)庫(kù)/中間件/應(yīng)用系統(tǒng)廠商進(jìn)行廣泛適配與方案開(kāi)發(fā)，打造完善的信創(chuàng)生態(tài)。深信服超融合演進(jìn)超融合系統(tǒng)正在成為多云世界的“支柱”，與混合云的需求保持一致?，F(xiàn)代融合解決方案允許組織利用標(biāo)準(zhǔn)化、軟件定義和高度自動(dòng)化的數(shù)據(jù)中心基礎(chǔ)設(shè)施。超融合是無(wú)縫多云世界的“本地支柱”，存儲(chǔ)、網(wǎng)絡(luò)和計(jì)算的基礎(chǔ)設(shè)施孤島已不能滿足云時(shí)代和數(shù)字化轉(zhuǎn)型的需求。深信服正著力打造線上線下一朵云，產(chǎn)品演進(jìn)將沿著以下路徑進(jìn)行：云端智能大腦：通過(guò)AI智能預(yù)測(cè)潛在隱患，對(duì)于發(fā)現(xiàn)的嚴(yán)重風(fēng)險(xiǎn)自動(dòng)推送工單給深信服認(rèn)證工程師，深信服認(rèn)證工程師根據(jù)云端智能大腦的處置建議進(jìn)行處置。后續(xù)還會(huì)往自動(dòng)巡檢和調(diào)優(yōu)的方向進(jìn)行演進(jìn)。線下到線上容災(zāi)（DRaaS）：將本地?cái)?shù)據(jù)中心的業(yè)務(wù)容災(zāi)到線上托管云上，避免本地?cái)?shù)據(jù)中心出現(xiàn)災(zāi)難時(shí)導(dǎo)致業(yè)務(wù)長(zhǎng)時(shí)間中斷甚至數(shù)據(jù)丟失。DRaaS最短可實(shí)現(xiàn)秒級(jí)RPO，同時(shí)支持不停機(jī)容災(zāi)演練等。業(yè)務(wù)混合部署：打造業(yè)務(wù)混合部署，將彈性業(yè)務(wù)上云，實(shí)現(xiàn)本地高可靠，云上高保障。同時(shí)云上提供完備的安全和等保服務(wù)，保障客戶業(yè)務(wù)的安全合規(guī)。同構(gòu)融合云：向同構(gòu)融合云演進(jìn)，對(duì)于線上線下資源統(tǒng)一管理，統(tǒng)一安全策略，真正實(shí)現(xiàn)線上線下一朵云。圖1.2SEQ圖\*ARABIC\s11超融合演進(jìn)過(guò)程客戶價(jià)值穩(wěn)定可靠當(dāng)超融合承載了越來(lái)越多的核心業(yè)務(wù)，超融合平臺(tái)的穩(wěn)定可靠變得尤為重要。深信服超融合平臺(tái)從多個(gè)維度構(gòu)建整體的穩(wěn)定可靠。首先云管理平臺(tái)及超融合集群本身基于分布式架構(gòu)構(gòu)建以保證在單節(jié)點(diǎn)故障的情況下云管理平臺(tái)的穩(wěn)定；其次，針對(duì)不可避免的硬件靜默錯(cuò)誤云管理平臺(tái)通過(guò)完善的監(jiān)測(cè)與屏蔽機(jī)制保障業(yè)務(wù)不受其影響；再次，云管理平臺(tái)可以提供災(zāi)備能力，以及基于災(zāi)備能力的災(zāi)備管理功能。性能卓越隨著超融合被越來(lái)越多的用于承載核心業(yè)務(wù)系統(tǒng)，對(duì)超融合的性能要求越來(lái)越高。深信服超融合的高性能設(shè)計(jì)覆蓋計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、管理多個(gè)維度。以分布式存儲(chǔ)為例，自研的存儲(chǔ)引擎經(jīng)過(guò)8年的性能調(diào)優(yōu)積累大量的技術(shù)，如IO條帶化/IO本地化/IO無(wú)鎖流水線/跨NUMA智能調(diào)度等，3節(jié)通用服務(wù)器+NVMeSDD可達(dá)百萬(wàn)IOPS的存儲(chǔ)能力，數(shù)據(jù)庫(kù)承載場(chǎng)景性能超越業(yè)內(nèi)分布式存儲(chǔ)30%以上，媲美高端存儲(chǔ)陣列。安全有效 安全已成為繼計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)之后的第四大基礎(chǔ)設(shè)施。深信服為業(yè)內(nèi)首家構(gòu)建云平臺(tái)內(nèi)建安全能力，通過(guò)內(nèi)建安全可以實(shí)現(xiàn)業(yè)務(wù)上線即安全，避免復(fù)雜的安全管理或由于失誤導(dǎo)致的安全風(fēng)險(xiǎn)。而且內(nèi)建安全具備“上帝視角”，可以清晰的感知流量走向和業(yè)務(wù)間的安全關(guān)系，安全效果更好。智能便捷深信服超融合的智能便捷，不是僅優(yōu)化某一個(gè)功能，而是面向客戶平臺(tái)管理的整個(gè)流程做到省心便捷。深信服超融合提供全生命周期的省心便捷能力，從業(yè)務(wù)遷移到超融合、業(yè)務(wù)上線配置、業(yè)務(wù)運(yùn)行監(jiān)控可視化、各類故障排障、平滑擴(kuò)容的全業(yè)務(wù)流程提供優(yōu)化機(jī)制，減輕客戶覆蓋，提高管理效率。同時(shí)深信服超融合提供云端智能大腦，幫助用戶快速發(fā)現(xiàn)風(fēng)險(xiǎn)并及時(shí)處置，降低風(fēng)險(xiǎn)對(duì)客戶業(yè)務(wù)的影響。自主可信通過(guò)深信服自主研發(fā)打造的基于ARM和X86超融合架構(gòu)，幫忙客戶構(gòu)建全棧自主可信的數(shù)據(jù)中心IT基礎(chǔ)設(shè)施。利用深信服全面構(gòu)筑的從CPU、操作系統(tǒng)、到數(shù)據(jù)庫(kù)、中間件、行業(yè)應(yīng)用等豐富信創(chuàng)生態(tài)，幫助客戶建設(shè)自主可信的業(yè)務(wù)數(shù)字化承載平臺(tái)。超融合整體架構(gòu)設(shè)計(jì)云計(jì)算以其服務(wù)化、平臺(tái)化的理念獲得了越來(lái)越多客戶的青睞，對(duì)數(shù)據(jù)本地化有嚴(yán)格要求的客戶會(huì)選擇私有云模式建設(shè)云平臺(tái)，要求支持大型規(guī)模的資源池，兼容管理傳統(tǒng)IT硬件以及原有虛擬化資源，以及支持開(kāi)放接口對(duì)接客戶現(xiàn)有的管理運(yùn)維系統(tǒng)，對(duì)高可靠性和容災(zāi)要求也非常高。同時(shí)公有云的云服務(wù)模式可以大幅減少客戶IT運(yùn)維成本，用戶的IT基礎(chǔ)設(shè)施托付給云服務(wù)廠商負(fù)責(zé)，用戶可以更多的聚焦在業(yè)務(wù)創(chuàng)新和研發(fā)上，云服務(wù)資源支持靈活、快速、按需擴(kuò)展，支持質(zhì)量更優(yōu)的帶寬接入，并且能夠更加方便的獲得各類高階服務(wù)如數(shù)據(jù)庫(kù)、數(shù)據(jù)分析、平臺(tái)即服務(wù)、以及人工智能服務(wù)等。深信服超融合架構(gòu)全面擁抱云戰(zhàn)略，支持中大規(guī)模的云資源池建設(shè)，從2臺(tái)節(jié)點(diǎn)到數(shù)百臺(tái)節(jié)點(diǎn)靈活擴(kuò)展，支持全局性的資源管理和高級(jí)服務(wù)如HA、容災(zāi)等等；同時(shí)，以同一套成熟架構(gòu)支持深信服托管云-云服務(wù)模式，支持客戶以自助服務(wù)的模式在云上快速構(gòu)建基礎(chǔ)設(shè)施以及建立高安全基線平臺(tái)，統(tǒng)一架構(gòu)支持混合云架構(gòu)演進(jìn)，并且隨著各類高階服務(wù)的增強(qiáng)，不斷助力客戶的數(shù)字化轉(zhuǎn)型。架構(gòu)設(shè)計(jì)原理分層設(shè)計(jì)在設(shè)計(jì)“軟件定義數(shù)據(jù)中心”時(shí)，可以將數(shù)據(jù)中心的架構(gòu)分為幾個(gè)層次，分層設(shè)計(jì)的好處在于每一層的服務(wù)和架構(gòu)，雖然依賴于下一層的設(shè)施，但是均是以共同或業(yè)界標(biāo)準(zhǔn)接口來(lái)交互，因此可以做到依賴卻又獨(dú)立。這種“松耦合”的IT架構(gòu)，在更新迭代上可以更加彈性，也避免因?yàn)榧夹g(shù)更新，而造成必須摒棄所有設(shè)備，重復(fù)投資。同時(shí)也可以將資源集中成為資源池，服務(wù)集中成為服務(wù)平臺(tái)，有效避免傳統(tǒng)分散化架構(gòu)所導(dǎo)致的數(shù)據(jù)、資源、服務(wù)無(wú)法有效共享、效率低下的問(wèn)題。因此，在構(gòu)建軟件定義數(shù)據(jù)中心時(shí)，為了能滿足上層類型多樣化的應(yīng)用，以及中間平臺(tái)服務(wù)層的穩(wěn)定可靠需求，基礎(chǔ)設(shè)施層的選擇至關(guān)重要。深信服超融合從架構(gòu)上分為三層，分層架構(gòu)示意圖如下：圖3.11超融合演進(jìn)過(guò)程物理硬件層：包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備，一體機(jī)、外置設(shè)備等等。虛擬化層：包括計(jì)算虛擬化aSV、存儲(chǔ)虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全虛擬化aSEC。資源服務(wù)層：包括虛機(jī)、存儲(chǔ)卷、網(wǎng)絡(luò)單元等虛擬化資源的生命周期管理。 后續(xù)章節(jié)將對(duì)計(jì)算虛擬化aSV、存儲(chǔ)虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全虛擬化aSEC進(jìn)行介紹。組件解耦和服務(wù)化超融合平臺(tái)在不斷發(fā)展的過(guò)程中，可能會(huì)遇到下面幾種情況：數(shù)據(jù)到處都有：如果系統(tǒng)彼此獨(dú)立，那么相同或類似的數(shù)據(jù)會(huì)分散存儲(chǔ)。系統(tǒng)體積龐大：如果功能都集中在一個(gè)系統(tǒng)中，那么這個(gè)系統(tǒng)將擁有太多的功能，造成項(xiàng)目代碼過(guò)多，維護(hù)、迭代、發(fā)布也會(huì)變得困難。代碼到處拷貝：相同邏輯的代碼，會(huì)分布在多個(gè)系統(tǒng)中；更嚴(yán)重的是代碼與數(shù)據(jù)的耦合度太高，不易于擴(kuò)展。代碼質(zhì)量無(wú)法保障，系統(tǒng)/模塊之間相互影響，不利于升級(jí)維護(hù)。通過(guò)組件服務(wù)化設(shè)計(jì)，把高度相關(guān)的功能單獨(dú)做一個(gè)系統(tǒng)，并且把相關(guān)的操作通過(guò)接口的方式暴露出來(lái)。這種設(shè)計(jì)的好處是：業(yè)務(wù)邏輯集中、可復(fù)用。一個(gè)功能，只需要一處實(shí)現(xiàn)，其他系統(tǒng)只需要調(diào)用接口。如果是RPC的方式實(shí)現(xiàn)，就像調(diào)用本地的一個(gè)方法一樣。調(diào)用方不需要關(guān)心具體業(yè)務(wù)邏輯是如何實(shí)現(xiàn)的。屏蔽了底層復(fù)雜度。用不用緩存，數(shù)據(jù)的具體存儲(chǔ)，對(duì)調(diào)用方來(lái)說(shuō)，都是黑盒。超融合內(nèi)部組件服務(wù)化實(shí)質(zhì)是將獨(dú)立的場(chǎng)景通過(guò)標(biāo)準(zhǔn)服務(wù)的方式進(jìn)行設(shè)計(jì)和維護(hù)，主要原理見(jiàn)下圖：圖3.12組件服務(wù)化過(guò)程服務(wù)拆分的過(guò)程實(shí)際上是從業(yè)務(wù)耦合的部分出發(fā)，將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)相互之間的依賴通過(guò)各自新增的服務(wù)接口來(lái)實(shí)現(xiàn)去耦合，好處就是接口規(guī)范化后，組件間相互獨(dú)立演進(jìn)、獨(dú)立升級(jí)和維護(hù)，不影響其他組件工作，這一點(diǎn)在熱升級(jí)的場(chǎng)景尤為關(guān)鍵?；谏蠄D的思路，超融合的服務(wù)劃分架構(gòu)如下圖所示。圖3.13超融合服務(wù)架構(gòu)這里的服務(wù)接口是通過(guò)接口描述語(yǔ)言描述的一組操作及其參數(shù)的集合，同時(shí)兼顧分層設(shè)計(jì)，將接口暴露劃分等級(jí)。具體如下：PublicAPI：為超融合底層提供服務(wù)給上層應(yīng)用，包括：Web界面、CLI。其他場(chǎng)景服務(wù)如VDC、SCP的邊界，通過(guò)超融合內(nèi)置的API網(wǎng)關(guān)提供服務(wù)。PrivateAPI：主要服務(wù)于組件之間的依賴和業(yè)務(wù)組合，便于基于接口設(shè)計(jì)和快速原型化場(chǎng)景等。InternalAPI：專門在組件內(nèi)部起作用，支持組件自身的架構(gòu)和功能演進(jìn)。服務(wù)云原生容器化服務(wù)容器化主要是將各個(gè)組件及其模塊按照各自獨(dú)立的容器鏡像進(jìn)行打包，利用容器一次打包、到處運(yùn)行的好處，保證開(kāi)發(fā)、測(cè)試和交付的一致性。此外，因?yàn)槿萜麋R像成為拆分服務(wù)的粒度，利于像部署和升級(jí)這樣的復(fù)雜場(chǎng)景可以基于啟停、編排容器來(lái)完成。因?yàn)楦魅萜鞯倪\(yùn)行時(shí)是相互隔離的，杜絕了共享母鏡像的沖突和依賴，在服務(wù)層屏蔽了內(nèi)部實(shí)現(xiàn)。包括依賴庫(kù)、代碼都可以做到不同容器之間相互不影響。超融合底層服務(wù)容器化借助容器生命周期管理、容器本地壓縮鏡像管理來(lái)支撐組件的管理。對(duì)于超融合軟件，根據(jù)服務(wù)容器化粒度可以簡(jiǎn)單地劃分為如下圖：圖3.14服務(wù)容器化架構(gòu)架構(gòu)設(shè)計(jì)根據(jù)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)組件自身服務(wù)特性，采取如上圖羅列的容器化粒度。在集群架構(gòu)中，計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)采用類似的集群管控面、節(jié)點(diǎn)管控面和節(jié)點(diǎn)數(shù)據(jù)面的劃分。它們?nèi)咧饕菑牟渴鸸?jié)點(diǎn)的類型和承擔(dān)的服務(wù)角色不同來(lái)劃分的。功能架構(gòu)設(shè)計(jì)HCI由aSAN存儲(chǔ)虛擬化、aSV計(jì)虛擬化、aNET網(wǎng)絡(luò)虛擬化組件構(gòu)成。從邏輯架構(gòu)上，各個(gè)組件可分為管控層和數(shù)據(jù)層，在邏輯上有一個(gè)統(tǒng)一的管控層，包括：配置管理、資源管理、監(jiān)控服務(wù)、以及高級(jí)功能等主要功能。向上支持通過(guò)API與云管理對(duì)接，實(shí)現(xiàn)云化數(shù)據(jù)中心的管理。配置管理：提供對(duì)aSV、aSAN、aNET組件的配置轉(zhuǎn)化和配置下發(fā)，如：拓?fù)溆?jì)算、異?；謴?fù)、數(shù)據(jù)存儲(chǔ)、分布框架、讀寫路徑等。資源管理：提供對(duì)aSV、aSAN、aNET組件的的資源管理，如：節(jié)點(diǎn)管理、存儲(chǔ)容量、網(wǎng)絡(luò)設(shè)備、虛擬機(jī)、安全組、角色、用戶的管理等。。監(jiān)控服務(wù)：提供對(duì)組件的監(jiān)控服務(wù)，包括：運(yùn)維監(jiān)控、報(bào)表數(shù)據(jù)、告警通知、信息采集、狀態(tài)中心、日志中心等。高級(jí)功能：提供如調(diào)度中心、安全中心、容災(zāi)備份、內(nèi)建安全等能力。管控層分層的好處，能夠提高管理面的管理性能，能夠避免在每個(gè)節(jié)點(diǎn)都部署管理層，減少節(jié)點(diǎn)的資源消耗和消息交互。圖3.2-1超融合功能架構(gòu)VDI和HCI融合架構(gòu)VDI和HCI融合場(chǎng)景本質(zhì)上是將虛機(jī)桌面的虛擬化管理平臺(tái)和HCI超融合平臺(tái)做了一次合并，通過(guò)開(kāi)放接口的方式支持虛擬桌面業(yè)務(wù)場(chǎng)景和虛擬化場(chǎng)景的融合。融合架構(gòu)帶來(lái)的優(yōu)勢(shì)是一個(gè)平臺(tái)支持兩種業(yè)態(tài)，還能保證各自場(chǎng)景的性價(jià)比，從整體上考慮到用戶業(yè)務(wù)混合和場(chǎng)景切換的需求。在架構(gòu)方面同時(shí)考慮到私有化部署和托管云上部署這兩個(gè)線上和線下場(chǎng)景，在方案上為場(chǎng)景打通提供架構(gòu)保障。融合部署場(chǎng)景在VDI和HCI融合場(chǎng)景下，根據(jù)客戶使用VDI的規(guī)模不同，通常有以下兩種部署場(chǎng)景。1.HCI和VDI不同資源池當(dāng)客戶VDI用戶規(guī)模大，同時(shí)沒(méi)有VDI和虛擬機(jī)業(yè)務(wù)需要復(fù)用GPU等這類需求時(shí)，建議VDI和HCI規(guī)劃不同的資源池。典型的場(chǎng)景如三甲醫(yī)院VDI規(guī)?？赡苌锨в脩?，HCI和VDI資源的管理員一般是一個(gè)，通過(guò)采用HCI和VDI不同資源池，上層由SCP云管平臺(tái)統(tǒng)一管理，分別提供虛擬機(jī)和VDI。這種部署方式帶來(lái)的好處就是用戶使用同一個(gè)HCI的底座，可以方便的實(shí)現(xiàn)統(tǒng)一運(yùn)維管理，比如升級(jí)、擴(kuò)容等。圖3.31HCI和VDI不同資源池2.HCI和VDI共享資源池當(dāng)客戶同時(shí)存在HCI和VDI需求，并且規(guī)模都不是很大的情況下，建議HCI和VDI共享資源池，提高資源利用率和管理效率。典型的應(yīng)用場(chǎng)景包括：融合辦公場(chǎng)景、GPU資源分時(shí)復(fù)用場(chǎng)景、專業(yè)測(cè)繪場(chǎng)景等。以融合辦公場(chǎng)景為例：企業(yè)辦公虛擬桌面業(yè)務(wù)與業(yè)務(wù)應(yīng)用系統(tǒng)部署在同一個(gè)超融合集群，VDI虛擬機(jī)與OA、應(yīng)用數(shù)據(jù)庫(kù)、文件共享服務(wù)器、企業(yè)門戶服務(wù)器等內(nèi)部業(yè)務(wù)共享計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)資源，既實(shí)現(xiàn)內(nèi)部業(yè)務(wù)性能優(yōu)化、體驗(yàn)更流暢，又實(shí)現(xiàn)內(nèi)部IT資源的統(tǒng)一運(yùn)維管理。比如用戶需要30個(gè)VDI場(chǎng)景，同時(shí)還需要承載10個(gè)業(yè)務(wù)系統(tǒng)，使用二合一版本之后，3節(jié)點(diǎn)的服務(wù)器就可滿足要求，成本更低。圖3.32HCI和VDI共享資源池VDC為虛擬桌面控制器，負(fù)責(zé)在通過(guò)SCP云管平臺(tái)獲取授權(quán)后，與底層HCI超融合獲取用戶、策略、資源并管理模板和桌面虛擬機(jī)。VDI的客戶端則通過(guò)這些管理員的配置信息完成終端接入。用戶在使用VDI時(shí)的內(nèi)部交互流程如下圖所示。圖3.33融合部署場(chǎng)景下的交互流程SRAP協(xié)議：為深信服自主研發(fā)的高效、安全桌面?zhèn)鬏攨f(xié)議。這里的VDC可以通過(guò)虛機(jī)部署也可以通過(guò)物理機(jī)部署，主要看業(yè)務(wù)場(chǎng)景的規(guī)模和性能要求。桌面即服務(wù)（DaaS）場(chǎng)景桌面即服務(wù)DaaS(DesktopasaService)是一種云計(jì)算服務(wù)，DaaS的本質(zhì)也是桌面云，只是后端落地方式、交付方式不同。DaaS通過(guò)將后端的虛擬桌面基礎(chǔ)架構(gòu)（VDI）托管于第三方云提供商，最終用戶以訂閱付費(fèi)的形式獲得相關(guān)服務(wù)使用許可，從而向云提供商請(qǐng)求并使用虛擬桌面和虛擬應(yīng)用程序相關(guān)服務(wù)。桌面即服務(wù)(DaaS)方案適用于客戶常規(guī)業(yè)務(wù)與網(wǎng)絡(luò)傳輸、本地業(yè)務(wù)關(guān)聯(lián)性較低的場(chǎng)景，如普通辦公、安全辦公場(chǎng)景。例如，很多中小客戶有桌面上云的需求，但是一般需求不多，單獨(dú)采購(gòu)成本較高，且一次性投入成本很大，用戶難以接受。此外，在競(jìng)爭(zhēng)激烈的業(yè)務(wù)環(huán)境中，用戶需求不斷變化，工作不再局限于某個(gè)場(chǎng)所，而是采用一種“移動(dòng)化、隨時(shí)隨地”的工作方式，員工希望通過(guò)任意設(shè)備隨時(shí)隨地訪問(wèn)數(shù)據(jù)和應(yīng)用程序，從而提高工作效率與響應(yīng)速度。桌面即服務(wù)(DaaS)場(chǎng)景與融合部署稍有不同，如下圖所示。圖3.34DaaS場(chǎng)景下的交互流程DaaS作為一個(gè)應(yīng)用插件集成在SCP內(nèi)部，二者在用戶資源上有區(qū)分映射，場(chǎng)景的管理入口在托管云上。此外，客戶可能為內(nèi)網(wǎng)與云端桌面服務(wù)的連通性增加專門的AD服務(wù)。產(chǎn)品兼容性為了給客戶提供一體化的服務(wù)體驗(yàn)，深信服超融合提供各種系列的一體機(jī)，包括但不限于：2U/4U服務(wù)器、低中高多檔服務(wù)器、以及適配業(yè)務(wù)需求的全閃存和GPU服務(wù)器等。深信服超融合也廣泛兼容主流服務(wù)器硬件設(shè)備和操作系統(tǒng)。目前支持主流的X86、ARM架構(gòu)CPU，支持600+類型的服務(wù)器；支持Tesla、Quadro、GeForce、TITAN、Ampere等超過(guò)20種顯卡類型；超融合上承載的虛擬機(jī)支持10多種類型的操作系統(tǒng)。超融合產(chǎn)品具體的兼容性可以登錄信服云兼容性平臺(tái)查詢獲取。超融合關(guān)鍵技術(shù)超融合關(guān)鍵技術(shù)主要包括：計(jì)算虛擬化aSV、存儲(chǔ)虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全虛擬化aSEC四大部分，本章后續(xù)內(nèi)容將展開(kāi)進(jìn)行介紹。計(jì)算虛擬化aSV深信服計(jì)算虛擬化aSV采用了裸金屬架構(gòu)的LinuxKVM技術(shù)，在此基礎(chǔ)上，aSV開(kāi)發(fā)更多高級(jí)計(jì)算功能，為客戶提供更加實(shí)用便捷、自運(yùn)維、穩(wěn)定可靠、高性能的計(jì)算平臺(tái)。技術(shù)概述aSV的關(guān)鍵技術(shù)包括：自主研發(fā)的SFFS文件集群系統(tǒng)、內(nèi)核安全加固、以及資源隔離技術(shù)等，為超融合平臺(tái)提供可靠安全的基石。Hypervisor架構(gòu)深信服的aSV采用了裸金屬型Hypervisor架構(gòu)中的LinuxKVM虛擬化。圖4.11Hypervisor架構(gòu)KVM是基于硬件虛擬化擴(kuò)展（Intel

VT）和

QEMU的修改版，KVM屬于Linux內(nèi)核的一個(gè)模塊，可以用命令modprobe去加載KVM模塊。加載了該模塊后，才能進(jìn)一步通過(guò)工具創(chuàng)建虛擬機(jī)。但是僅有KVM模塊是不夠的。因?yàn)橛脩魺o(wú)法直接控制內(nèi)核去做事情，還必須有一個(gè)運(yùn)行在用戶空間的工具才行。這個(gè)用戶空間的工具，我們選擇了已經(jīng)成型的開(kāi)源虛擬化軟件QEMU，QEMU也是一個(gè)虛擬化軟件，它的特點(diǎn)是可虛擬不同的CPU，比如說(shuō)在X86的CPU上可虛擬一個(gè)power的CPU，并可利用它編譯出可運(yùn)行在power上的程序。QEMU工作在用戶態(tài)（Usermode、cpuring3），提供外設(shè)的模擬、vCPU模擬、主控邏輯、IO收發(fā)等，當(dāng)GuestOS需要發(fā)送IO請(qǐng)求或者網(wǎng)絡(luò)包時(shí)，都需要調(diào)用vm_exit讓QEMU協(xié)助實(shí)現(xiàn)。一個(gè)普通的linux進(jìn)程有兩種運(yùn)行模式：內(nèi)核模式和用戶模式。內(nèi)核模式（KernelMode）一般運(yùn)行在Ring0上，用戶模式（UserMode）一般運(yùn)行在Ring3上。對(duì)于一個(gè)Linux系統(tǒng)來(lái)說(shuō)，Linux內(nèi)核為內(nèi)核模式程序，它可以直接管理所有的物理設(shè)備、外設(shè)；而Linux系統(tǒng)上的服務(wù)，如Apache，則為用戶模式程序，它需要使用內(nèi)核提供的接口，才能提供服務(wù)。KVM使用了QEMU的一部分，并稍加改造，就成了可控制KVM的用戶空間工具了；這就是KVM和QEMU的關(guān)系。如下圖：圖4.12KVM與QEMUKVM在內(nèi)核和用戶模式上增加了第三種模式：客戶模式（有自己的內(nèi)核和用戶模式），在KVM模型中，每一個(gè)虛擬機(jī)都是由linux調(diào)度程序管理的標(biāo)準(zhǔn)進(jìn)程?？傮w來(lái)說(shuō)，KVM由兩個(gè)部分組成：一個(gè)是管理虛擬硬件的設(shè)備驅(qū)動(dòng)，該驅(qū)動(dòng)使用字符設(shè)備/dev/kvm作為管理接口；另一個(gè)是模擬PC硬件的用戶空間組件，這是一個(gè)稍作修改的QEMU進(jìn)程。SFFS文件集群系統(tǒng) 超融合架構(gòu)下，一個(gè)集群由多臺(tái)物理主機(jī)構(gòu)成，要保障業(yè)務(wù)的高可用，需支持用戶使用SAN存儲(chǔ)進(jìn)行數(shù)據(jù)存儲(chǔ)，因此需要選擇合適的文件系統(tǒng)針對(duì)這些外置存儲(chǔ)進(jìn)行容量管理。SFFS文件系統(tǒng)全稱Sangforfilesystem，是深信服針對(duì)虛擬化場(chǎng)景主要用于保存虛擬機(jī)鏡像文件和虛擬機(jī)配置文件研發(fā)的特殊集群文件系統(tǒng)，不作為通用文件系統(tǒng)。SFFS的整體結(jié)構(gòu)如圖所示：圖4.13SFFS文件系統(tǒng)結(jié)構(gòu)1.SFFS有以下幾個(gè)主要特點(diǎn)：多個(gè)主機(jī)可以同時(shí)掛載同一個(gè)共享磁盤，同時(shí)使用。2個(gè)主機(jī)之間是平等的，不需要主控。能自動(dòng)檢測(cè)掛載主機(jī)掉線，并釋放該主機(jī)占用的資源。支持文件系統(tǒng)在線擴(kuò)充。和主機(jī)的集群無(wú)關(guān)。2.SFFS的特殊限制：文件系統(tǒng)大小——(2^64-1)Bytes單文件大小——單文件大小最大256TB文件名長(zhǎng)度——單級(jí)文件名最大長(zhǎng)度為100字節(jié)。支持的文件類型——常規(guī)文件、目錄和軟鏈接3種類型的文件。目錄下文件數(shù)量——8192個(gè)文件（包括"."和".."）。SFFS文件系統(tǒng)的優(yōu)點(diǎn)：在多個(gè)主機(jī)之間建立集群文件系統(tǒng)，確保多主機(jī)可以同時(shí)訪問(wèn)外置存儲(chǔ)，而不會(huì)相互影響。相對(duì)于本地文件系統(tǒng)（如ext3、ntfs），SFFS可以保證多個(gè)主機(jī)在訪問(wèn)外置存儲(chǔ)的時(shí)候提供鎖保護(hù)機(jī)制。內(nèi)核安全加固超融合HCI底層系統(tǒng)平臺(tái)使用Linux系統(tǒng)，為保證設(shè)備的安全，必須對(duì)Linux操作系統(tǒng)進(jìn)行基礎(chǔ)的安全配置，基礎(chǔ)安全配置的主要內(nèi)容如下：最小化服務(wù)：禁用多余或危險(xiǎn)的系統(tǒng)后臺(tái)進(jìn)程和服務(wù)，如郵件代理、圖形桌面、telnet、編譯工具等。服務(wù)加固：對(duì)SSH等常用服務(wù)進(jìn)行安全加固。內(nèi)核參數(shù)調(diào)整：修改內(nèi)核參數(shù)，增強(qiáng)操作系統(tǒng)安全性，如禁用IP轉(zhuǎn)發(fā)。文件目錄權(quán)限設(shè)置：結(jié)合業(yè)界加固規(guī)范及應(yīng)用要求，保證文件權(quán)限最小化。帳號(hào)口令安全：?jiǎn)?dòng)口令復(fù)雜度檢查、密碼有效期、登錄失敗重試次數(shù)等。系統(tǒng)認(rèn)證和授權(quán)：root用戶采用平臺(tái)admin管理員賬號(hào)結(jié)合廠商授權(quán)碼綁定的方案，任何人需要登錄HCI后臺(tái)都必須同時(shí)獲得廠商和用戶的共同授權(quán)。日志和審計(jì)：記錄服務(wù)、內(nèi)核進(jìn)程運(yùn)行日志，在HCI后臺(tái)均有黑匣子進(jìn)行記錄，需要時(shí)候，可以通過(guò)黑匣子回溯系統(tǒng)發(fā)生的一切行為。通過(guò)上述加固，平臺(tái)以最小功能集合運(yùn)行，保證整個(gè)平臺(tái)安全可信賴、過(guò)程可追溯。虛擬機(jī)之間資源隔離超融合HCI采用多種技術(shù)對(duì)數(shù)據(jù)進(jìn)行隔離，包含：虛擬機(jī)網(wǎng)絡(luò)通信層面、虛擬機(jī)運(yùn)行內(nèi)存層面、數(shù)據(jù)IO和鏡像層面的隔離。虛擬機(jī)網(wǎng)絡(luò)通信層面虛擬機(jī)發(fā)出的網(wǎng)絡(luò)數(shù)據(jù)包，會(huì)經(jīng)過(guò)vSwitch（虛擬交換機(jī)）進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)，vSwitch具有完備的數(shù)據(jù)隔離和防護(hù)機(jī)制。虛擬機(jī)運(yùn)行內(nèi)存層面超融合HCI的計(jì)算虛擬化技術(shù)基于QEMU-KVM架構(gòu)進(jìn)行開(kāi)發(fā)，平臺(tái)底層操作系統(tǒng)為SangforOS系統(tǒng)，該系統(tǒng)是基于社區(qū)的linux系統(tǒng)，運(yùn)行邏輯如下圖：圖4.14虛擬機(jī)運(yùn)行邏輯架構(gòu)虛擬機(jī)對(duì)于宿主機(jī)（HostOS）而言是一個(gè)QEMU進(jìn)程，與其他普通的linuxapplication一樣有獨(dú)立的進(jìn)程空間，結(jié)合linux（HostOS）的進(jìn)程隔離機(jī)制和X86服務(wù)器提供的內(nèi)存頁(yè)表映射（VT-X/EPT）訪問(wèn)機(jī)制（VT-X/EPT直接在硬件上支持虛擬機(jī)內(nèi)存的邏輯地址->虛擬機(jī)內(nèi)存的物理地址->物理服務(wù)器內(nèi)存的物理地址的兩次轉(zhuǎn)換），從宿主機(jī)操作系統(tǒng)和底層硬件機(jī)制上，保證各虛擬機(jī)只能訪問(wèn)自己空間內(nèi)的內(nèi)存地址，從而實(shí)現(xiàn)了各虛擬機(jī)的空間隔離。虛擬機(jī)IO和鏡像層面與虛擬機(jī)的內(nèi)存隔離實(shí)現(xiàn)機(jī)制類似，每個(gè)虛擬機(jī)進(jìn)程在宿主機(jī)（HostOS）層面都有對(duì)應(yīng)的虛擬機(jī)鏡像文件存在，這些虛擬機(jī)鏡像以QCOW2格式存放于服務(wù)器的磁盤中，彼此之間相互獨(dú)立、隔離。圖4.15虛擬機(jī)運(yùn)行邏輯圖-IO與鏡像服務(wù)進(jìn)程內(nèi)存隔離超融合平臺(tái)上運(yùn)行有平臺(tái)管理服務(wù)、存儲(chǔ)服務(wù)、網(wǎng)絡(luò)服務(wù)和計(jì)算服務(wù)。服務(wù)進(jìn)程內(nèi)存隔離機(jī)制用于隔離這些服務(wù)，避免在內(nèi)存資源上相互影響。例如，當(dāng)計(jì)算服務(wù)內(nèi)存超額配置的情況下，當(dāng)其運(yùn)行過(guò)程中超過(guò)了限額，則不能再使用其他的內(nèi)存資源，保障其他服務(wù)和平臺(tái)的穩(wěn)定性不會(huì)受到影響。實(shí)現(xiàn)原理內(nèi)存隔離基于Linuxcgroups機(jī)制，對(duì)主機(jī)資源進(jìn)行抽象，形成資源組（一組資源的集合，包括CPU、內(nèi)存、IO等），共分為平臺(tái)資源組、存儲(chǔ)資源組、網(wǎng)絡(luò)資源組、計(jì)算資源組，通過(guò)資源組對(duì)相應(yīng)各類服務(wù)進(jìn)行內(nèi)存資源管理，進(jìn)而可以限制和保障相應(yīng)服務(wù)的內(nèi)存資源供應(yīng)。圖4.16服務(wù)資源組注意事項(xiàng)內(nèi)存隔離支持計(jì)算內(nèi)存超額配置，即允許開(kāi)啟更多的虛擬機(jī)，同時(shí)不影響平臺(tái)的穩(wěn)定運(yùn)行。但是過(guò)多的虛擬機(jī)，會(huì)導(dǎo)致虛擬機(jī)內(nèi)存競(jìng)爭(zhēng)，虛擬機(jī)內(nèi)存性能降低，導(dǎo)致業(yè)務(wù)卡慢。虛擬機(jī)超配大量使用swap且頻繁讀寫場(chǎng)景下，會(huì)繼續(xù)導(dǎo)致系統(tǒng)卡慢，此時(shí)需要關(guān)閉部分虛擬機(jī)來(lái)解決。說(shuō)明：當(dāng)前僅支持對(duì)內(nèi)存的隔離，CPU、網(wǎng)絡(luò)、存儲(chǔ)IO的隔離暫未實(shí)現(xiàn)。低版本升級(jí)至該功能版本或以上版本后，內(nèi)存管理相關(guān)的高級(jí)功能（重要虛擬機(jī)內(nèi)存資源保障、內(nèi)存不足告警通知），需要在升級(jí)后重啟主機(jī)后才能生效。功能/特性架構(gòu)圖aSV的功能特性包括：性能優(yōu)化、故障預(yù)防與處理、資源管理、數(shù)據(jù)保護(hù)、應(yīng)用部署等5大部分。整個(gè)功能模塊如下圖所示：圖4.17asv功能架構(gòu)資源管理為了保證業(yè)務(wù)順利運(yùn)行，aSV支持豐富的資源管理手段提高業(yè)務(wù)可靠性和資源的有效利用率，主要包括：系統(tǒng)資源自保障、資源預(yù)留、DRS、DRX、內(nèi)存氣泡技術(shù)、虛擬機(jī)熱遷移等。資源超配在超融合架構(gòu)上，各虛擬機(jī)業(yè)務(wù)并非所有時(shí)刻占用資源，虛擬機(jī)資源使用狀態(tài)是動(dòng)態(tài)的，空閑狀態(tài)下原先分配的資源是可以被忙碌狀態(tài)的虛擬機(jī)所占用；因此，計(jì)算資源是支持超配的（超配是指虛擬機(jī)分配資源之和大于宿主機(jī)可提供資源）。需要注意：宿主機(jī)上大量虛擬機(jī)的負(fù)載都很高時(shí)，會(huì)嚴(yán)重影響虛擬機(jī)性能，甚至引起卡頓；因此，超配值需要在合適的額度內(nèi)。CPU超配推薦vCPU數(shù)量不要配置超過(guò)2倍CPU線程數(shù)（注意：線程數(shù)不是物理核數(shù)，通常服務(wù)器開(kāi)啟超線程之后，線程數(shù)是物理核心的2倍）。內(nèi)存超配超融合平臺(tái)支持用戶自定義每個(gè)物理主機(jī)內(nèi)存超配比，推薦是內(nèi)存不超配或者低于120%的超配比，客戶可根據(jù)業(yè)務(wù)實(shí)際情況最多超配2倍。圖4.18內(nèi)存超配設(shè)置內(nèi)存超配原理：假設(shè)給虛擬機(jī)分配32G內(nèi)存，虛擬機(jī)實(shí)際占用只了24G，理論上8G（32G-24G=8G）是可以回收的，這回收的部分理論上可以給其他虛擬機(jī)用。虛擬的內(nèi)存超配就是在此前提下，借助KSM技術(shù)（沒(méi)有安裝VMtools時(shí)）或者氣泡內(nèi)存技術(shù)（安裝VMtools時(shí)）實(shí)現(xiàn)的。物理主機(jī)虛擬內(nèi)存包含：物理內(nèi)存（內(nèi)存條）+SWAP分區(qū)（硬盤分區(qū)）；物理內(nèi)存不夠時(shí)，系統(tǒng)會(huì)根據(jù)配置使用SWAP分區(qū)（超融合平臺(tái)上默認(rèn)設(shè)置“盡量不用SWAP”的策略）。平臺(tái)在標(biāo)準(zhǔn)的硬盤情況下大約占用32GB左右內(nèi)存（具體要看配置，詳細(xì)參見(jiàn)《資源占用文檔》），主機(jī)物理內(nèi)存剩余的可分給虛擬機(jī)使用。虛擬機(jī)占用內(nèi)存分為兩塊：QEMU進(jìn)程（約占幾十兆）占用+虛擬機(jī)GuestOS占用（虛擬機(jī)配置內(nèi)存大小）。需要注意，Linux和Windows內(nèi)存管理的差異：當(dāng)虛擬機(jī)系統(tǒng)為Windows的時(shí)候，系統(tǒng)開(kāi)機(jī)時(shí)全部“寫零”操作一次。Linux開(kāi)機(jī)不會(huì)內(nèi)存置零動(dòng)作，而有這操作默認(rèn)是需要用的時(shí)候才觸發(fā)分配（所以默認(rèn)情況下，剛啟動(dòng)階段linux實(shí)際占用內(nèi)存會(huì)比windows?。?。說(shuō)明：內(nèi)存超配的上限是物理內(nèi)存+SWAP大小，此時(shí)即使設(shè)置比例也無(wú)法超出該上限。系統(tǒng)資源自保障由于超融合平臺(tái)自身會(huì)占用一定的計(jì)算資源，為了保證平臺(tái)承載業(yè)務(wù)時(shí)的穩(wěn)定和性能，超融合平臺(tái)提供系統(tǒng)資源自保障機(jī)制：在系統(tǒng)啟動(dòng)階段，會(huì)強(qiáng)制保留平臺(tái)運(yùn)行所需的最基本計(jì)算和內(nèi)存資源，避免虛擬機(jī)資源過(guò)多擠占系統(tǒng)資源，導(dǎo)致整個(gè)超融合系統(tǒng)出現(xiàn)異常；根據(jù)用戶開(kāi)通的超融合平臺(tái)組件情況，自適應(yīng)地調(diào)整強(qiáng)制保留的系統(tǒng)資源。系統(tǒng)資源自保障通過(guò)資源過(guò)載保護(hù)機(jī)制實(shí)現(xiàn)，典型場(chǎng)景為：當(dāng)超融合平臺(tái)運(yùn)行過(guò)多虛擬機(jī)時(shí)，產(chǎn)生資源過(guò)載。資源過(guò)載保護(hù)機(jī)制可以保障在過(guò)載場(chǎng)景下，平臺(tái)的正常運(yùn)行和管理。圖4.19資源過(guò)載保護(hù)機(jī)制資源過(guò)載保護(hù)是基于Linuxcgroups機(jī)制，對(duì)主機(jī)資源進(jìn)行抽象，形成資源組（一組資源的集合，包括CPU、內(nèi)存、IO等），共分為平臺(tái)資源組、存儲(chǔ)資源組、網(wǎng)絡(luò)資源組、計(jì)算資源組，通過(guò)資源組對(duì)相應(yīng)各類服務(wù)進(jìn)行內(nèi)存資源管理，進(jìn)而可以限制和保障相應(yīng)服務(wù)的內(nèi)存資源供應(yīng)。

內(nèi)存氣泡 當(dāng)超融合平臺(tái)的內(nèi)存資源被虛擬機(jī)占用過(guò)多時(shí)，需要將非重要虛擬機(jī)的空閑內(nèi)存回收，不僅讓內(nèi)存資源利用率更高，還能保證重要業(yè)務(wù)有足夠的內(nèi)存使用，保證了業(yè)務(wù)的連續(xù)性、穩(wěn)定性，以及足夠的性能保護(hù)。通常而言，要改變虛擬機(jī)占用的內(nèi)存，是要先關(guān)閉虛擬機(jī)，修改虛擬機(jī)內(nèi)存配置，然后重啟虛擬機(jī)才能實(shí)現(xiàn)。而超融合平臺(tái)內(nèi)存的ballooning（氣泡）技術(shù)可以在虛擬機(jī)運(yùn)行時(shí)動(dòng)態(tài)地調(diào)整它所占用的物理主機(jī)內(nèi)存資源，而不需要關(guān)閉虛擬機(jī)。該技術(shù)通過(guò)給每個(gè)虛擬機(jī)內(nèi)部分配一個(gè)內(nèi)存“氣泡”；被“氣泡”占用的內(nèi)存不能供該虛擬機(jī)訪問(wèn)和使用，但可以被平臺(tái)重新分配給其他進(jìn)程（或者其他虛擬機(jī)）使用，內(nèi)存氣泡變大意味著平臺(tái)可用內(nèi)存變大；于是平臺(tái)就可通過(guò)調(diào)整“氣泡”的大小，進(jìn)行內(nèi)存回收和內(nèi)存分配操作。平臺(tái)會(huì)綜合考慮內(nèi)存資源回收與虛擬機(jī)性能之間的平衡，根據(jù)系統(tǒng)剩余內(nèi)存情況執(zhí)行相應(yīng)的內(nèi)存回收策略。當(dāng)系統(tǒng)剩余內(nèi)存低于40%時(shí)，開(kāi)始觸發(fā)內(nèi)存回收，每小時(shí)進(jìn)行虛擬機(jī)內(nèi)存回收；當(dāng)系統(tǒng)剩余內(nèi)存低于15%時(shí)，每半小時(shí)進(jìn)行虛擬機(jī)內(nèi)存回收；當(dāng)系統(tǒng)剩余內(nèi)存低于5%時(shí)，每10分鐘進(jìn)行虛擬機(jī)內(nèi)存回收。內(nèi)存回收過(guò)程host機(jī)可用內(nèi)存較少，內(nèi)存使用緊張，此時(shí)VM1存在空閑內(nèi)存；host機(jī)向VM1下發(fā)回收內(nèi)存指令，VM1接收到內(nèi)存回收指令，將空閑內(nèi)存釋放出來(lái)，此時(shí)VM1的內(nèi)存氣泡吸收這部分內(nèi)存充氣變大，host機(jī)可用內(nèi)存增大。圖4.110內(nèi)存氣泡示意圖-內(nèi)存回收內(nèi)存分配過(guò)程VM2內(nèi)存不足，請(qǐng)求host分配內(nèi)存，此時(shí)壓縮VM2的內(nèi)存氣球，釋放出內(nèi)存氣球中的部分內(nèi)存，讓虛擬機(jī)使用更多的內(nèi)存。圖4.111內(nèi)存氣泡示意圖-內(nèi)存釋放使用相對(duì)于開(kāi)源社區(qū)的“氣泡內(nèi)存”方案，aSV平臺(tái)還做了如下的優(yōu)化增加安全保護(hù)機(jī)制在內(nèi)存回收過(guò)程中不斷檢查Guest系統(tǒng)剩余內(nèi)存，當(dāng)剩余內(nèi)存不足100M時(shí)，就主動(dòng)停止回收操作，保障Guest系統(tǒng)的正常運(yùn)行。增加了自動(dòng)化回收機(jī)制自動(dòng)化回收機(jī)制不再需要Hypervisor的監(jiān)控和處理，實(shí)現(xiàn)機(jī)制大幅簡(jiǎn)化，解決了原方案大規(guī)模場(chǎng)景下Hypervisor調(diào)度壓力大控制策略復(fù)雜的問(wèn)題，能夠適應(yīng)大規(guī)模的部署場(chǎng)景。提高了回收內(nèi)存的效率優(yōu)化了內(nèi)存回收的算法，將內(nèi)存的回收效率提高30倍以上。用戶透明用戶感受不到虛擬機(jī)內(nèi)存的變化，即內(nèi)存氣球膨脹和壓縮過(guò)程，為用戶提供優(yōu)質(zhì)體驗(yàn)；解決了原方案中用戶可直接看到虛擬機(jī)內(nèi)存突然上升或下降，誤以為系統(tǒng)出現(xiàn)問(wèn)題，給客戶造成困擾的問(wèn)題。內(nèi)存頁(yè)合并當(dāng)多個(gè)虛擬機(jī)并行運(yùn)行一個(gè)業(yè)務(wù)時(shí)，存在多虛擬機(jī)共享同一個(gè)內(nèi)存頁(yè)，每個(gè)虛擬機(jī)開(kāi)辟一塊內(nèi)存空間存放這部分?jǐn)?shù)據(jù)，將造成內(nèi)存的極大消耗和浪費(fèi)。超融合平臺(tái)提供內(nèi)核同頁(yè)合并KSM（KernelSamePageMerging），即共享內(nèi)存或相同頁(yè)內(nèi)存合并技術(shù)，把相同的內(nèi)存頁(yè)合并，減少內(nèi)存的浪費(fèi)，讓物理主機(jī)跑更多的虛擬機(jī)。KSM讓內(nèi)核定期掃描檢查正在運(yùn)行中的程序并比較它們的內(nèi)存，如果發(fā)現(xiàn)他們有內(nèi)存區(qū)域或內(nèi)存頁(yè)是完全相同的，就將多個(gè)相同的內(nèi)存合并為一個(gè)單一的內(nèi)存頁(yè)，并將其標(biāo)記為“寫時(shí)復(fù)制”，這樣可以起到節(jié)省系統(tǒng)內(nèi)存使用量的作用。之后，如果有進(jìn)程試圖去修改被標(biāo)識(shí)為“寫時(shí)復(fù)制”的合并的內(nèi)存頁(yè)時(shí)，就為該進(jìn)程復(fù)制出一個(gè)新的內(nèi)存頁(yè)供其使用。圖4.112內(nèi)存同頁(yè)合并KSM技術(shù)原理如上圖所示，SangforKSM為超融合平臺(tái)的KSM處理模塊，它定期掃描虛擬機(jī)進(jìn)程的內(nèi)存頁(yè)（圖中privatepage），當(dāng)發(fā)現(xiàn)有虛擬機(jī)進(jìn)程（圖中的VM）內(nèi)存頁(yè)完全相同時(shí)就會(huì)合并這些內(nèi)存頁(yè)面，使他們指向一塊共享的內(nèi)存區(qū)域（圖中的Sharedpages），從而可以釋放出一些內(nèi)存供其他虛擬機(jī)使用。通用的KSM技術(shù)在內(nèi)存合并掃描頁(yè)面、識(shí)別出可合并的頁(yè)面的過(guò)程會(huì)浪費(fèi)太多時(shí)間，相比之下，超融合平臺(tái)用了全新的哈希掃描算法，能夠以極快的速度掃描，并合并冗余數(shù)據(jù)，其頁(yè)面合并的速度，最高可比原生的KSM快20倍以上。這樣極大提高了工作效率，在提高主機(jī)內(nèi)存利用率的同時(shí)，還能減少對(duì)主機(jī)CPU的消耗。動(dòng)態(tài)資源調(diào)度當(dāng)虛擬機(jī)業(yè)務(wù)壓力激增，導(dǎo)致其運(yùn)行的物理主機(jī)可提供的資源，不足以承載虛擬機(jī)業(yè)務(wù)的正常運(yùn)行時(shí)，aSV提供動(dòng)態(tài)資源調(diào)度DRS（Dynamic

ResourceScheduler）功能，通過(guò)監(jiān)控集群中資源池的使用情況，對(duì)整個(gè)集群的資源情況進(jìn)行動(dòng)態(tài)的運(yùn)算，將資源過(guò)載服務(wù)器上的虛擬機(jī)熱遷移到資源充足的服務(wù)器上運(yùn)行，保障集群中業(yè)務(wù)的健康運(yùn)行狀態(tài)，均衡集群中的主機(jī)負(fù)載情況。圖4.113動(dòng)態(tài)資源調(diào)度流程DRS技術(shù)原理：通過(guò)跨越集群之間的心跳機(jī)制，定時(shí)監(jiān)測(cè)集群內(nèi)主機(jī)的CPU和內(nèi)存等計(jì)算資源的利用率，當(dāng)資源使用情況滿足用戶設(shè)定的閾值、且集群內(nèi)有充分資源的物理主機(jī)時(shí)，DRS會(huì)將該主機(jī)上的虛擬機(jī)遷移到其他主機(jī)上運(yùn)行。主機(jī)資源過(guò)載的基準(zhǔn)線由用戶自定義，包括CPU過(guò)載、內(nèi)存過(guò)載的范圍，過(guò)載持續(xù)時(shí)間，避免造成因DRS導(dǎo)致的業(yè)務(wù)來(lái)回切換震蕩，并且用戶可選擇手動(dòng)和自動(dòng)進(jìn)行資源調(diào)度?？蛻艨筛鶕?jù)需求自定義動(dòng)態(tài)資源調(diào)度策略：調(diào)度方式+衡量因素+敏感度。自動(dòng)調(diào)度：系統(tǒng)根據(jù)資源負(fù)載規(guī)則，自動(dòng)進(jìn)行調(diào)度，節(jié)省管理員運(yùn)維工作量。手動(dòng)調(diào)度：系統(tǒng)根據(jù)資源負(fù)載規(guī)則，給出調(diào)度建議，管理員手動(dòng)執(zhí)行調(diào)度建議。衡量因素：包括“CPU”和“內(nèi)存”兩種，需要設(shè)置“閾值”。敏感度：有“保守”、“激進(jìn)”兩種，分別對(duì)應(yīng)10分鐘、3分鐘。當(dāng)主機(jī)衡量因素超過(guò)閾值的持續(xù)時(shí)間達(dá)敏感度設(shè)置的時(shí)長(zhǎng)時(shí)，頁(yè)面上會(huì)出現(xiàn)告警，并提示“負(fù)載失衡”，并根據(jù)配置的調(diào)度方式進(jìn)行下一步的動(dòng)作：自動(dòng)調(diào)度或者提供調(diào)度建議。動(dòng)態(tài)資源擴(kuò)展對(duì)虛擬機(jī)而言，如果前期配置資源（vCPU、vMEM）不充足、或者隨著業(yè)務(wù)量的增加導(dǎo)致原有資源緊張，aSV提供動(dòng)態(tài)資源擴(kuò)展DRX（Dynamic

ResourceeXtension）功能可以自動(dòng)擴(kuò)充虛擬機(jī)的資源，以保證業(yè)務(wù)的持續(xù)運(yùn)行。圖4.114動(dòng)態(tài)資源擴(kuò)展示意圖資源動(dòng)態(tài)添加的實(shí)現(xiàn)原理：系統(tǒng)實(shí)時(shí)監(jiān)控業(yè)務(wù)虛擬機(jī)的內(nèi)存、CPU等計(jì)算資源的消耗，當(dāng)資源消耗達(dá)到自定義閥值的時(shí)候?qū)I(yè)務(wù)所在主機(jī)剩余資源進(jìn)行校驗(yàn)。如果發(fā)現(xiàn)虛擬機(jī)所在的物理主機(jī)資源剩余量比較充足的時(shí)候，會(huì)對(duì)業(yè)務(wù)虛擬機(jī)進(jìn)行不中斷業(yè)務(wù)地添加虛擬資源(vMEM、vCPU)；如果所在物理主機(jī)剩余資源不足，則不會(huì)進(jìn)行任何資源調(diào)整操作，這樣可以避免影響該主機(jī)上的其他業(yè)務(wù)。虛擬機(jī)熱遷移虛擬機(jī)熱遷移（也稱在線遷移）技術(shù)是指業(yè)務(wù)幾乎不中斷地把虛擬機(jī)從一臺(tái)物理服務(wù)器遷移到另一臺(tái)物理服務(wù)器上。設(shè)備維護(hù)時(shí)，可通過(guò)熱遷移將應(yīng)用遷移至另一臺(tái)服務(wù)器，維護(hù)結(jié)束后再遷回來(lái)，中間應(yīng)用不停機(jī)，保障業(yè)務(wù)連續(xù)性；當(dāng)集群主機(jī)負(fù)載不均衡時(shí)，可以人工調(diào)整某些虛擬機(jī)的運(yùn)行位置和存儲(chǔ)位置，同時(shí)保障業(yè)務(wù)不中斷。圖4.115虛擬機(jī)熱遷移熱遷移過(guò)程會(huì)涉及到三種運(yùn)行時(shí)數(shù)據(jù)的遷移，包括：虛擬機(jī)的內(nèi)存數(shù)據(jù)、虛擬機(jī)的磁盤數(shù)據(jù)(可選，跨存儲(chǔ)熱遷移時(shí)需要)、虛擬機(jī)的硬件狀態(tài)數(shù)據(jù)(CPU、網(wǎng)卡、顯卡等)。在虛擬機(jī)遷移前，超融合平臺(tái)會(huì)在目標(biāo)端主機(jī)上啟動(dòng)虛擬機(jī)與源端虛擬機(jī)建立TCP連接，用于傳輸源端虛擬機(jī)的內(nèi)存數(shù)據(jù)、磁盤數(shù)據(jù)、硬件狀態(tài)數(shù)據(jù)等。

遷移過(guò)程中的數(shù)據(jù)傳輸分為三個(gè)階段：全量數(shù)據(jù)傳輸，增量數(shù)據(jù)傳輸、停機(jī)切換。源端與目標(biāo)端之間的數(shù)據(jù)經(jīng)過(guò)多倫迭代傳輸，使差異數(shù)據(jù)越來(lái)越少。當(dāng)剩余的數(shù)據(jù)量達(dá)到閾值時(shí)，會(huì)暫停源端虛擬機(jī)將剩余數(shù)據(jù)一次性遷移到目標(biāo)端。虛擬機(jī)熱遷移的主要技術(shù)點(diǎn)如下：自研Sangfor4高效壓縮算法原生QEMU熱遷移壓縮算法效率低，采用Sangfor4高效壓縮算法，提高數(shù)據(jù)遷移效率速率提升7倍以上，CPU消耗降低80%?？s小記錄臟數(shù)據(jù)的數(shù)據(jù)塊粒度熱遷移的總數(shù)據(jù)量包括內(nèi)存臟頁(yè)和磁盤臟頁(yè)兩部分。針對(duì)磁盤熱遷移臟數(shù)據(jù)放大影響性能導(dǎo)致無(wú)法熱遷移完成的情況，通過(guò)縮小記錄臟數(shù)據(jù)的數(shù)據(jù)塊粒度，磁盤臟數(shù)據(jù)放大率降低90%以上。優(yōu)化CPU節(jié)流策略原生QEMU的CPU節(jié)流算法導(dǎo)致業(yè)務(wù)性能受影響時(shí)間較長(zhǎng)：進(jìn)入到增量迭代遷移階段后，如果內(nèi)存臟數(shù)據(jù)的生成速率大于遷移速率時(shí)候，遷移任務(wù)就有可能無(wú)法完成。通過(guò)優(yōu)化CPU節(jié)流策略，在熱遷移過(guò)程中引入直接節(jié)流和階段式節(jié)流兩種方式，大幅度縮短切換停機(jī)時(shí)間到2s以內(nèi)。GPU虛擬化圖像處理場(chǎng)景、AI場(chǎng)景需要使用GPU應(yīng)用，為了支持用戶GPU應(yīng)用的數(shù)字化轉(zhuǎn)型以及滿足業(yè)務(wù)統(tǒng)一管理的需求，超融合平臺(tái)支持GPU顯卡直通和vGPU顯卡切分兩種方案。GPU直通（pass-through）GPU直通方案將顯卡上的單個(gè)物理核心透?jìng)鹘o虛擬機(jī)使用，采用DMA+VFIO技術(shù)。DMA技術(shù)會(huì)從超融合系統(tǒng)的內(nèi)核中分配一段地址空間給硬件設(shè)備（GPU顯卡），當(dāng)上層應(yīng)用確定使用這個(gè)硬件設(shè)備（GPU顯卡），將直接把數(shù)據(jù)放入對(duì)應(yīng)的地址空間中直接交給硬件設(shè)備（GPU顯卡）處理，避免CPU中轉(zhuǎn)和調(diào)度的資源消耗。VFIO技術(shù)是一種IO調(diào)度的保護(hù)機(jī)制，能夠保障IO上下傳輸時(shí)的可靠性，使用該機(jī)制可增強(qiáng)IO傳輸?shù)目煽啃?。KVMhost識(shí)別顯卡的物理核心，將物理核心1:1映射給虛擬機(jī)，成為VirtualMachine上的虛擬硬件，而后被GuestOS使用。圖4.116GPU直通GPU切分（NVIDIAvGPU）vGPU顯卡切分方案與GPU直通方案類似，但該節(jié)點(diǎn)上的顯卡在KVMhost層會(huì)被NVIDIAvGPUhost驅(qū)動(dòng)接管，NVIDIAvGPUhost驅(qū)動(dòng)可對(duì)數(shù)據(jù)中心級(jí)顯卡（一般為Tesla、Quadro系列）進(jìn)行狀態(tài)監(jiān)控、資源切分等管理。GPU經(jīng)過(guò)NVIDIAvGPUhost驅(qū)動(dòng)切分后，在VirtualMachine層會(huì)有多個(gè)vGPU，每個(gè)vGPU可分配給一個(gè)VM使用。以英偉達(dá)TeslaP40為例，單個(gè)顯卡最多可以虛擬化出24個(gè)vGPU，支持24個(gè)用戶同時(shí)使用。還可以根據(jù)不同場(chǎng)景和負(fù)載的需求，虛擬出不同規(guī)格的vGPU，并能支持GPU虛擬機(jī)在GPU服務(wù)器之間遷移，這些都是新一代顯卡虛擬化比較突出的特色功能。同時(shí)英偉達(dá)在新的硬件虛擬化技術(shù)里也增加了軟件授權(quán)的費(fèi)用。圖4.117GPU切分GPU調(diào)度GPU調(diào)度充分考慮了底層GPU資源的利用率，能夠自動(dòng)調(diào)整GPU顯卡配置。GPU調(diào)度支持性能調(diào)度模式和密度調(diào)度模式。GPU性能調(diào)度模式：通過(guò)將GPU虛擬機(jī)調(diào)度到GPU空閑的機(jī)器上，確保GPU云主機(jī)均衡地使用不同GPU顯卡資源，盡可能保障每一臺(tái)GPU云主機(jī)性能最佳。例如在深度學(xué)習(xí)、視頻渲染、科學(xué)計(jì)算等對(duì)GPU性能要求高的場(chǎng)景。GPU密度調(diào)度模式：將GPU虛擬機(jī)調(diào)度到已被分配的GPU上，使GPU云主機(jī)優(yōu)先運(yùn)行在已經(jīng)運(yùn)行了GPU云主機(jī)的物理主機(jī)上，確保GPU資源能夠被充分利用。例如，教育行業(yè)的人工智能學(xué)院AI實(shí)訓(xùn)場(chǎng)景、通用辦公場(chǎng)景等。數(shù)據(jù)保護(hù) 深信服計(jì)算虛擬化aSV提供邏輯故障時(shí)的虛擬機(jī)快照，物理故障時(shí)的快速備份、定期全量備份、歸檔壓縮和持續(xù)數(shù)據(jù)保護(hù)CDP，以及故障恢復(fù)時(shí)的快速恢復(fù)功能，機(jī)密數(shù)據(jù)的數(shù)據(jù)一鍵清除功能，實(shí)現(xiàn)數(shù)據(jù)保護(hù)。虛擬機(jī)快照aSV提供基于QCOW2文件的虛擬機(jī)快照功能，當(dāng)對(duì)虛擬機(jī)使用該功能時(shí)，能夠記錄下快照時(shí)刻的數(shù)據(jù)狀態(tài)；管理員可以通過(guò)回滾快照的方式，把數(shù)據(jù)恢復(fù)到快照時(shí)刻的狀態(tài)。使用場(chǎng)景存儲(chǔ)快照是一種數(shù)據(jù)保護(hù)措施，可以對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行一定程度的保護(hù)。存儲(chǔ)快照常用于軟件或操作系統(tǒng)升級(jí)、數(shù)據(jù)中心設(shè)備替換等場(chǎng)景，在進(jìn)行這些操作之前對(duì)虛擬機(jī)進(jìn)行快照，若操作失敗，將快照進(jìn)行回滾，可將數(shù)據(jù)恢復(fù)到操作前的狀態(tài)。圖4.118存儲(chǔ)快照流程圖如上圖，假設(shè)在t0時(shí)刻，虛擬機(jī)有一份完整的源數(shù)據(jù)，我們?cè)趖1時(shí)刻為該虛擬機(jī)創(chuàng)建一次快照。在t2時(shí)刻，由于誤操作或系統(tǒng)錯(cuò)誤等原因?qū)е略磾?shù)據(jù)被修改或損毀，可以通過(guò)快照回滾操作，將虛擬機(jī)數(shù)據(jù)恢復(fù)至快照創(chuàng)建時(shí)的狀態(tài)（即t1時(shí)刻）。實(shí)現(xiàn)原理存儲(chǔ)快照基于ROW（RedirectOnWrite，重定向?qū)懀┘夹g(shù)實(shí)現(xiàn)?？煺蘸?，數(shù)據(jù)寫入過(guò)程在對(duì)虛擬機(jī)創(chuàng)建快照時(shí)，系統(tǒng)會(huì)將所有虛擬磁盤置為只讀，并生成對(duì)應(yīng)數(shù)量的新磁盤文件（即快照空間）?？煺談?chuàng)建完成后，該虛擬機(jī)的所有新增數(shù)據(jù)和源數(shù)據(jù)修改數(shù)據(jù)都將寫入到新生成的快照空間，并將源虛擬磁盤和快照空間邏輯地址的對(duì)應(yīng)關(guān)系寫入映射表。創(chuàng)建快照后，數(shù)據(jù)寫入流程如下：圖4.119快照后數(shù)據(jù)寫入流程虛擬機(jī)寫入數(shù)據(jù)，期望將數(shù)據(jù)“c”修改為數(shù)據(jù)“E”。數(shù)據(jù)E被重定向?qū)懭氲娇煺湛臻g對(duì)應(yīng)的邏輯地址“ii”中。系統(tǒng)將原虛擬磁盤和快照空間的邏輯地址對(duì)應(yīng)關(guān)系寫入映射表，記錄原地址“2”的數(shù)據(jù)對(duì)應(yīng)為快照地址“ii”的數(shù)據(jù)。快照后，數(shù)據(jù)讀取過(guò)程快照創(chuàng)建后，虛擬機(jī)對(duì)數(shù)據(jù)的讀取存在兩種情況：若讀取的數(shù)據(jù)是快照創(chuàng)建之前寫入的，且創(chuàng)建快照后未進(jìn)行修改，則從源虛擬磁盤中讀取。若讀取的數(shù)據(jù)是快照創(chuàng)建后新寫入的數(shù)據(jù)，或?qū)υ刺摂M磁盤的修改數(shù)據(jù)，則從快照空間讀取。創(chuàng)建快照后，數(shù)據(jù)讀取流程如下：圖4.120快照后數(shù)據(jù)讀取流程虛擬機(jī)下發(fā)數(shù)據(jù)讀取命令。讀取原地址“1”對(duì)應(yīng)的數(shù)據(jù)，是創(chuàng)建快照之前的數(shù)據(jù)，地址“1”不存在于映射表中，直接從原虛擬磁盤中讀取返回?cái)?shù)據(jù)“a”。讀取原地址“2”對(duì)應(yīng)的數(shù)據(jù)，是創(chuàng)建快照之后寫入過(guò)的數(shù)據(jù)區(qū)域，則查詢映射表，從快照地址“ii”中讀取返回?cái)?shù)據(jù)“E”。快照回滾在存儲(chǔ)快照中由于源虛擬磁盤中保存著快照創(chuàng)建前的數(shù)據(jù)，快照創(chuàng)建后，新增的業(yè)務(wù)數(shù)據(jù)和對(duì)源虛擬磁盤的改動(dòng)數(shù)據(jù)都寫入到了新分配的快照空間中。因此將虛擬機(jī)回滾恢復(fù)到快照時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài)，即取消讀映射的過(guò)程，直接從源虛擬磁盤讀寫數(shù)據(jù)。一致性組快照一致性組快照主要應(yīng)用于由多個(gè)虛擬機(jī)組成的業(yè)務(wù)場(chǎng)景，這些虛擬機(jī)之間強(qiáng)關(guān)聯(lián)，對(duì)這類業(yè)務(wù)進(jìn)行快照保護(hù)時(shí)，必須要保證組成該業(yè)務(wù)的多個(gè)虛擬機(jī)的快照時(shí)刻點(diǎn)的一致性。例如：由2個(gè)或更多的虛擬機(jī)組成的OracleRAC數(shù)據(jù)庫(kù)、由多個(gè)虛擬機(jī)組成的分布式應(yīng)用、由“app虛擬機(jī)+中間件+數(shù)據(jù)庫(kù)”3個(gè)虛擬機(jī)組成的典型業(yè)務(wù)。超融合支持將多個(gè)虛擬機(jī)加入到一致性組中，對(duì)一致性組進(jìn)行快照操作時(shí)，該組內(nèi)的所有虛擬機(jī)創(chuàng)建快照時(shí)刻的數(shù)據(jù)時(shí)間點(diǎn)是一致的，保證后續(xù)進(jìn)行快照回滾和快照克隆時(shí)的業(yè)務(wù)可用性。圖4.121快照一致性組產(chǎn)品示意圖定時(shí)快照策略超融合支持對(duì)業(yè)務(wù)虛擬機(jī)創(chuàng)建定時(shí)快照策略和快照保留策略，超過(guò)保留時(shí)間期限的快照將自動(dòng)刪除，釋放存儲(chǔ)空間。定時(shí)快照實(shí)現(xiàn)對(duì)虛擬機(jī)的定期保護(hù)，在虛擬機(jī)出現(xiàn)邏輯性錯(cuò)誤時(shí)，比如中毒等事件，可以回滾到未中毒時(shí)刻的快照點(diǎn)，恢復(fù)業(yè)務(wù)虛擬機(jī)，降低損失。定時(shí)快照和定時(shí)備份是對(duì)業(yè)務(wù)的兩種數(shù)據(jù)保護(hù)方式，存在以下差異：表4-1定時(shí)備份與定時(shí)快照對(duì)比表定時(shí)備份定時(shí)快照首次全量數(shù)據(jù)保護(hù)首次全量備份，空間占用與原虛擬機(jī)占用的空間大小相同原鏡像設(shè)為只讀模式，不需要對(duì)數(shù)據(jù)進(jìn)行拷貝或移動(dòng)處理，不需要占用額外的空間增量數(shù)據(jù)僅對(duì)新增或刪改數(shù)據(jù)進(jìn)行增量備份新增或刪改數(shù)據(jù)寫入到快照空間中備份/快照速度首次備份拷貝原鏡像全部數(shù)據(jù)的時(shí)間+后續(xù)拷貝增量數(shù)據(jù)的時(shí)間秒級(jí)完成快照恢復(fù)/回滾速度分鐘級(jí)拉起虛擬機(jī)后，持續(xù)將備份數(shù)據(jù)回拷秒級(jí)回滾至快照時(shí)刻的狀態(tài)故障容忍能力可容忍邏輯性故障（中毒/誤刪除）備份至異地可容忍本地集群物理性故障，備份至本地集群則不可以可容忍邏輯性故障（中毒/誤刪除）無(wú)法容忍本地集群物理性故障性能影響備份過(guò)程有一定性能影響備份完成后對(duì)業(yè)務(wù)性能無(wú)影響快照過(guò)程對(duì)性能無(wú)影響快照后性能小幅下降，后續(xù)逐漸恢復(fù)快速備份對(duì)于業(yè)務(wù)數(shù)據(jù)的邏輯類故障（發(fā)生在虛擬機(jī)內(nèi)部的故障，如虛擬機(jī)內(nèi)誤刪數(shù)據(jù)、勒索病毒）,僅僅依賴業(yè)務(wù)服務(wù)器自身的可靠性建設(shè)（存儲(chǔ)雙活、多副本、HA、系統(tǒng)故障自動(dòng)重啟）是無(wú)法避免的，因?yàn)檫壿嫻收蠈⒅苯訐p壞數(shù)據(jù)源，進(jìn)而對(duì)副本數(shù)據(jù)也造成數(shù)據(jù)損壞。比如，近來(lái)瘋狂的勒索病毒，會(huì)導(dǎo)致業(yè)務(wù)系統(tǒng)內(nèi)部的數(shù)據(jù)自身遭到破壞，即便采用多副本，其每個(gè)副本數(shù)據(jù)都會(huì)被破壞。針對(duì)此類故障，超融合平臺(tái)提供快速備份機(jī)制來(lái)應(yīng)對(duì)。技術(shù)上采用首次全量備份+非首次增量備份+bitmap技術(shù)（bitmap的方式標(biāo)記了QCOW2文件的變化的位置，也稱臟數(shù)據(jù)位置）實(shí)現(xiàn)快速備份，下面將詳細(xì)介紹快速備份的實(shí)現(xiàn)原理：圖4.122備份流程對(duì)虛擬機(jī)進(jìn)行備份時(shí)，首先進(jìn)行全量備份（如果已經(jīng)有全量備份則直接進(jìn)行增量備份）。全量備份后業(yè)務(wù)持續(xù)寫入新數(shù)據(jù)（G和H），用bitmap標(biāo)記，此時(shí)新數(shù)據(jù)可以在QCOW2文件的原位置直接寫入，下次備份時(shí)只增量備份修改處的數(shù)據(jù)；備份結(jié)束后重新將bitmap置0，以此進(jìn)行每一次的備份操作。在原位置寫入新數(shù)據(jù)時(shí)可直接寫入，不會(huì)發(fā)生寫時(shí)拷貝，不會(huì)造成QCOW2文件與數(shù)據(jù)位置的映射亂序，因此不會(huì)對(duì)QCOW2鏡像造成任何性能上的影響；增量備份方式減少每次備份的數(shù)據(jù)量，進(jìn)而提高備份速度。刪除增備文件，數(shù)據(jù)向后合并，保證每個(gè)保留的備份數(shù)據(jù)都是完整可用的，以此快速釋放空間，節(jié)約備份存儲(chǔ)資源。圖4.123備份文件刪除合并流程說(shuō)明：刪除操作導(dǎo)致沒(méi)有增備文件2的恢復(fù)點(diǎn)，但增備1，增備3及之后的增備點(diǎn)的數(shù)據(jù)都是完整正確可恢復(fù)的。當(dāng)一個(gè)虛擬機(jī)的多個(gè)磁盤鏡像、或者多個(gè)虛擬機(jī)的磁盤鏡像有相關(guān)性時(shí)，快速備份還提供多磁盤數(shù)據(jù)一致性檢查，比如在數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景中，數(shù)據(jù)庫(kù)（SQLServer、Oracle）的數(shù)據(jù)盤、日志盤，必須保持備份時(shí)刻的一致性，否則當(dāng)恢復(fù)備份時(shí)，會(huì)由于不一致導(dǎo)致恢復(fù)的Oracle系統(tǒng)仍然不可用，而通過(guò)深信服的快速備份可保障數(shù)據(jù)庫(kù)數(shù)據(jù)的多個(gè)磁盤在恢復(fù)時(shí)，保持?jǐn)?shù)據(jù)的一致性。在超融合平臺(tái)上備份操作非常簡(jiǎn)單：通過(guò)向?qū)牟郊茨苄略鲆粋€(gè)符合用戶業(yè)務(wù)特征的備份策略。支持按周、按天、按小時(shí)的自動(dòng)備份周期，根據(jù)實(shí)際業(yè)務(wù)需求靈活配置。同時(shí)提供自動(dòng)清理備份功能，最大限度節(jié)省備份存儲(chǔ)空間。此外無(wú)須安裝插件，簡(jiǎn)單易用?？焖賯浞菪阅軋D4.124快速備份性能變化從上圖可以看到，快速備份在首次全量備份、第二次增量備份的過(guò)程中，原始基于QCOW2的備份只出現(xiàn)少許性能下降，而在備份結(jié)束后，即迅速恢復(fù)到了初始水平。備份文件清理策略：客戶可以根據(jù)業(yè)務(wù)情況自定義備份文件保留策略，時(shí)間粒度從天到年，相較之前保留策略更加靈活?？焖倩謴?fù) 當(dāng)業(yè)務(wù)系統(tǒng)出現(xiàn)故障不可用時(shí)，如果此前開(kāi)啟數(shù)據(jù)備份保護(hù)，可以通過(guò)查找備份文件恢復(fù)虛擬機(jī)到最近的業(yè)務(wù)正常運(yùn)行點(diǎn)實(shí)現(xiàn)業(yè)務(wù)恢復(fù)。備份恢復(fù)一般做法如下：遷移備份數(shù)據(jù)至運(yùn)行位置，等待數(shù)據(jù)遷移完后，在運(yùn)行位置拉起虛擬機(jī)恢復(fù)業(yè)務(wù)。如果業(yè)務(wù)數(shù)據(jù)量大，數(shù)據(jù)遷移時(shí)間長(zhǎng)，就會(huì)導(dǎo)致業(yè)務(wù)恢復(fù)的RTO很大。為此，對(duì)備份恢復(fù)功能進(jìn)一步進(jìn)行優(yōu)化?？焖倩謴?fù)主要優(yōu)化點(diǎn)新增一種恢復(fù)方式，即“生成全新虛擬機(jī)”方式。優(yōu)化前僅支持對(duì)原虛擬機(jī)覆蓋性恢復(fù)，這就導(dǎo)致了無(wú)法驗(yàn)證備份數(shù)據(jù)是否正常可用就覆蓋了原來(lái)的虛擬機(jī)數(shù)據(jù)，有了“生成全新虛擬機(jī)”的恢復(fù)方式后很好地解決這個(gè)問(wèn)題。在滿足一條限制條件的情況下，可以快速恢復(fù)虛擬機(jī)備份，僅需幾分鐘時(shí)間便可完成備份恢復(fù)并開(kāi)機(jī)；通過(guò)先拉起虛擬機(jī)實(shí)現(xiàn)業(yè)務(wù)快速恢復(fù)，業(yè)務(wù)運(yùn)行的同時(shí)遷移備份數(shù)據(jù)至目標(biāo)存儲(chǔ)的方式實(shí)現(xiàn)業(yè)務(wù)快速恢復(fù)上線?？焖倩謴?fù)原理如下：圖4.125快速恢復(fù)快速恢復(fù)步驟快速拉起虛擬機(jī)運(yùn)行業(yè)務(wù)在業(yè)務(wù)恢復(fù)位置上新建空白鏡像，QEMU進(jìn)程會(huì)通過(guò)該空白鏡像拉起虛擬機(jī)，此時(shí)業(yè)務(wù)可正常運(yùn)行。如圖恢復(fù)位置中的第一行，形成一個(gè)空白鏡像。業(yè)務(wù)讀數(shù)據(jù)優(yōu)先恢復(fù)位置業(yè)務(wù)運(yùn)行過(guò)程中，優(yōu)先從恢復(fù)位置讀取數(shù)據(jù)，如果恢復(fù)位置沒(méi)有該數(shù)據(jù)，需要從備份文件池中將該位置數(shù)據(jù)遷移到恢復(fù)位置中，然后進(jìn)行數(shù)據(jù)讀取。如圖恢復(fù)位置中的第二行，業(yè)務(wù)需要讀取位置1的K和位置3的M數(shù)據(jù)。業(yè)務(wù)寫數(shù)據(jù)位置為恢復(fù)位置業(yè)務(wù)運(yùn)行過(guò)程中，虛擬機(jī)新產(chǎn)生的數(shù)據(jù)，則直接寫入新鏡像中。如圖恢復(fù)位置中第三行和第四行，分別在位置3和位置1寫入O和P。備份數(shù)據(jù)不斷從備份文件池遷移至恢復(fù)位置在恢復(fù)虛擬機(jī)進(jìn)行業(yè)務(wù)運(yùn)行的同時(shí)，虛擬機(jī)QEMU進(jìn)程中還會(huì)有一個(gè)默默在后臺(tái)持續(xù)將備份恢復(fù)池的數(shù)據(jù)搬運(yùn)到恢復(fù)位置上的虛擬機(jī)鏡像中，我們稱之為備份數(shù)據(jù)整理，數(shù)據(jù)整理完成后，該虛擬機(jī)恢復(fù)為普通虛擬機(jī)。如圖恢復(fù)位置的第三行和第四行，在第三行狀態(tài)時(shí)，QEMU發(fā)現(xiàn)恢復(fù)位置中的鏡像文件中位置2和沒(méi)有數(shù)據(jù)，此時(shí)將這位置2的數(shù)據(jù)從備份文件池遷移至恢復(fù)位置，當(dāng)所有數(shù)據(jù)遷移完成后，如恢復(fù)位置的第四行狀態(tài)，意味著虛擬機(jī)完全恢復(fù)，成為一個(gè)普通虛擬機(jī)。業(yè)務(wù)快速回復(fù)時(shí)的數(shù)據(jù)放丟失機(jī)制快速恢復(fù)首先通過(guò)在恢復(fù)位置新建空白鏡像快速拉起虛擬機(jī)，實(shí)現(xiàn)業(yè)務(wù)快速恢復(fù)；其次優(yōu)先恢復(fù)業(yè)務(wù)運(yùn)行的熱數(shù)據(jù)，在短時(shí)間內(nèi)提高業(yè)務(wù)運(yùn)行性能，然后以不影響主業(yè)務(wù)運(yùn)行的速度遷移備份文件池中其他數(shù)據(jù)（冷數(shù)據(jù)）到恢復(fù)位置中。定期全備，壓縮歸檔，備份復(fù)制默認(rèn)情況下aSV提供的備份功能是首次全量備份、后續(xù)增量備份的形式，某些合規(guī)性要求除了增量備份，系統(tǒng)還需要做定期的全量備份和二級(jí)的數(shù)據(jù)歸檔功能。aSV也提供了滿足合規(guī)要求的全量備份和壓縮歸檔方案。其流程如下圖所示：用戶配置了1周1次的自動(dòng)備份頻率；1月1次全量備份；一月一次的歸檔備份。每月初就會(huì)根據(jù)用戶配置，進(jìn)行一次全量的拷貝（直接從原始鏡像拷貝，而不是基于前一次的增量鏡像合并而言），以此保證全量備份的數(shù)據(jù)可靠性，然后基于此鏡像在進(jìn)行后續(xù)是三周的增量備份。月末會(huì)基于最后一次備份的增量，從備份存儲(chǔ)上合并生成一個(gè)新的鏡像，并拷貝到歸檔存儲(chǔ)完成歸檔。注意：歸檔并不會(huì)從原始鏡像（生產(chǎn)存儲(chǔ)）上直接拷貝，而是從備份存儲(chǔ)上完成數(shù)據(jù)的歸檔，以此減少對(duì)原始生產(chǎn)環(huán)境的影響?？紤]到歸檔存儲(chǔ)的訪問(wèn)頻次和空間利用率，aSV提供了壓縮功能，以減少對(duì)存儲(chǔ)資源的占用。圖4.126定期全備對(duì)于歸檔存儲(chǔ)需要滿足兩個(gè)條件：不能與歸檔時(shí)的備份存儲(chǔ)一致。不能為虛擬存儲(chǔ)。而對(duì)于某些特殊行業(yè)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)，對(duì)于安全及可靠性有極高的強(qiáng)制性要求，常規(guī)的全備與歸檔無(wú)法滿足此類特殊的合規(guī)要求?；诖祟愋枨?，aSV提供備份復(fù)制功能，可將1個(gè)備份及其多個(gè)備份副本分別存儲(chǔ)在不同的存儲(chǔ)位置，可同時(shí)滿足在線存儲(chǔ)、異地存儲(chǔ)和離線存儲(chǔ)需求。備份復(fù)制策略可配置源存儲(chǔ)、目的存儲(chǔ)、復(fù)制頻率、復(fù)制速率限制等，策略定期自動(dòng)執(zhí)行，將虛擬機(jī)源存儲(chǔ)上的備份復(fù)制到目的存儲(chǔ)，也支持手動(dòng)進(jìn)行備份復(fù)制。其注意項(xiàng)如下：備份復(fù)制的目的存儲(chǔ)不支持為本地存儲(chǔ)。備份復(fù)制的源存儲(chǔ)和目的存儲(chǔ)不支持為同一個(gè)存儲(chǔ)。備份副本無(wú)數(shù)量限制。例如備份需要三副本，可添加一個(gè)備份策略和兩個(gè)備份復(fù)制策略，備份復(fù)制策略可以不斷添加。持續(xù)數(shù)據(jù)保護(hù)通常普通備份為小時(shí)級(jí)，意味著業(yè)務(wù)故障恢復(fù)時(shí)至少丟失一小時(shí)的數(shù)據(jù)，這對(duì)用戶的一些關(guān)鍵業(yè)務(wù)而言是不可接受的；某些重要業(yè)務(wù)系統(tǒng)需要實(shí)現(xiàn)更細(xì)粒度的備份，RPO的需求為分鐘或秒級(jí)，為了滿足這種需求，就需要對(duì)業(yè)務(wù)系統(tǒng)進(jìn)行持續(xù)數(shù)據(jù)保護(hù)（ContinuousDataProtection，CDP）。CDP持續(xù)數(shù)據(jù)保護(hù)是IO秒級(jí)別的高級(jí)備份技術(shù)，記錄客戶的每一次數(shù)據(jù)改動(dòng)，可通過(guò)零丟失的數(shù)據(jù)恢復(fù)實(shí)現(xiàn)業(yè)務(wù)保護(hù)。超融合平臺(tái)對(duì)CDP技術(shù)進(jìn)行優(yōu)化，將CDP模塊做到虛擬機(jī)的QCOW2文件層，相較于傳統(tǒng)CDP軟件只是以代理方式嵌入到GuestOS層，我們能更好為客戶提供CDP數(shù)據(jù)保護(hù)，為客戶提供了一種低成本、易部署、高價(jià)值、更適合虛擬機(jī)業(yè)務(wù)使用的CDP解決方案。CDP實(shí)現(xiàn)原理CDP本質(zhì)仍然是一種備份技術(shù)，包括數(shù)據(jù)備份和恢復(fù)兩個(gè)步驟，下面將從備份和恢復(fù)的實(shí)現(xiàn)原理來(lái)講述CDP的實(shí)現(xiàn)原理。實(shí)現(xiàn)原理-備份CDP備份數(shù)據(jù)由RP日志文件和BP備份文件組成，備份實(shí)現(xiàn)原理主要為BP點(diǎn)和RP點(diǎn)的生成原理。圖4.127CDP備份流程啟動(dòng)虛擬機(jī)時(shí)，同時(shí)開(kāi)啟業(yè)務(wù)（QEMU）和CDP功能（cdp_worker），并為該虛擬機(jī)開(kāi)辟一塊內(nèi)存（默認(rèn)2G），作為主業(yè)務(wù)和CDP模塊的共享緩存區(qū)（sharedbuffer）。CDP模塊（cdp_worker）位于虛擬機(jī)的QCOW2文件層，可直接下發(fā)備份指令，對(duì)QCOW2文件進(jìn)行備份形成全備和增備BP，首次開(kāi)啟CDP功能，需要進(jìn)行一次全備生成基準(zhǔn)點(diǎn)，后續(xù)根據(jù)設(shè)置的定期備份頻率（小時(shí)級(jí)別），定期生成BP點(diǎn)；BP點(diǎn)以備份文件的形式存在CDP數(shù)據(jù)存儲(chǔ)區(qū)。采用旁路架構(gòu)+IO分流技術(shù)，經(jīng)過(guò)共享緩存區(qū)，實(shí)現(xiàn)從主業(yè)務(wù)異步復(fù)制IO到CDP日志存儲(chǔ)區(qū)（IO倉(cāng)庫(kù)）,以IO日志的形式存在；根據(jù)設(shè)置的IO日志間隔時(shí)間（RPO=1s/5s），定期生成RP點(diǎn)，單獨(dú)利用RP并不能夠恢復(fù)數(shù)據(jù)，所有的RP均依賴于對(duì)應(yīng)的BP。對(duì)生成的BP點(diǎn)和RP點(diǎn)均標(biāo)記上時(shí)間戳，便于故障時(shí)定位恢復(fù)點(diǎn)。說(shuō)明：1）IO日志存儲(chǔ)區(qū)和CDP數(shù)據(jù)存儲(chǔ)區(qū)可為同一位置或不同位置。2）如果該虛擬機(jī)曾使用普通備份功能,生成的備份點(diǎn)可直接被作為CDP的BP點(diǎn)支持多磁盤數(shù)據(jù)一致性檢測(cè)，保證每個(gè)恢復(fù)點(diǎn)都是有效的。一致性備份CDP存儲(chǔ)有3個(gè)磁盤，每個(gè)IO寫入并形成id標(biāo)識(shí)的RP點(diǎn)，3個(gè)磁盤上的id相同的RP點(diǎn)則認(rèn)為屬于同個(gè)一致性RP。id為3的RP點(diǎn)在3個(gè)vdisk上都存在，因此RP3是一個(gè)有效的一致性RP，可以展現(xiàn)在頁(yè)面上，用于恢復(fù)虛擬機(jī)。id為6的RP在vdisk2中缺失了，因此RP6不是一個(gè)有效的一致性RP，不能展現(xiàn)在頁(yè)面上，不能用于恢復(fù)虛擬機(jī)。圖4.128一致性CDP備份對(duì)多磁盤上存儲(chǔ)數(shù)據(jù)做一致性檢測(cè)，保證每個(gè)恢復(fù)點(diǎn)數(shù)據(jù)正確有效。實(shí)現(xiàn)原理-恢復(fù)當(dāng)業(yè)務(wù)發(fā)生故障（病毒，誤刪除等）需要通過(guò)CDP備份文件進(jìn)行虛擬機(jī)恢復(fù)時(shí)，可根據(jù)時(shí)間點(diǎn)查找對(duì)應(yīng)備份文件，通過(guò)增量備份和IO倉(cāng)庫(kù)創(chuàng)新設(shè)計(jì)，支持快速瀏覽備份文件，實(shí)現(xiàn)文件級(jí)和業(yè)務(wù)級(jí)恢復(fù)。圖4.129CDP備份恢復(fù)如圖所示：CDP備份文件包括3個(gè)BP備份文件（BP、BP1和BP2)和8個(gè)RP日志文件（RP1到RP8）；當(dāng)選擇某個(gè)RP點(diǎn)進(jìn)行恢復(fù)時(shí)，需要將目標(biāo)恢復(fù)點(diǎn)之前的所有BP點(diǎn)和最近一個(gè)BP點(diǎn)至目標(biāo)恢復(fù)點(diǎn)的所有RP點(diǎn)進(jìn)行數(shù)據(jù)合并和業(yè)務(wù)恢復(fù)。以RP5進(jìn)行業(yè)務(wù)恢復(fù)為例，關(guān)鍵步驟如下：終端界面提出瀏覽14：00：20生成的IO日志（即RP5）的請(qǐng)求。從QCOW2備份文件中提取該恢復(fù)點(diǎn)之前的全部備份文件，即全量BP和增量BP1。從IO倉(cāng)庫(kù)中提取從最近備份點(diǎn)至目標(biāo)恢復(fù)點(diǎn)的所有RP點(diǎn)，即RP4和RP5。將獲取到相關(guān)備份文件和RP點(diǎn)文件進(jìn)行合并，得到該恢復(fù)點(diǎn)的最終結(jié)果?？蛻艨赏ㄟ^(guò)找回文件恢復(fù)特定文檔，或者直接恢復(fù)該時(shí)刻的整個(gè)虛擬機(jī)。此外，深信服CDP故障中斷不會(huì)影響業(yè)務(wù)。圖4.130CDP故障以金蝶ERP系統(tǒng)CDP備份和故障恢復(fù)舉例：首次全量備份生產(chǎn)基準(zhǔn)點(diǎn)，記錄每個(gè)IO形成RP點(diǎn)，定期形成增量BP。在形成RP4之后CDP功能發(fā)生故障中斷，業(yè)務(wù)正常運(yùn)行。在生成RP6之后CDP功能恢復(fù)，立即生成一個(gè)備份點(diǎn)（增量BP2），保證后續(xù)備份數(shù)據(jù)正確。說(shuō)明：此時(shí)會(huì)丟失恢復(fù)點(diǎn)RP5和RP6，其他恢復(fù)點(diǎn)完整有效。超融合平臺(tái)的CDP的功能與特點(diǎn)記錄每一個(gè)IO，不丟失任何數(shù)據(jù)，可從任意一個(gè)IO日志記錄點(diǎn)中恢復(fù)虛擬機(jī)，RPO=5秒/1秒（可設(shè)置）。CDP服務(wù)與虛擬機(jī)QEMU獨(dú)立，采用異步緩存機(jī)制，IO復(fù)制過(guò)程對(duì)業(yè)務(wù)性能基本無(wú)影響，對(duì)業(yè)務(wù)穩(wěn)定性無(wú)影響。提供虛擬機(jī)多磁盤的數(shù)據(jù)一致性檢測(cè)，保護(hù)備份數(shù)據(jù)完整可靠。CDP在虛擬機(jī)啟動(dòng)時(shí)，不需要等待CDP數(shù)據(jù)同步完成，就可以開(kāi)啟業(yè)務(wù)，同時(shí)進(jìn)行虛擬機(jī)IO數(shù)據(jù)的備份。支持快速瀏覽備份文件和進(jìn)行文件，方便用戶快速的從CDP備份中獲取數(shù)據(jù)文件；同時(shí)具有詳細(xì)的審計(jì)日志和權(quán)限控制，保障該功能的安全性。集成于平臺(tái)中，融合交付，無(wú)須安裝第三方軟件和插件，是虛擬機(jī)級(jí)別的CDP方案。使用靈活，可指定虛擬機(jī)開(kāi)啟CDP功能，可在平臺(tái)進(jìn)行動(dòng)態(tài)的開(kāi)啟和關(guān)閉CDP。例如，對(duì)正在運(yùn)行的虛擬機(jī)，不需要重啟或中斷業(yè)務(wù)，就可以開(kāi)啟CDP。易用簡(jiǎn)單，無(wú)學(xué)習(xí)成本，幫助客戶完成穩(wěn)定可靠的IT創(chuàng)新。數(shù)據(jù)一鍵清除超融合HCI平臺(tái)提供殘余數(shù)據(jù)保護(hù)功能，用戶可以自定義開(kāi)啟，以保障數(shù)據(jù)的完全刪除與數(shù)據(jù)安全性。并支持設(shè)置擦除速率和刪除次數(shù)設(shè)置，實(shí)際擦除速率會(huì)根據(jù)存儲(chǔ)IO和繁忙程度動(dòng)態(tài)調(diào)整。故障預(yù)防與處理 深信服計(jì)算虛擬化aSV提供進(jìn)程看門狗、黑匣子技術(shù)、虛擬機(jī)異常重啟、高可用HA、亞健康主機(jī)、主機(jī)維護(hù)模式、系統(tǒng)盤安全更換、跨主機(jī)USB映射、UPS掉電保護(hù)、系統(tǒng)文件備份恢復(fù)進(jìn)行故障預(yù)防與處理。虛擬機(jī)異常重啟虛擬機(jī)Guest系統(tǒng)出現(xiàn)應(yīng)用層不調(diào)度（藍(lán)屏、黑屏）也是常見(jiàn)的業(yè)務(wù)中斷問(wèn)題；比如藍(lán)屏，可以說(shuō)是Windows用戶最常見(jiàn)的應(yīng)用層不調(diào)度問(wèn)題，它往往由硬盤故障、驅(qū)動(dòng)錯(cuò)誤、CPU超頻過(guò)度、BIOS設(shè)置、軟件中毒等原因引起，當(dāng)發(fā)生時(shí)，Windows為了保護(hù)電腦數(shù)據(jù)，會(huì)中止所有業(yè)務(wù)，系統(tǒng)崩潰并彈出藍(lán)屏提示；比如黑屏，由于顯卡驅(qū)動(dòng)、盜版軟件、軟件病毒等問(wèn)題，業(yè)務(wù)操作系統(tǒng)也會(huì)出現(xiàn)黑屏之類不可自動(dòng)恢復(fù)的業(yè)務(wù)系統(tǒng)故障。以上故障Windows并不會(huì)自動(dòng)重啟，而是需要管理員介入手動(dòng)重啟業(yè)務(wù)，不僅業(yè)務(wù)中斷的時(shí)間不可控，還增加了管理員的運(yùn)維工作量。若是沒(méi)有管理員值守，那么業(yè)務(wù)恢復(fù)的時(shí)間將不受控制，對(duì)于業(yè)務(wù)連續(xù)性敏感的企業(yè)來(lái)說(shuō)，是不可接受的故障損失。超融合平臺(tái)提供了虛擬機(jī)異常重啟功能來(lái)解決此問(wèn)題，幫助管理員進(jìn)行自動(dòng)化運(yùn)維，更好地提供了虛擬機(jī)業(yè)務(wù)連續(xù)性的支持，通過(guò)在虛擬機(jī)中安裝深信服的性能優(yōu)化工具，該工具每隔幾秒向虛擬機(jī)運(yùn)行所在主機(jī)發(fā)送心跳，主機(jī)根據(jù)虛擬機(jī)發(fā)出的心跳、磁盤IO、網(wǎng)絡(luò)流量狀態(tài)，判斷是否虛擬機(jī)的Guest系統(tǒng)應(yīng)用層不調(diào)度，持續(xù)數(shù)分鐘后，可認(rèn)為該虛擬機(jī)發(fā)生了黑屏或者藍(lán)屏，關(guān)機(jī)并重啟。虛擬機(jī)高可用對(duì)于外部環(huán)境故障（比如主機(jī)網(wǎng)線斷了，所在存儲(chǔ)不能訪問(wèn)等）和虛擬機(jī)Guest系統(tǒng)故障兩種情況導(dǎo)致的業(yè)務(wù)中斷問(wèn)題，深信服的超融合平臺(tái)都提供了成熟可靠的HA機(jī)制保障業(yè)務(wù)不中斷或短暫中斷。虛擬機(jī)高可用HA（HighAvailability高可用性集群)，通常需要兩個(gè)或者兩個(gè)以上的主機(jī)節(jié)點(diǎn)組成集群，當(dāng)啟用了HA功能的虛擬機(jī)所在節(jié)點(diǎn)發(fā)生意外（主機(jī)掉電、斷網(wǎng)等）時(shí)，集群心跳機(jī)制偵測(cè)到后，將選擇一臺(tái)資源充足的節(jié)點(diǎn)自動(dòng)重啟該虛擬機(jī)，從而實(shí)現(xiàn)業(yè)務(wù)的不中斷或短暫中斷。圖4.131HA機(jī)制集群心跳機(jī)制，通過(guò)輪詢的機(jī)制，每隔5s檢測(cè)一次虛擬機(jī)狀態(tài)是否異常，當(dāng)發(fā)現(xiàn)異常并持續(xù)時(shí)長(zhǎng)達(dá)到客戶設(shè)置的故障檢測(cè)敏感度時(shí)（比如5分鐘，最高敏感度為10s），切換HA虛擬機(jī)到其他主機(jī)運(yùn)行。如下圖所示，當(dāng)云主機(jī)存儲(chǔ)不能正常訪問(wèn)時(shí)，必定會(huì)啟動(dòng)HA機(jī)制，其他故障場(chǎng)景HA機(jī)制可根據(jù)需要自由配置。圖4.132HA機(jī)制配置通過(guò)aSV的HA技術(shù)，對(duì)業(yè)務(wù)系統(tǒng)提供了高可用性，極大縮短了由于各種主機(jī)物理或者鏈路故障引起的業(yè)務(wù)中斷時(shí)間。HA流程概述：主機(jī)都正常時(shí)，通過(guò)比較虛擬機(jī)的電源狀態(tài)和運(yùn)行狀態(tài)，電源打開(kāi)而虛擬機(jī)未運(yùn)行時(shí)，則認(rèn)為此虛擬機(jī)異常掛掉了，需要重新拉起。主機(jī)離線時(shí)，集群會(huì)根據(jù)所有在線主機(jī)的負(fù)載情況，選擇一臺(tái)或多臺(tái)合適的在線主機(jī)拉起離線節(jié)點(diǎn)上的所有虛擬機(jī)。檢測(cè)運(yùn)行在本節(jié)點(diǎn)的啟用了HA的虛擬機(jī)，業(yè)務(wù)口不通并且持續(xù)一段時(shí)間后，關(guān)掉此虛擬機(jī)然后由1重新拉起。當(dāng)前HA流程圖如下：圖4.133HA流程HA拉起時(shí)間=敏感度檢測(cè)時(shí)間+虛擬機(jī)拉起時(shí)間（進(jìn)入BIOS）主機(jī)離線故障場(chǎng)景下，虛擬機(jī)從故障到拉起在30s內(nèi)完成（進(jìn)入BIOS），無(wú)需敏感度檢測(cè)。其他故障HA場(chǎng)景，可自定義敏感度，因此