1、 HYPERLINK / （2022年）分布式云發展白皮書前言前言過去十年，我國云計算快速發展，在2020年云計算整體市場規模達到2,091億元，在全球范圍內呈現逆勢增長態勢。我國云計算政策環境不斷完善，云計算產業不斷發 展成熟，在技術、架構、安全、管理、軟件、賦能方面繁榮發展，助力我國數字經濟 做大做強做優。在數字化浪潮之下，5G、物聯網規模化部署推動邊緣計算需求激增，愈發嚴格的數據安全監管要求以及混合多云等不斷變化的企業用云模式相關因素推動云計算從單一數據中心部署向不同物理位置多數據中心部署、從中心化架構向分布式架構擴展升級，分布式云概念也由此而生，成為云計算未來重要演進趨勢。本白皮書作為

2、業界首個以分布式云為核心主題的白皮書，將全面闡述分布式云發展背景、概念定義、關鍵技術、典型應用場景、當前挑戰、未來展望以及實踐案例，以全局視角論述分布式云發展態勢，旨在為分布式云技術發展與應用落地提供參考。目錄/ 分布式云概念和內涵逐步清晰我國云計算發展進入惠普期，多方需求推動云計算向分布式部署模式演進 1 HYPERLINK l _TOC_250023 國內外多方組織聚焦，分布式云定義逐步清晰 3 HYPERLINK l _TOC_250022 分布式云與混合云、邊緣計算的區別與聯系 4 HYPERLINK l _TOC_250021 產業界積極布局，分布式云從概念逐步走向落地 5/ 分布式

3、云關鍵技術能力 HYPERLINK l _TOC_250020 分布式云基礎設施推動算力資源無處不在 7 HYPERLINK l _TOC_250019 分布式云服務助力實現彈性敏捷用云需求 10 HYPERLINK l _TOC_250018 全局管理平臺統一分布式云管理和調度 12 HYPERLINK l _TOC_250017 云原生技術推動分布式云應用全面治理和服務無處不在 15 HYPERLINK l _TOC_250016 一體化安全能力保障分布式云服務安全可信 19/ 分布式云典型應用場景 HYPERLINK l _TOC_250015 時延敏感型業務 21 HYPERLINK

4、l _TOC_250014 數據安全合規 22 HYPERLINK l _TOC_250013 利舊本地IDC資產擴展云能力 22 HYPERLINK l _TOC_250012 應用高可用容災 24 HYPERLINK l _TOC_250011 多云應用治理 26分支節點統一管理 27/ 分布式云發展面臨主要挑戰 HYPERLINK l _TOC_250010 分布式云基礎技術仍有待加強 29 HYPERLINK l _TOC_250009 分布式云應用場景仍需進一步擴展 29 HYPERLINK l _TOC_250008 分布式云相關標準仍缺乏 30/ 分布式云發展未來展望 HYPER

5、LINK l _TOC_250007 分布式云技術底座進一步夯實，實現云服務無處不在 32 HYPERLINK l _TOC_250006 分布式云應用場景持續拓展，與行業場景不斷深度融合 32 HYPERLINK l _TOC_250005 分布式云算力調度能力不斷提升，實現算力泛在化發展 32 HYPERLINK l _TOC_250004 分布式云標準進一步完善，引導規范發展 32/ 分布式云典型實踐案例 HYPERLINK l _TOC_250003 騰訊云遨馳分布式云操作系統實踐 34 HYPERLINK l _TOC_250002 樹根互聯近場服務，安全合規，成本更優 35 HYP

6、ERLINK l _TOC_250001 某大型健康集團企業全國機構、醫院統一管理 36 HYPERLINK l _TOC_250000 某工業云基地云邊端一體化管理，盤活區域市場 37我國云計算發展進入惠普期，多方需求推動云計算向分布式部署模式演進國內外多方組織聚焦，分布式云定義逐步清晰分布式云與混合云、邊緣計算的區別與聯系產業界積極布局，分布式云從概念逐步走向落地分布式云概念和0內涵逐步1清晰分布式云概念和內涵逐步清晰1.1我國云計算發展進入普惠期，多方需求推動云計算向分布式部署模式演進過去十年是云計算突飛猛進的十年，全球云計算市場規模保持增長態勢，我國云計算市場從最初的十幾億增長到現在的

7、千億規模，云計算政策環境日趨完善，企業上云進程進一步加快，云計算技術不斷發展成熟，云計算應用從互聯網行業向政務、金融、工業、能源、交通、醫療等傳統行業加速滲透。未來，云計算進入普惠發展期。一是隨著數字經濟的蓬勃發展，云計算將與各行業深度融合，成為企業數字化轉型的平臺底座。二是5G、物聯網規模化部署落地，邊緣云建設需求激增，云邊協同成為重要趨勢。公有云市場規模（億元）私有云市場規模（億元）數據來源：中國信息通信研究院，2021年5月圖1: 我國云計算市場規模邊緣計算需求激增，推動云計算不斷向邊緣延伸部署。邊緣云在盡可能靠近業務和數據源頭的 網絡邊緣側位置部署，相對于中心云，具備時延降低、帶寬節約

8、、數據安全、彈性擴展等特點，隨 著5G、物聯網時代到來，成為未來云計算重要組成部分。根據IDC統計，預計到2025年超過75%的 數據將在邊緣產生和處理，通過將中心云不斷向邊緣延伸，邊緣云將更好地滿足用戶對計算低時延、算力彈性擴展等需求，加快實現AI工業視覺、物聯感知、超高清直播等場景落地，推動行業數字化 轉型。數據安全合規面臨挑戰，云服務安全部署成為趨勢。中華人民共和國數據安全法規定了數據安全監管范圍包括工業、電信、交通、金融、自然資源、衛生健康、教育、科技八大行業，歐盟 GDPR也對數據合規進行嚴格規定。政務、金融等行業用戶對于數據的安全性要求嚴格，核心數據不能離開本地，單一公有云模式無法

9、滿足用戶對于數據安全合規需求。因此，通過將云服務按需部署到用戶指定的物理位置，將重要敏感數據本地化處理和存儲，同時選擇性與中心云進行協同，有效做到在保障數據安全合規的同時滿足業務敏捷性需求。數字化轉型進程加快，區域定制化云服務部署需求增加。在產業數字化轉型中，不同區域不同行業對于云服務使用需求各不相同，通過云平臺公共服務板塊、行業及專區的建設，滿足不同區域不同行業云服務需求。例如工業區域云，針對不同省市、不同行業提供差異化的云服務，通過中心云-區域云-邊緣云實現分層分域建設：中心云具備統籌管理能力；區域云針對行業特點滿足用戶定制化需求；邊緣云實現業務快速部署，滿足裝備制造、食品、化工等行業需求

10、，助力行業數字化轉型。用云模式愈加多元化，全局統一管理成為重要需求。大型政企通常分支機構眾多并且橫跨多地 域，業務形態復雜多樣，每個分支節點通常分散建設公有云、私有云、混合云、邊緣云計算等資源，導致各節點云資源異構嚴重，數據孤島存在，難以實現統一管理。此外，云原生技術不斷發展，構 建于云邊端基礎設施之上的分布式應用可幫助用戶實現業務彈性部署、靈活調度，但跨地域、跨集 群的云原生應用部署和管理仍面臨挑戰，用戶如何能夠對跨地域、異構的云基礎設施資源和分布式 應用統一管理，成為核心訴求。1.2國內外多方組織聚焦，分布式云定義逐步清晰隨著用戶對邊緣計算、安全合規、區域定制、用云模式等方面的需求不斷增加

11、，國內外研究機構、標準組織和企業提出分布式云概念，并開展標準化定義。國外研究機構Gartner對于分布式云的定義：將公有云服務(通常包括必要的硬件和軟件)分布到不同的物理位置（即邊緣），而服務的所有權、運營、治理、更新和發展仍然由原始公有云提供商負責。Gartner認為分布式云解決了用戶讓云計算資源更靠近數據和業務產生的物理位置需求，實現業務低時延、降低數據成本、做到數據本地存儲。但Gartner對于分布式云的定義仍局限于公有云廠商提供，并且缺少統一管理等分布式云核心要素。中國信息通信研究院（以下簡稱“中國信通院”）2019年在ITU-T聯合立項分布式云全局管理框架國際標準，旨在進一步明確分布

12、式云標準定義及關鍵管理要素，凝聚行業共識。在與產業界多方專家研討之后，中國信通院進一步明確分布式云標準定義：分布式云是一種將云服務按需部署到不同地理位置，提供統一管理能力的云計算模式。分布式云落地形態可表現為中心云、區域云和邊緣云。中心云具備對不同地理位置物理和虛擬資源池管理能力；區域云將中心云全部或部分云服務部署在特定區域，以支持用戶業務對云服務定制化需求；邊緣云位于盡可能靠近事物和數據源頭的網絡邊緣側位置，提供可彈性擴展的云服務能力，具有以提供快速響應時間、低延遲和輕量計算等的云服務特點，并能夠支持與中心云或區域云進行協同。分布式云與當前云計算概念主要區別在于：摒棄了公有云、私有云、混合云

13、、多云等分類，首次將地理位置作為考量因素，為用戶提供不同位置的云資源統一管理平面。 云 計 算 邊 緣 計 算 混 合 多 云 分 布 式 云 中 心 中心云公有云A公有云B分布式云全局管理中心云區 域區域云邊 緣邊緣云私有云邊緣云邊緣云 終 端 分布式云全局管理平臺不同類型和規格云服務本地管理平臺云網絡連接圖2: 分布式云定義1.3分布式云與混合云、邊緣計算的區別與聯系分布式云增強混合多云一致性管理能力。混合云是指至少包含公有云、私有云等兩種不同的部署方式的云計算模型，多云是指使用多個云服務提供商的云服務，根據中國混合云用戶調查報告（2021年）數據顯示，企業用戶平均用云數量達4.3個。混合

14、多云模式優勢在于用戶可以自主選擇不同云服務滿足業務的資源擴展、負載遷移、安全合規等特定需求，避免廠商鎖定。但混合多云環境資源異構，不同云之間技術架構、管理工具、服務類別等不一致，用戶面臨云服務使用和管理復雜度增加的問題。分布式云強調將中心云服務按需部署到用戶指定的位置環境（例如用戶本地、第三方資源池等），通過統一管理平面，實現中心、區域、邊緣等地理位置云資源的統一資源管理、統一服務更新以及統一使用方式。分布式云拓展邊緣計算能力，實現云邊一體化。邊緣計算更靠近用戶和數據生產源頭，但資源異構，接口不一致，中心云在邊緣節點統一管理、應用部署等面臨云邊協同挑戰。分布式云通過將中心云服務延伸至云區域邊緣

15、、電信網絡邊緣、數據中心邊緣或業務現場邊緣，通過統一技術架構和管理平面，在資源、數據、服務、應用、安全、管理等方面實現云邊一體，提供更加全局化的彈性算力服務能力。分布式云實現云服務統一托管治理，降低用戶管理運維成本。用戶擴展和維護不同地理位置的云資源池需要耗費大量成本和時間，通過分布式云可以實現快速部署和擴展云服務，服務提供商進行統一管理、運維、更新、治理不同地理位置的云基礎設施和服務的軟硬件版本，降低用戶本地管理運維成本，同時充分借助分布式云服務的創新、穩定、可靠等能力，提升用戶用云體驗和效率。1.4產業界積極布局，分布式云從概念逐步走向落地隨著分布式云的概念提出，產業界紛紛布局分布式云戰略

16、，推出軟硬件和服務等產品組合，推動分布式云技術落地。國外方面，AWS發布Outposts托管服務一體機，內置與公有云一致軟硬件 基礎設施、服務和管理工具，并推出Wavelength、Local Zone等邊緣區域服務；Google發布分布 式云計算軟硬件產品組合，通過Google Distributed Cloud Edge 和 Hosted兩款產品拓展云服務邊 界，并通過Anthos平臺實現統一管理云基礎設施和應用程序。國內方面，云廠商紛紛借助公有云 優勢，推出分布式云戰略和產品，騰訊云在2021年重磅發布分布式云戰略，推出本地專用集群CDC、云原生分布式云中心TDCC等產品，通過“遨馳”分

17、布式云操作系統致力于實現算力、服務、應用 無處不在。分布式云開始探索行業落地場景，加速數字化轉型進程。隨著分布式云技術和產品的發展，各行業開始逐步部署分布式云服務，以滿足多元化業務需求，實現“上云用云”更加彈性敏捷。在數字政府領域，通過部署省級中心云和各級單位區域云的分布式云架構，滿足政務數據安全要求，并實現各地政務云統一管理；在工業制造領域，通過部署分布式云邊緣云節點在生產制造現場，實現 AI工業質檢、預測性維護等，有效提升生產效率；在智慧城市領域，通過部署分布式云邊緣計算節點，實現城市道路、環境等數據實時采集、處理，提升城市智能管理能力；在智慧交通領域，通過分布式云實現交通人、車、路等海量

18、交通數據處理和匯聚，借助云邊協同，優化交通控制決策系統，提升出行效率；在智慧醫療領域，通過分布式云+5G解決方案，實現遠程醫療實時診斷，推進普惠醫療發展；在數字文娛領域，通過中心云-邊緣云的分布式云架構，實現音視頻就近實時處理和邊緣渲染，有效降低時延和節約帶寬成本，提升用戶體驗。分布式云基礎設施推動算力資源無處不在分布式云服務助力實現彈性敏捷用云需求全局管理平臺統一分布式云管理和調度云原生技術推動分布式云應用全面治理和服務無處不在一體化安全能力保障分布式云服務安全可信06分布式云關鍵技0術能力2分布式云關鍵技術能力2.1分布式云基礎設施推動算力資源無處不在云邊緣（熱點城市）云中心（一線城市）客

19、戶IDC、托管IDC生產現場、極端邊緣分布式云的重要目標是幫助用戶實現就近按需的基礎設施和云服務部署，覆蓋范圍從中心（例如大型城市、大型數據中心等）、區域（區域數據中心、特定業務位置），到邊緣（網絡邊緣、企業數據中心邊緣、業務現場邊緣等）。圖3: 分布式云基礎設施部署分布式云基礎設施特點包括：全域覆蓋：具備從中心、區域，到邊緣，從服務商IDC、用戶本地IDC，再到生產現場的全域基礎設施覆蓋能力。且技術架構的一致性能最大限度減少用戶在管理和使用上的復雜性。彈性擴展：具備輕量化的云基礎設施部署能力，用戶按需實現軟硬件服務的升級能力；同時具備彈性擴展能力，實現網絡、系統軟件、虛擬化等服務的彈性敏捷擴

20、展。環境適應性：能基于不同環境以不同規格的資源池進行部署，支持中大型數據中心、用戶本地機房、業務現場等不同環境部署能力。在極端環境下，可通過自帶制冷、UPS等設備進行邊緣部署。持中大型數據中心、用戶本地機房、業務現場等不同環境部署能力。在極端環境下，可通過自帶制冷、UPS等設備進行邊緣部署。獨立自治性：分布式云區域或邊緣資源池部署的云服務具備自治能力，在網絡連接不穩定、斷開狀態下，能獨立提供服務，保障服務的穩定性，保障業務連續性。從地理空間上劃分，分布式云支持從中心、區域，到邊緣三個層次提供云基礎設施，覆蓋云邊端全場景。中心中心區域既可以是內蒙、貴州等集中式大型數據中心、一線城市等資源密集區域

21、，也可以是政企核心數據中心，通常基礎設施資源豐富，能夠支持部署相對完整的云服務。同時，分布式云管理平臺通常部署在中心區域，提供對區域、邊緣基礎設施的全局化管理能力。區域區域基礎設施概念包含多類目標覆蓋場景，可以是非一線城市數據中心、政企用戶區域數據中心等，從規模、服務能力上與中心云相似，但服務場景有所區別。區域數據中心：對于大帶寬、大流量、延遲敏感型業務，跨地域訪問會帶來體驗降低和成本提升的問題，對于特定行業，例如工業等，需要部署行業服務在指定位置。分布式云需要具備在靠近用戶的位置部署區域資源池，幫助用戶部署低時延計算、行業定制化、成本可控的云服務。客戶/托管數據中心：在存量IT市場中，政企客

22、戶自有IDC、第三方托管IDC中承載了大量的IT應用服務，這也是分布式云在“區域”層的重要覆蓋場景，除了由分布式云廠商提供的區域 IDC基礎設施，還需要具備基于企業IDC、托管IDC進行部署的能力，在客戶指定的區域數據中心提供服務。邊緣邊緣更靠近用戶和數據生產源頭，例如電信網絡邊緣、用戶本地、生產現場和遠近端邊緣等。電信網絡邊緣：例如超低時延直播、云游戲等業務，需要將分布式云基礎設施進一步下沉部署在網絡邊緣側，以實現就近接入、實時處理需求。用戶本地邊緣：相比于用戶區域數據中心，本地邊緣數據中心位置更靠近政企用戶，實現數據本地化處理和存儲。生產現場：以工廠、醫院、能源設施為代表，隨著數字化升級需

23、要，依賴AI、IoT、大數據等新興技術來提升生產和管理效率，分布式云應支持在生產現場部署，提供低時延、易管理的近場云服務。極端邊緣：在交通、氣象、農業、水利等領域，因地理位置遠離城市，且分布廣泛，人工管理困難，難以保障業務的穩定性，只能部署較簡單的服務，通過降低復雜度來保障穩定性。借助分布式云可以實現廣域、高效遠程管理，提高在極端邊緣區域的數字化服務能力。2.2分布式云服務助力實現彈性敏捷用云需求相對于集中式云服務，分布式云服務更強調服務能力的一致性和統一性，在不同的地理位置可以提供相同規格的服務產品和管理使用方式。常見的服務能力如下：容器服務容器實例本地托管K8S服務本地容器倉庫消息隊列Ra

24、bbitMQKafkaPulsar中間件微服務器引擎API網關云函數安全主機安全應用防火墻DDoS防護大數據EMRElasticSearchClickHouse基礎IAAS服務計算存儲網絡云服務器云硬盤VPC/子網安全組裸金屬鏡像/快照本地網關本地負載服務器 （云端）均衡/EIP基礎PAAS服務數據庫存儲MySQLPostgreSQLServer對象存儲SQLRedisMongoDB文件儲存基礎設施（機柜、服務器、網絡設備）X86裸金屬SATA交換機一體化機柜計算存儲網絡智能服務器服務器設備機柜GPUARMSSD網關服務器動環系統數據中心（機房IDC、核心網絡、公網出口）其他可用云端服務Web

25、控制臺云API/SDK計費/計量集群容量查看平臺管理賬號/子賬號訪問管理云審計服務審計鑒權云監控/告警資源編排日志服務數據遷移服務運維管理 NTPDNS軟件源公共服務圖4: 分布式云服務類別分布式云無處不在的云服務，具備以下特點：一致服務能力：分布式云在不同地理位置的資源池可以提供的云服務能力是一致的，既包含云服務種類的規格一致，也包含云服務管理和使用方式的一致。平滑彈性擴縮：分布式云在某個節點所提供的服務，可根據用戶需求隨時擴展和減少，無需預先設置。能力復用：基于分布式云在中心、區域、邊緣的統一管控能力，在區域和邊緣側，可以直接調用中心的部分平臺級能力。基礎設施服務分布式云基礎設施服務主要包

26、含計算、存儲、網絡服務能力，由于區域、邊緣受限于資源、環境、成本等因素，區域云、邊緣云基礎設施服務不能與中心云服務規格完全一致，基本的基礎設施服務應包括：計算：支持計算虛擬化，以云服務器等形式提供彈性敏捷的基礎計算服務，支持提供 CPU、GPU、裸金屬、FPGA等異構計算類型。存儲：支持塊存儲、文件存儲、對象存儲等存儲服務，可提供不同性能的存儲等級服務。網絡：支持網絡虛擬化，提供VPC/子網、安全組、負載均衡、彈性IP等服務能力，滿足分布式云節點間互聯和本地網絡互通的功能：節點間互聯：支持三層基礎設施之間跨層、同層互相通信。本地網絡互通：對于部署在區域、邊緣的分布式云服務，需要具備與本地網絡、

27、終端設備互通的能力。PaaS服務PaaS服務包含數據庫、中間件、云原生等云服務能力，分布式云可以在不同地理位置的云資源池提供對應能力，常見的服務如下：數據庫：MySQL、PostgreSQL、Redis、MongoDB等；中間件：消息隊列、微服務、API網關等；云原生：容器實例、容器倉庫，托管K8s服務等。平臺服務分布式云除了將云服務下沉到區域、邊緣等不同地理位置，基于分布式云統一的網絡和管理一致性，區域、邊緣可以復用云端的部分平臺側服務能力，常見服務如下：平臺管理：用來管理的手段，例如可視化控制臺、API/SDK；審計/鑒權：用來管理登錄權限、資源管理權限以及對應審計機制，例如賬號、訪問管理

28、、云審計服務；運維管理：監控、告警、日志服務、數據遷移/備份等服務；公共服務：云平臺默認提供提升用戶體驗的服務，例如NTP、DNS、軟件源。2.3全局管理平臺統一分布式云管理和調度分布式云提供對中心、區域、邊緣全局統一管理能力，打破了地理位置、資源異構帶來的云服務規格差異、使用差異以及管理差異，實現了分布式云在資源、數據、服務、應用、運維、安全、調度等方面統一視角管理，同時融合分布式調度能力，提升資源利用率。統一資源管理在硬件方面，分布式云服務提供商在不同節點采用統一的物理資源類型和架構，包括但不限于服務器、交換機、硬件平臺架構、操作系統，全局管理平臺實現基礎硬件資源的統一管理。在資源服務方面

29、，全局管理平臺通過統一管理方式（控制臺、API等）對中心、區域、邊緣的計算、存儲、網絡等云資源進行管理，降低用戶使用復雜度。統一數據管理分布式云資源池跨中心、區域、邊緣地理位置，數據的統一管理成為重要能力。全局管理平臺 通過數據存儲、遷移、同步等方式，保障分布式云節點數據一致性，提升治理能力。相關技術例如：平臺支持統一的鏡像方案，在任意分布式云節點創建的鏡像可直接在其他節點使用；對象存儲、文件存儲等服務支持在不同節點間拷貝；數據庫相關服務無需再自研或者使用第三方同步工具，基于平臺的同步工具即可實現跨地域備份、同步。統一應用管理分布式云全局管理平臺能夠對不同地理位置（中心、區域、邊緣等）和不同網

30、絡條件（例如用戶本地機房、第三方云服務商、無公網IP集群等）的應用進行統一管理，整合應用鏡像、流量、存儲等資源，覆蓋應用的開發、部署、管理、調度、容災、運維等全生命周期，實現以應用為中心的全局視角統一管理和運維，輕松將應用服務發布至分布式云節點。統一服務管理分布式云的中心、區域、邊緣云節點可以通過統一的API、SDK、云控制臺等管理云服務，相比混合多云服務管理方式，分布式云服務管理復雜度大幅降低，如使用統一控制面進行服務的部署、更新等，提升用云效率。統一運維管理通過分布式云全局管理平臺，實現不同節點采用相同的運維體系進行管理，中心、區域、邊緣提供一致的運營、監控、可靠性SLA等服務。當前混合多

31、云場景用戶運維復雜，需要部署多套運維方案，系統之間無法互聯互通。分布式云實現統一的運維方案，減少運維管理人員工作量，提升運維效率，大幅降低系統故障，縮短故障時間。統一安全管理分布式云節點部署在不同位置，邊緣云節點通常面臨網絡復雜、資源受限等挑戰，安全防護能力較弱。分布式云統一安全管理，一方面通過物理基礎設施、網絡安全、數據面控制面隔離等實現平臺側安全，另一方面通過主機安全、訪問控制、防火墻、態勢感知等實現安全服務，保障分布式云一體化安全。技術方式例如：統一安全能力：分布式云對不同位置提供了統一的安全防御能力，支持從設備安全、網絡安全、應用安全等全方位的安全保障；統一安全運營中心：基于分布式云的

32、網絡互聯互通，所有安全信息均可以在統一的安全運營中心展示和觸發告警。統一資源調度分布式云全局管理平臺能夠實現對中心、區域、邊緣算力的統一調度。技術體現在：基于位置調度：對時延和帶寬敏感的業務，比如內容緩存服務、音視頻、Web服務等，全局管理平臺可以通過將用戶請求調度至位置最優節點，實現就近接入，提升終端用戶體驗。基于算力需求調度：對AI、大數據、渲染等大計算量的業務，全局管理平臺可以智能化將負載分配到不同區域資源池，根據節點資源存量、使用效率等因素，全局化利用分布式彈性算力資源。基于工作負載調度：通過虛擬機和容器技術，兼容多維異構的場景，為分布式云業務負載提 供統一的調度平臺，包括地理位置、時

33、延、帶寬成本、服務SLA、加速硬件偏好等具體配置項。2.4云原生技術推動分布式云應用全面治理和服務無處不在K8s集群云原生分布式云應用K8s集群用戶K8s集群存儲資源網絡資源計算資源存儲資源網絡資源計算資源存儲資源網絡資源計算資源統一集群環境開放云原生生態云原生以應用為中心，向下屏蔽異構分布式的基礎設施，提供統一應用運行環境，最大化提升用云成效。在分布式云基礎設施之上，云原生向上推動分布式云應用全面治理和服務無處不在，二者能夠相輔相成相互結合。應用分發管理全局彈性調度流量服務治理數據配置管理應用安全合規圖5: 云原生分布式云應用模型在分布式云環境下，結合云原生生態體系，在應用的部署、發布與管理

34、上可以做到以下幾個方面:統一集群管理Kubernetes（以下簡稱“K8s”）正成為未來云環境的標準，支持不同領域下的各種部署方案，并且提供了集群、節點、容器等概覽和控制平面來管理。K8s可以與底層異構基礎設施一起工作， 靈活敏捷地接入和管理企業的各種計算資源，利用以云原生標準交付容器化應用和云服務，通過統 一的K8s接口和標準，簡化跨不同環境的資源和工作負載的管理。結合云原生，分布式云平臺能夠支持多種方式靈活地部署與管理各種類型的K8s集群，具備統一集群管理的能力。混合部署模式：通過將單集群混合部署在不同位置或環境下，例如：支持通過跨云納管IDC節點，IDC集群彈性擴容公有云功能，滿足用戶資

35、源利舊、公有云能力無縫接入、快速擴容公有云、降低運維管理成本等需求。為保證集群上業務間的通信，此種模式一般要求底層網絡平臺打通，實現業務應用的彈性和遷移。混合自治模式：多個集群分別獨立部署在云上云下的不同位置，公有云集群和私有云集群基于標準技術棧統一管理，各個集群在不同位置和環境下能夠獨立自治地提供一致的集群環境。邊緣自治模式：云端納管用戶多地域的邊緣節點和邊緣設備，支持包括云端統一運維、邊緣節點監測、邊緣節點自治、異構邊緣資源適配、邊緣容器和應用管理等能力。分布式云模式：通過納管或注冊集群的方式，將本地數據中心Kubernetes集群或其他云廠商 Kubernetes集群接入統一容器服務管理

36、平臺，實現統一管理，統一運維。利用 K8s 和容器技術，實現分布式云環境統一的云原生技術和生態標準，可以讓用戶像在本地運行一樣管理/訪問分布式云的資源。通過標準的接口集中管理和維護多云上的集群，由云服務商統一提供平臺的運營、治理、更新和演進，最大化地減少用戶投入，提高云服務質量。應用分發管理區別于中心云應用分發，分布式云環境下應用分發管理通常跨地域、跨網絡環境，能夠根據用戶的需求，如地理位置、業務規劃、基礎設施規模、安全合規等，選擇或限制所要發布或部署的目的地。分布式云應用管理通過配置分發策略，例如為應用關聯分發策略、差異化策略等，將容器應用發布到不同地理位置的不同集群，實現包括地理位置親和性

37、反親和性、灰度更新、熱升級、變更回滾、批量發布等多種發布能力。同時，處理不同位置上的差異化，靈活的差異化策略尤為重要，通過差異化策略實現為指定的集群或集群組定義獨立服務和應用配置，通過例如優先級和Apply策略，靈活地控制發布的范圍和版本。應用全局彈性調度利用K8s的負載均衡和彈性伸縮能力，分布式云應用平臺可以實現跨地理位置、跨網絡條件的彈性敏捷云原生應用服務。利用分布式云應用跨地域、跨集群的統一應用管理和調度，用戶能夠根據需求配置手動或自動化跨地域、跨集群彈性伸縮策略，實現應用在不同地理位置和網絡條件間自動負載均衡和擴縮容。通過配置應用調度策略，根據資源池規模、健康狀態等因素，實現應用按需調

38、度、擴縮容量、遷移等，更好地適應分布式云的場景。流量服務治理在分布式云不同地理位置和網絡條件下，應用平臺能夠根據用戶需要，如地理位置、網絡質量、時延、資源使用情況等，實現網絡互聯互通、服務發現、負載均衡、流量統一管控等，提供低時延 高質量的服務，保障服務高可用。數據配置管理有效地管理在不同地理位置或環境上的配置和數據，加速應用的分發和調度，實現應用在不同地理位置和網絡條件間大規模分發管理，就近拉取和快速啟動，保障業務的快速部署更新，準確地提供服務。應用安全能力保證應用在不同地理位置或環境上部署、更新和運行時，全程安全可靠地提供服務。應用接入分布式云平臺的統一用戶身份管理、權限控制、集群審計等安

39、全認證系統。支持對所管理的集群進行統一的安全管理，包括容器集群安全掃描、鏡像安全掃描、容器平臺安全合規、統一安全策略。分布式云應用天然運行在跨地域、跨網絡條件的場景，應用平臺應保證全鏈路安全，對調用鏈路上的請求信息和響應信息進行加密，使通信鏈路具備認證、報文加密能力。對邊緣端的集群或節點，通過配置動態安全防護策略，例如攔截異常請求、準入控制等，實現云邊統一的安全防護能力。云原生生態一致性基于目前龐大的云原生生態，包含微服務、DevOps CI/CD、AI大數據等云原生軟件，極大地豐富了分布式云的應用服務能力，將使用戶能夠輕松地對邊緣應用程序進行管理。用戶現有的各種系統，只要符合云原生標準的應用

40、服務，兼容 Kubernetes 的標準 API、Helm Chart 以及自定義的 CRD，都可以實現以最小成本擴展至分布式云多集群，便捷地將現有系統進行改造，加速產品迭代和業務擴展。2.5一體化安全能力保障分布式云服務安全可信區別于集中式云資源安全能力，分布式云面臨不同位置的云資源池資源不一、網絡環境復雜等，區域或邊緣云節點安全防護能力通常受限，如何在云邊一體化分布式架構下實現立體安全保障，成為關鍵要素。分布式云基礎設施安全分布式云基礎設施主要分為平臺側安全和安全服務。在平臺側安全方面，服務提供商對不同地 理位置資源池（中心、區域、邊緣）的物理硬件基礎設施安全、多租戶資源隔離、通信安全、數

41、據 安全、數據面和控制面隔離、平臺網絡安全、統一內部安全管理等方面進行保障。在安全服務方面，通過在不同地理位置資源池（中心、區域、邊緣）部署安全服務，例如主機安全、云防火墻、網絡 訪問控制、入侵檢測等，實現用戶按需部署，增強安全能力。分布式云應用平臺安全分布式云應用將會運行在中心、區域、邊緣云等異構環境上，在應用的生命周期中，會遇到各種風險。包括：分布式運行環境安全風險。例如，操作系統組件存在漏洞，配置不當導致暴露不必要的端口，用戶訪問權限不當，共享操作系統內核等風險。鏡像安全風險。例如，鏡像存在漏洞、惡意軟件、明文密鑰、鏡像配置不當或使用非信任鏡像等風險。容器安全風險。例如，容器內應用存在漏

42、洞、被植入木馬病毒，容器資源配置不當等風險。針對分布式云應用面臨的安全風險，應提供在分布式云不同地理位置的統一容器資產管理、鏡像安全及運行時入侵檢測等安全服務，保障容器從鏡像生成、存儲到運行時的全生命周期安全，幫助企業構建統一應用安全防護體系。分布式云統一安全監控構建分布式云統一云安全運營平臺，支持在中心、區域、邊緣等位置提供互聯網攻擊面測繪、云安全配置風險檢查、流量入侵檢測、泄露監測、日志審計等基礎安全能力，結合統一安全態勢感知，為用戶提供威脅告警集中分析、自動事件調查、威脅集中處置、自動化編排與響應，提升威脅檢出率和威脅響應效率。時延敏感型業務數據安全合規利舊本地IDC資產擴展云能力應用高

43、可用容災多云應用治理分支節點統一管理20分布式云典型應0用場景3分布式云典型應用場景3.1時延敏感型業務借助分布式云“無處不在的基礎設施”優勢，可以將云服務延展到本地IDC、生產現場和邊緣區域等下沉場景，降低訪問時延和網絡帶寬傳輸壓力。云游戲高清直播AIoT盒子AR/VR車聯網工業邊緣計算節點邊緣網關攝像頭生活核心接入邊緣計算MEC終端端邊緣計算云邊緣計算云中心中心云人/物終端人/物終端人/物終端 2ms邊緣端節點 10ms 30ms邊緣節點客戶IDC云中心機房圖6: 低時延業務應用模型分布式云解決了集中式云計算無法滿足時延敏感型業務的缺陷。常見的時延敏感型業務如下：面向終端消費：以直播、會議

44、為代表的音視頻，以及云游戲、AR等業務，時延對終端用戶體驗有較大的影響。通過分布式云來部署業務，可以將業務放置到離終端用戶更近的物理位置，從而降低時延，提升體驗。面向生產現場：在智能制造、自動駕駛等領域，需要實時對生產數據進行監控、計算，并實時反饋到生產控制系統，分布式云提供的就近部署能力，除了實現與生產系統微秒級時延互訪，也減少了數據在復雜網絡傳輸帶來的不確定性。3.2數據安全合規分布式云通過將云服務按需部署在用戶指定安全區域，能夠解決集中式云計算的數據合規和政策合規問題。政企用戶敏感數據資產，通常需要采用特殊的保護策略，比如固定的部署位置、專屬的部署資源，以及嚴格的訪問管理策略。對此，傳統

45、中心公有云難以完全實現，成為企業上云的重要阻礙因素之一。除此以外，從事高科技或接觸敏感信息行業，從國家、行業層面往往也會有相應的數據安全合規規定，比如健康碼會要求數據不出省，某些國家、地區會要求金融數據本國、本區域駐留。通過部署分布式云服務，滿足數據不出園的訴求，同時基于分布式云可以實現專屬化的部署，保證數據從存儲到處理均在合規流程范圍之內。3.3利舊本地IDC資產擴展云能力企業在上云過程中由于數據安全隱私、資源利舊、業務容災等原因，在上云時通常無法放棄自建數據中心或本地資源，往往會采用混合云的架構。但混合云架構帶來的額外管理運維成本，以及云上云下資源不能協同等瓶頸限制了業務的進一步擴展。通過

46、以Docker、Kubernetes為代表的云原生技術，使用分布式云方式利用跨云混合部署集群的方式，支持用戶在自有的本地基礎設施運行與中心云上集群一致的Kubernetes容器服務，包括虛擬機和物理機。中心云上托管的K8s集群的控制平面，集群的創建、升級、監控等生命周期管理由分布式云云廠商統一管理，用戶只需要提供硬件和機房即可。云上VPC公有云集群納管IDC節點用戶IDCMaster節點IDICD節C節點點IDC節點公有公云有節云點節點公有云節點IDCI節DC點節點IDC節點公有云節點IDC節點popdodpodpodpopdodpodpod網絡agentVPC插件彈性公有云Pod網絡agen

47、tBGP插件VPC轉發BGP轉發云數據中心用戶IDC跨云混合部署集群專線互通圖7: 跨云混合部署集群單個集群中的節點支持分布在多個地理位置上，集群中承載的應用服務支持高可用，允許服務在個別地域的硬件或軟件故障后，能夠自動遷移至其他位置上繼續運行。集群的管理和控制由etcd數據庫維護，etcd數據庫控制節點上通過raft協議同步鍵值存儲的信息，保證集群上應用服務的彈性。同時通過本地IDC集群彈性擴容公有云能力，在業務突發流量、離線計算等場景，能夠顯著地降低運維管理成本。一個K8s集群同時管理固定資源（IDC節點）和彈性資源（公有云Pod），完全兼容K8s語法和內部訪問機制（Pod和Service

48、訪問），極致彈性快速擴容Pod，支持豐富的擴縮容策略，例如優先在IDC/云上擴縮容，本地保留N個副本等等。這種混合部署集群的方式能夠快速實現多云多地域的分布式云服務，具備以下優勢：資源利舊：充分利用IDC資源，在上云的過程中可以對已有的資源進行成本攤銷；降低運維成本：免去在本地搭建、運維K8s集群的成本，由云廠商統一運維管控，減少運維投入成本；云能力按需接入：不僅要支撐應用本身運行，還要便捷地與網絡、數據庫、中間件等云服務連接，實現按需擴展；彈性敏捷：支持使用云上資源對IDC的資源進行快速擴容，賦予IDC資源彈性拓展的能力，有效應對流量突發的場景。3.4應用高可用容災在企業實踐云原生的過程中，

49、尤其在保障關鍵業務可靠性的方面，利用云原生分布式云的技術，能夠更加有效地應對高可用容災的場景。Kubernetes體系結構支持集群范圍中的應用程序正常高可用的運行，但不支持對分布式云跨地理位置的大規模災難恢復。在這種情況下，需要構建多集群的方式，應用服務通過在集群間備份恢復或多活部署的方式，實現更大范圍的業務高可用性。多集群災備單個kubernetes集群無法避免大規模災難性故障的影響，因此需要將關鍵應用分散部署到分布式云多個地域的集群上。如果其中一個集群或集群所在的基礎設施發生故障或不可訪問，管理員可以維護備用集群，通過備份恢復方式以接管主集群的所有應用程序。通過將集群和應用備份恢復到運行在

50、不同區域的另一個集群上，實現業務跨地域遷移切換，保證在單個地域發生驗證故障時，管理員能夠在備用集群上，完整地啟動和運行應用，保證服務的可靠性。目前集群和應用的備份恢復可以通過創建etcd鍵值存儲的備份，實現對Kubernetes的所有配置數據的備份。例如開源社區的Velero等項目，為備份多種類型的Kubernetes資源提供了一種精簡的解決方案，實現集群從一個地區或數據中心遷移到另一個地區或數據中心。多集群多活容災該種方式涉及操作多個集群上的應用、服務和數據，通過統一的容災管理機制，在分布式云跨集群之間實現服務同步、負載均衡、應用配置、數據服務等，實現跨云多活容災，并提高資源利用率，節約成本

51、。DNSLBLBSGP-01 ClusterAcessLayerSGP-02 ClusterAcessLayerapp-ingressapp-ingressapp-serviceapi-gatewayapp-serviceapi-gatewayAppLayerapp-fronthttpAppLayerapi-gatewayapp-fronthttpapi-gatewayuser-servicedubbofavorites-serviceuser-servicedubbofavorites-servicestore-serviceuser-servicestore-serviceuser-ser

52、viceDataService LayerMySQLRedisNacos圖8: 多集群容災架構將應用分發到多個集群最直接的方法，是將應用服務分散部署在多個集群上，每個集群上獨立閉環特定的服務，同時保持每個服務的可用性。例如，一個典型微服務應用程序會跨兩個獨立的集群部署，對其前端服務通過接入層進行負載平衡，接入層的均衡器將流量分布到集群內的對應服務上，前端應用在集群內調用各個后端服務來承載業務的訪問，通過使用數據庫記錄數據，通過數據庫的DTS、DBS同步能力，實現跨集群、跨地域的數據同步。proxyeAproxyrvic3.5多云應用治理隨著企業數字化能力的逐步提升和上云進程的深入，越來越多的企

53、業選擇多云戰略，同時采購和使用多個廠商的云服務或自建云中心的方式，滿足企業不同業務的需求，平衡多家供應商影響，避免廠商鎖定，提高企業平臺自身的獨立性和穩定性。但大部分企業受限于技術和成本等因素，在推進多云過程中仍面臨管理復雜、成本較高等挑戰。proxyproxyeAproxyrvicproxy云原生與分布式云融合，幫助企業更好地實現多云的應用治理。分布式云應用治理能夠統一發布和管理跨云環境的應用服務，實現跨云多活、故障遷移、災備等。同時，多集群間應用能夠彈性伸縮，按地域、狀態、資源等維度進行調度，實現快速地在多個集群上部署和管理應用，提高業務彈性敏捷。Retry timeout connect

54、ionOutlier Detection Rate limitService BproxyKubernetes1proxyproxyCross Region Failover Locality aware Load balancingService BKubernetesKubernetes2proxyResolution FailoverRegion ACross Region Failover Locality aware Load balancingService BproxyKubernetesKubernetes1proxyproxySeService AproxyService A

55、proxySeService Aproxy proxyRegion B圖9: 多集群應用服務架構在實踐多集群應用服務過程中，利用多集群Mesh Istio技術，實現跨集群邊界的Pod-to-Pod連接，運行在不同集群上的服務之間的通信通過Mesh來管理，通過應用服務間流量的統一調度和管理，實現應用級別的細粒度控制。例如，微服務A調用微服務B，通過監控或探針感知到本集群內微服務B應用程序異常的情況下，通過Mesh的流量策略，可以自動將向本集群內微服務B的調用流量，通過降級、熔斷、分流和轉移等方式，將請求流量轉移至其他集群上的微服務B，從而避免切換整個集群上應用服務，最小化故障影響范圍。分支節點統

56、一管理基于分布式云統一管理的優勢，在分支機構管理場景，分布式云相對于集中式中心云、傳統IT有較大優勢。常見的分支機構管理場景如下：集團型企業：大型組織通常在全國乃至世界范圍內會存在多個分支機構，每個機構會有自身 IT訴求，同時又需要集團層面，大型集團企業、政府內按國/省/市/地劃分的部門均可以通過分布式云來統一管理IT架構。分散部署型業務：部分業務天然具有分散部署特征， 比如智慧高速、智慧水利、智慧地產，運營方需要部署和管理從數十到數千的分散業務節點。云廠商應用/算法/數據開發商 CDN 5G 大數據 IOT AI公有云AI/大數據算力彈性遷移互聯網/專網/vpnSaaS服務推送運營商應用/算

57、法/數據服務商安全隧道穿透5G MEC大數據 IOT HUB AI 推理 區域數據中心海量終端接入購買應用/算法/數據服務加密脫敏互聯網/專網/vpn/私有網絡部署和運營已購服務企業客戶現場終端邊緣資源管理集群服務遠程接入調試邊緣基礎設施（服務器、一體機、虛擬化）（邊緣網關、智能盒子）（鯤鵬、海光、飛騰）（Intel、AMD、NVIDIA、寒武紀）邊緣基礎設施（服務器、存儲、網絡、虛擬化） 行業應用市場 行業算法市場 行業數據市場 無邊界混合云云服務公有云算力混合云彈性擴展全局運維管理全局資源編排調度統一應用開發數據市場算法市場應用市場低代碼開發平臺AI開發平臺IOT開發平臺邊緣運維管理傳統的

58、解決方案不具備統一管理、分布式部署等能力，機構、企業的分支機構往往各自獨立建設資源，導致資源異構、管控困難、數據孤島等問題。隨著分布式云的建設，將有效解決這一問題，大型政企單位可以通過分布式云對不同分支節點的云資源進行統一管理。容器服務邊緣自治云邊隧道5G CPE大數據生產IOT接入服務AI算力圖10: 云邊端一體化管控以某大型企業為例，通過自上而下的分布式云戰略統一集團的IT資產、軟件服務、中心組織、生產制造系統以及企業管理系統等，實現企業內的數字化資產、業務、人力資源的統一管理。通過整合優化，降低異構或重復建設帶來的額外成本，打通企業內的數字化壁壘，有效提高全組織的運行效率。分布式云基礎技

59、術仍有待加強分布式云應用場景仍需進一步擴展分布式云相關標準仍缺乏28分布式云發展面0臨主要挑4戰分布式云發展面臨主要挑戰4.1分布式云基礎技術仍有待加強分布式云通過在不同地理位置部署云服務，提供統一使用和管理能力，降低用戶用云復雜度，有效滿足混合多云和邊緣計算需求。但圍繞分布式云技術仍處于開發的早期階段，相關技術仍需要探索實踐。在基礎設施方面。區域、邊緣云服務部署能力需要提高，相關穩定性與性能需要進一步測試驗證。在應用平臺方面。Kubernetes的多集群統一管理仍不成熟，分布式應用管理仍需要探索原生增強方式。在云邊端協同方面。如何有效實現中心云、邊緣云資源統一調度，達到最優體驗，目前缺少合理

60、調度模型。在網絡方面。邊緣網絡環境復雜，如何實現云網邊一體化仍有待論證。在安全方面。區域、邊緣云的引入拓展安全邊界，一體化安全能力尚需補足。4.2分布式云應用場景仍需進一步擴展目前，分布式云落地場景仍然有限，在工業、互聯網等部分場景得到應用，在更多行業的廣泛場景應用仍需要不斷探索。同時，如何與用戶現有IT基礎設施和業務進一步融合，仍然需要有效方案。此外，產業和市場對分布式云的價值和定位仍不清晰，對新的分布式云技術和產品持謹慎的態度，如何驗證分布式云價值也需要相關舉措。4.3分布式云相關標準仍缺乏目前中國信通院已牽頭編制分布式云服務能力要求第1部分：基礎設施、分布式云服務能力要求第2部分：容器平