——工業互聯網邊緣計算——模塊6場站邊緣解決方案目錄CONTENTS項目需求分析任務6.1邊緣計算解決方案總體設計任務6.2項目場景功能部署任務6.3項目方案價值分析任務6.4項目詳細設計任務6.5章節簡介

本模塊將通過分析新華三技術有限公司提供的場站邊緣解決方案來完整的梳理“云邊端一體協同”解決方案，方案從需求分析、方案總體設計、場景功能部署、方案價值分析，最后到項目的詳細設計，圖文并茂，完整展現了云計算和邊緣計算一體化項目整體設計、解決和實施方案，同時，也是對前面課程內容做了很好的總結和提升。學習目標1．知識目標（1）掌握邊緣計算整體設計流程；（2）掌握云計算和邊緣計算在不同場景下的不同設計方法；（3）理解邊緣資源池和邊緣節點不同的設計、規劃和實施；（4）重點掌握邊緣平臺云邊統一管理能力。2．技能目標（1）具備理解企業項目背景，合理進行項目需求分析的能力；（2）具備理解和設計項目總體架構設計的能力；（3）具體合理設計、實現場景功能部署的能力；（4）具備理解和分析項目詳細設計的能力。3．素質目標（1）具有良好的科技文獻信息檢索和技術文檔閱讀的能力；（2）具有整合和綜合運用知識分析問題和解決問題的能力；（3）具有較強的集體意識和團隊合作的能力；（4）具有觸類旁通、舉一反三的能力。學習導圖任務6.1項目需求分析

邊緣計算的產生是由于“低時延”的需求，云、邊技術的相互協調、相互補充，使得云和邊成為了不可分割的有機整體，“云邊端一體的協同”是現今已經達成共識的技術方案。

按照應用業務對時延的不同需求，選擇不同的業務數據處理平臺。時延在1～5ms之間，通常稱為“現場邊緣”，是時延要求比較苛刻的業務。對于時延要求在5～20ms的業務，通常稱為“近場邊緣”，以視頻服務為主。對于時延要求不高，在20～100ms的應用，通常部署在云數據中心。

針對不同場景的邊緣側，根據實際計算規模的大小，可以分為輕量化的邊緣云（LightEdge）和邊緣資源池/邊緣超融合。場站邊緣解決方案是典型的邊緣資源池與邊緣超融合場景方案。本模塊針對高效數字化、智能化管理手段來進行分析，公交場站最重要的一個核心功能是車輛的管理，是車路協同智能交通系統的重要組成部分，全方位實施車車、車路動態實時信息交互，并在全時空動態交通信息采集與融合的基礎上開展車輛主動安全控制和收發車協同，充分實現車輛協同管理，提高車輛運行效率，從而形成的安全、高效和環保的車輛管控系統。

作為智能交通管理系統的一部分，車管協同對于實時性的要求是非常高的，而邊緣計算則可以滿足這個要求。因為邊緣計算服務器可以發揮近距離部署的優勢，及時獲取路況信息，如果是緊急事件，就直接下發給車/路設備，提醒各方及時處理。只有遇到可能影響全局的數據，才上報到云端，由云計算中心處理。任務6.2邊緣計算解決方案總體設計

該項目解決方案總體架構分為云、邊兩級架構，云端以云管理平臺為核心，通過邊緣計算平臺、基礎云服務、邊緣計算服務、IaaS服務、PaaS服務、DevOps服務、大數據服務等能力的集成和協同調度，使中心云具備完整的云管理能力和云邊協同能力。

邊緣端以邊緣資源池和邊緣節點為核心，通過云邊協同組件與云端完成云邊協同。方案設計通過資源池和節點覆蓋現場邊緣和LightEdge，通過云場景覆蓋近場邊緣和HeavyEdge，重點覆蓋安防、交通、電力能源和園區重點行業。

邊緣資源池主要具備的能力是：中心統一云管、虛擬機、容器、裸金屬、本地網絡出口、本地安全設備納管、K8S工作節點托管、K8S托管集群、云邊VPC、本地自治、公有云服務。

邊緣節點主要具備的能力是：節點設備管理和運維、容器應用云上部署、函數serverless服務、邊緣托管kublet節點、終端設備管理、終端數據采集和清洗、本地自治、云邊應用高可靠、公有云服務。如圖6-4所示，邊緣資源池、邊緣節點以及云中心主要具備的能力。

邊緣資源池需具備網絡自動化、統一管理、邊緣出口、網絡安全、KaaS、裸金屬、虛擬機、超融合管理功能。邊緣節點需具備容器管理、函數計算、規則引擎、智能策略、節點管理、物模型、云邊網絡、設備影子等功能，云邊端總體系統功能設計方案如圖。任務6.3項目場景功能部署方案聚焦于兩個主要場景：一個是邊緣資源拉遠場景，另一個是邊緣節點場景。

在邊緣節點場景下，單點部署，快速開局；安全可靠，離線可用；提供輕量化容器計算能力，提供函數計算能力；兼容一體機、服務器、融合網關及三方設備、云邊應用協同，中心統一應用部署和編排能力。1．邊緣資源拉遠場景，聚焦于提供中心資源統一管理和邊緣業務部署能力，（1）中心資源統一管理：中心云平臺作為業務運營的統一入口，提供中心和邊緣運營功能。中心云平臺作為租戶業務的統一入口，提供云服務能力，及應用管理能力。物理設施管理組件提供涵蓋服務器、網絡、安全、存儲等設備管理能力，并提供DHCP和TFTP能力實現管理節點設備自動上線及升級能力(云節點、虛擬化節點、存儲節點等)多集群管理組件提供邊緣容器集群(K8s)管理及監控能力（2）邊緣業務部署：云邊資源類型及業務邏輯一致，邊緣資源池提供計算、網絡、存儲、安全能力，滿足業務本地運行、本地出口能力邊緣計算資源支持虛機、容器、裸金屬能力2．對于邊緣節點場景，聚焦于提供中心統一管理和邊緣容器業務部署能力，如圖6-8所示。（1）中心統一管理：中心云平臺作為業務運營的統一入口，提供邊緣節點場景運營功能中心云平臺作為租戶業務的統一入口，提供邊緣節點容器業務能力，及應用管理能力蜂巢邊緣平臺（HES）云上組件和邊緣代理HESAgent服務進行消息通信，實現邊緣容器節點離線可用（滿足CAP架構A-P需求，支持回復后自動同步保證最終一致性）（2）邊緣容器業務部署：邊緣云本地提供容器業務部署能力，支持VPN能力任務6.4項目方案價值分析1．多層級低延時場站邊緣計算，把算力部署在客戶現場，時延在1ms~5ms之間。按照部署規模可以細分為邊緣節點和邊緣資源池兩種形態。邊緣節點單節點部署，適用工業互聯網、物聯網等場景；邊緣資源池適用總部-分支場景，園區場景。如圖多層級低延時架構。2．邊緣節點多樣化

場站邊緣計算，支持多種節點類型，包括OTII服務器、融合網關、物聯網關多種算力，通過此種多層級算力布局，匹配不同場景下對不同算力規模的需求。如圖不同節點應用環境和算力情況。3．管理資源輕量化邊緣資源池管理由中心DC進行集中管理。（1）邊緣資源池資源由中心統一管理AD-DC控制器；由中心部署的AD-D控制器，對邊緣資源池的網絡設備進行underlay和overlay的配置，包括自動化上線、業務自動化下發等CloudOS5.0；邊緣資源池作為可用區，統一由中心部署的CloudOS進行計算資源、云內網絡的配置和管理，實現云邊跨VPC互訪，云邊同VPC互訪等（2）管理域輕量化控制器虛擬化部署云平臺組件、數據庫虛擬化部署（3）網絡架構輕量化邊緣資源池出口路由與leaf設備合一，出口功能由R-leaf承載如圖通過系統架構圖，可以看到管理域和網絡架構的輕量化。4．基礎架構輕量化超融合與邊緣計算結合（1）超融合簡化了部署，加快業務上線時間，適用邊緣計算輕量化、敏捷的特性；（2）超融合降低運維難度和成本，解決邊緣設備距離遠，運維復雜的問題；

（3）提高設備可靠性和可用性，滿足邊緣惡劣環境下，對設備可靠性的要求。5．計算資源輕量化容器化：共享宿主機資源，共享內核及內存，節省GuestOS損耗；函數計算：進程隔離，更加輕量化6．邊緣平臺云邊全局統一管理能力邊緣平臺以蜂巢邊緣平臺（HES）為核心，支持鏡像管理、節點管理、容器管理、函數計算、日志管理、告警監控、認證&權限監控能力，實現對邊緣設備管理和云邊協同。7．云邊資源協同整體方案中，中心云與邊緣云云邊協同，多云網絡服務；中心云與邊緣資源池云邊VPC服務，邊緣出口能力。云邊資源協同示意圖。（1）統一云管提供多云協同能力：多云網絡服務：提供跨云VPC服務，自動創建跨云擴展L2網絡能力，對應擴展L2網絡EDPair支持自協商或預定義范圍VxLANID創建隧道跨云虛機遷移：提供跨云虛機遷移能力，保證業務高可用支持跨云網絡服務對應資源同步，包括subnet、安全組策略等。（2）中心云提供云邊VPC協同能力云邊VPC服務：基于Leaf拉遠方案，中心云VPC支持延伸至邊緣資源池邊緣出口能力：Leaf拉遠采用Boarder合設，支持本地出口能力支持邊緣資源池業務優選本地出口8．云邊網絡通道，安全高質量（1）中心云-邊緣資源池：邊緣組網架構單層接入架構，兩臺交換機。業務網絡VxLAN隔離，管理、存儲網絡邏輯隔離。端口聚合，鏈路高可用及負載均衡。簡易開局網絡、安全設備零配置U盤開局（帶外管理配置、基礎系統配置等）。ADDC控制器實現underlay、Overlay配置自動化。邊緣節點一體機預裝超融合系統，導覽式簡易配置（2）中心云-邊緣節點：節點出口Internet/VPN/專線出口。邊緣組網架構依照運營商接入機房和客戶接入機房而定。中心-邊緣節點公網/專線/VPN拉通。9．本地數據加密、數據安全，滿足合規性

數據安全：外包數據的安全，包括數據的保密性與安全共享、完整性審計和可搜索加密。

私密要求：企業或用戶可能出于網絡連接局限性和私密性要求，選擇邊緣實現數據采集和處理10．云原生技術在邊緣計算的應用（1）邊緣側輕量化對容器技術的需求敏捷：容器技術相對于虛擬機更加敏捷和輕量。標準：事實標準K8S有助于邊緣容器編排需求演進。高效：容器技術對跨服務依賴性較低，獨立升級。移植：計算環境可移植性程度高。安全：容器之間相互隔離，底層基礎架構相互隔離。（2）中心統一對邊緣進行管理和運維，云上打包，邊緣應用部署云邊應用自動分發，提高生產效率。應用快速迭代，減少資源浪費。基于邊緣側的部署，可擴展性和實時伸縮能力突出。11．節點本地自治，云邊斷網可用

云邊發生斷網時，邊緣節點通過本地數據緩存數據庫進行數據讀取；云邊網絡恢復后，本地數據庫與邊緣計算平臺進行消息同步。如圖，云邊斷網可用。任務6.5項目詳細設計6.5.1RemoteEdge技術1.云邊網絡設計（1）邊緣本地出口RemoteLeaf設備采用接入Leaf和BorderLeaf合設能力，同時支持計算資源接入和Overlay封裝卸載能力。（2）云邊網絡統一管理部署階段，SDN控制器通過帶內管理網，基于設備角色模板實現對中心和邊緣網絡、安全設備Underlay實現自動化配置。中心DC云平臺實現對網絡資源（Network、Subnet、vRouter、vLB、vFW、EIP等）統一管理，通過VxLAN實現多租戶隔離。云平臺并通過SDNNeutronPlugin同步對應配置至SDN控制器（網絡控制器、安全控制器）完成網絡、安全Overlay自動化配置。如圖所示為中心云和RemoteEdge設計。2.網絡流量模型網絡流量模型主要有四種。（1）流量模型一：本地東西向VPC-01VPC內虛機都在同一個邊緣資源池本地東西向流量（2）流量模型二：本地南北向VPC-02VPC內虛機和出口EIP屬于同一邊緣本地南北向流量（3）流量模型三：云邊東西向VPC-03VPC內虛機分屬于中心和邊緣跨資源池東西向流量（4）流量模型四：云邊南北向VPC-04VPC內虛機和出口分屬于中心和邊緣跨資源池南北向流量3.邊緣組網拓撲

在邊緣組網拓撲中設計邊緣出口路由器、Leaf交換機、管理交換機以及邊界設備組的相應設置，下面針對這些設備分析它們的作用。邊緣出口路由器（MSR系列）路由器提供外部網絡互連IRF堆疊或M-Lag保證設備可靠性Leaf交換機（S6800系列）單層Leaf接入架構交換機M-Lag，保證設備可靠性共享物理設備，邏輯隔離業務、存儲三平面網絡鏈路聚合實現流量負載分擔和鏈路可靠性保障管理交換機（S5560系列）堆疊保證設備可靠性接入服務器、交換機、路由器帶外管理口邊界設備組南北向防火墻（F5K）南北向LB（L5K）堆疊或VRRP保證設備可靠性4.云邊網絡設計針對云邊網絡分為三種模式來設計。（1）同網段VM互訪VM1：0/24RemoteLeafvsi-interface：/24VM2：1/24（2）同網段同subnet下互訪，通過RemoteLeaf上網關進行二層流量轉發，分布式網關；跨網段VM互訪VM1：0/24RemoteLeafvsi-interface1：/24RemoteLeafvsi-interface2：/24VM2：0/24（3）跨網段虛機互訪，通過RemoteLeaf上三層VNI實現互訪。5.數據量流向（1）云邊東西向流量云邊東西向流量，數據流與同DC內跨leaf互訪數據模型相同。（2）云邊南北向流量（3）本地南北向流量

直出外網方式：VM1虛機：0/24，VSI-interface網關：/24，BGP路由發布地址：/24，出口路由：/24RemoteLeaf直出外網方式，通過RemoteLeaf作為subnet內虛機網關，來轉發路由。6.多邊緣網絡配置

云平臺上外部地址池通過云定義的出口和SDN控制器的邊界設備組映射。租戶申請不同外部地址池的EIP，從而決定業務的實際物理出口。7.網絡傳輸設計遠端數據中心接入主數據中心，因其地理位置較遠，采用IP網絡連接。規模靈活組網支持2000+分支組網規模支持多級組網多種線路選擇支持專線、Internet、VPN接入方式專線接入，數據安全可靠，質量高VPN接入，成本低、安全較高，傳輸加密Internet線路組網，保障關鍵應用體驗，降低線路成本簡易運維圖形化操作，選擇VPN設備和端口，統一配置下發建立VPNInternet線路自動VPN加密，保證數據傳輸安全，簡化復雜VPN運維支持IPSecVPN可視化運維，全網站點、拓撲、告警、應用統一呈現8.邊緣資源池業務網絡時延

中心DCspine與邊緣資源池Remoteleaf建立EVPN隧道。

當發生云邊時延增高時，大于BGP三倍keepalive時間，即認為BGP鄰居異常，此時EVPN隧道異常，云邊業務中斷。9.邊緣資源池設備自動化納管Remoteleaf自動化納管流程：①Remoteleaf空配置啟動，設備自動化進程會選擇第一個up的管理口發送dhcpdiscover報文②

上聯路由上配置dhcprelay配置，收到dhcpclient請求將報文relay到dhcpserver③

Dhcpserver收到dhcpdiscover報文，回復offer報文給客戶端，攜帶設備空配置啟動文件tftpserver地址（option66），攜帶空配置啟動文件名稱（option67）④

Dhcpclient選擇一個服務端分配的地址，并發起請求⑤

Dhcpserver收到請求后開始回應ack報文，ip地址分配完成⑥

Dhcpclient收到dhcpserver的回應報文，設備自動化開始下載并應用啟動配置文件10.邊緣資源池管理網時延

通過在網絡設備和控制器之間增加損傷儀，執行正常的設備上線流程。當損傷儀數值超過閾值，設備無法正常上線，此時數據為控制器管理網的網絡時延閾值。

控制器以Attempt的times乘以Attempt的間隔時間，定義設備異常與否。11.云邊統一計算資源服務如圖為云邊統一計算資源服務系統架構圖。統一云邊計算資源服務RemoteEdge邊緣提供虛機、容器、裸金屬計算資源服務，滿足業務邊緣部署需求。統一中心云平臺資源服務入口，保持中心和邊緣資源服務操作一致性。資源分區管理通過AZ可用區邏輯區分不同RemoteEdge邊緣資源池，用戶可按需選擇對應可用區部署應用。12.邊緣虛機服務

基于Remoteleaf下的邊緣虛機服務，延用CloudOS5.0網絡overlay，虛機上線arp觸發中心云控制器，為邊緣Remoteleaf下發EVPN隧道及網絡Overlay接入VNI、VSI等，實現邊緣虛機邊緣內東西向互訪、南北向邊緣本地直出等。13.邊緣容器集群RemoteEdge支持彈性容器集群拉遠KaaS能力，兼容裸金屬和虛機部署。既滿足邊緣部署NFV網元對高性能網絡需求，及邊緣部署IT應用對彈性擴容需求。拉遠KaaS由上級云平臺統一管理，實現應用、鏡像、監控、日志管理能力：中心提供邊緣Kubernetes多集群服務入口，提供pv、pvc、storageclass、service、configmap、secret等通用K8s資源服務配置緣KaaSMaster節點支持虛機部署，共享UIS超融合物理節點，減少K8s集群管理資源開銷兼容裸金屬、虛機worker節點，靈活適用NFV場景性能需求和IT場景彈性需求；支持SR-IoV/DPDK/GPU，滿足NFV、視頻解析等應用性能需求共享邊緣超融合共享存儲，提供iSCSI、RBD塊存儲14.邊緣裸金屬服務自動上線RemoteEdge裸金屬主機服務，基于RemoteLeaf拉遠云SDN網絡實現邊緣裸金屬自動上線能力，簡化裸金屬部署流程。

裸金屬上線兩張網，IPMI和inspection，選擇要部署的裸金屬，錄入IPMI用戶密碼，在裸金屬載入inspector及ramdisk（系統啟動引導文件），獲取LLDP；部署的時候，從裸金屬拉取緩存鏡像，也叫影子虛機，部署完成裸金屬后，完成網絡上的變更，將租戶網絡切換到VPC網絡。6.5.2EdgeNode技術1.蜂巢HES邊緣平臺OpenEdge的基礎框架設計

OpenEdge是百度開源的邊緣計算框架。OpenEdge主要由主程序模塊和若干功能模塊構成，目前官方提供本地Hub、本地函數計算（和多種函數計算Runtime）、遠程通訊模塊等。如圖平臺模塊以及相應功能。OpenEdge主程序模塊負責所有模塊的管理，如啟動、退出等，由模塊引擎、API、云代理構成。本地Hub模塊提供基于MQTT協議的訂閱和發布功能，支持TCP、SSL（TCP+SSL）、WS（Websocket）及WSS（Websocket+SSL）四種接入方式、消息路由轉發等功能。本地函數計算模塊提供基于MQTT消息機制，彈性、高可用、擴展性好、響應快的的計算能力。程通訊模塊目前支持MQTT協議，其實質是兩個MQTTServer的橋接（Bridge）模塊。函數計算Python27runtime模塊是本地函數計算模塊的具體實例化表現形式。2.