1

引言

隨著云計算、物聯網、人工智能、5G通信等新技術的快速發展，邊緣計算的概念被提出，并受到學術界和工業界的廣泛關注。邊緣計算是一種新型的計算模式，它將計算與存儲資源部署在更貼近移動設備或傳感器的網絡邊緣，能夠極大地緩解網絡帶寬與數據中心的壓力，增強服務的響應能力，并且能夠保護隱私數據，減少敏感數據上傳和在云端共享的風險。邊緣計算技術的出現，將云計算的能力拓展至距離終端最近的邊緣側，實現云邊端的統一管控，因此又產生了邊緣云計算的概念。邊緣云計算能夠有效發揮5G技術的海量接入、低延遲、高帶寬等優勢，賦能智慧城市、智能制造、智慧家庭等價值場景，具有巨大的應用前景。近年來，針對如何構建邊緣云計算平臺，人們已經開始了一些相關探索與實踐。其中，卡內基梅隆大學研發的Cloudlet為移動計算用戶提供“小云”服務，使用虛擬機來隔離不同應用的運行環境，將OpenStack擴展到邊緣計算平臺，使分散的小云可以通過標準的OpenStackAPI進行控制和管理。美國威斯康星大學研發的ParaDrop主要面向智能電網、車聯網、無線傳感執行網絡等物聯網應用場景，在物聯網網關中植入單片機，使其具備通用計算能力，并使用容器技術來隔離不同應用的運行環境。網關上所有應用都由云端控制，并對外提供API，用戶通過Web頁面與應用進行交互，Web服務由云端提供，而傳感器采集的原始數據則都存儲在網關上，保護了用戶的數據隱私。佐治亞理工學院研發的PCloud將本地?邊緣以及云上的資源通過網絡連接，并由特殊的虛擬化層STRATUS將資源虛擬化，構成資源池，PCloud將邊緣資源與云資源有機結合，使二者相輔相成、優勢互補。此外，AWS的Greengrass解決方案、電信領域正在推進的多接入邊緣計算（MEC）服務、華為的IEC/IEF和阿里的LinkEdge等，都在開始加快邊緣云服務的部署與應用。但是，與云計算相比，邊緣云計算主要面向移動計算、物聯網和工業互聯網應用，具有海量接入、復雜異構和資源受限等特征。因此，在邊緣云服務模式備受關注和快速發展的同時，邊緣計算平臺也將面臨許多新的安全威脅，包括邊緣計算節點容易被偽造、邊緣容器的安全隔離機制不足容易導致主機被攻擊、邊緣應用/微服務的安全防護機制薄弱和缺乏硬件安全支持能力，容易導致用戶代碼和數據被竊取或篡改等，這將大大制約邊緣云計算服務模式的發展與應用。因此，邊緣云及安全問題引起了國內外工業界和學術界的廣泛關注。鑒于此，本文將從國內外邊緣計算及安全相關聯盟、社區和標準組織，以及國內外邊緣計算安全相關技術研究進展展開分析和調研，并討論相關的技術挑戰和未來展望。2邊緣云計算安全相關工業聯盟、開源社區和標準組織2.1國外相關組織2014年，歐洲電信標準協會（ETSI）成立移動邊緣計算（MobileEdgeComputing，MEC）規范工作組，推進移動邊緣計算標準化工作。2016年，ETSI將邊緣計算的概念擴展為多接入邊緣計算（Multi-AccessEdgeComputing），將MEC從電信蜂窩網絡擴展至其他無線接入網絡（如WLAN）。2017年7月，ETSI發布了標準化應用程序接口（API），以支持邊緣計算的互操作性。其中，推動MEC設備的監管、安全及計費問題是今后MEC方面的工作重點之一。2015年，英特爾、華為、沃達豐與美國卡內基梅隆大學聯合成立了開放邊緣計算聯盟（OpenEdgeComputingInitiative，OEC），微軟、VMWare、諾基亞、NTT等相繼加盟，主要致力于推動邊緣計算生態系統發展，提供邊緣計算關鍵參考架構、應用展示，建立真實的邊緣計算測試和試驗中心。同年，ARM、思科、戴爾、英特爾、微軟和普林斯頓大學共同成立了開放霧聯盟（OpenFogConsortium），旨在通過開發開放式架構，解決產業之間互操作性、可擴展性等，分享最佳實踐，加快霧（Fog）計算和邊緣計算技術的普及。2017年4月，戴爾物聯網解決方案部門的JimWhite（OpenFog參考架構的設計者之一）開源EdgeXFoundry項目，成為Linux基金會下的硬件和操作系統無關的開源中立的邊緣計算微服務框架，用于統一工業物聯網邊緣計算解決方案的生態系統，目前包括戴爾、VMWare、AMD、Ubuntu、Redis等企業成員70多家，其中安全服務作為框架設計的兩個基礎系統服務之一，并且當前的版本中已經提供了安全存儲能力，能夠保護EdgeX機密信息，如令牌、密碼、證書等，以及API網關能力，限制對EdgeXREST資源的訪問和控制操作。2017年，全球性產業組織工業互聯網聯盟（IIC）成立EdgeComputingTG，定義邊緣計算參考架構。同年，國際電工委員會（IEC）發布了VEI（VerticalEdgeIntelligence）白皮書，介紹了邊緣計算對于制造業等垂直行業的重要價值。國際標準化組織ISO/IECJTC1SC41成立了邊緣計算研究小組，以推動邊緣計算標準化工作。同時，邊緣計算也成為IEEEP2413物聯網架構的重要內涵，其中推進邊緣計算安全是邊緣計算標準化工作的重點之一。2.2國內相關組織2016年，中國科學院沈陽自動化研究所、中國信息通信研究院、華為技術有限公司、英特爾公司、ARM和軟通動力信息技術（集團）有限公司聯合倡議發起成立邊緣計算產業聯盟（EdgeComputingConsortium，ECC）。2018年，在ECC《邊緣計算參考架構3.0》給出的邊緣計算的定義中提及安全與隱私是五大關鍵要素之一。2019年11月，ECC和工業互聯網產業聯盟（AII）聯合發布首個《邊緣計算安全白皮書》，首次系統地分析和描述了邊緣計算的海量、異構、資源約束、實時性、分布式等五大需求特征給邊緣計算安全帶來的技術挑戰，并從邊緣云接入、邊緣云服務器、邊緣云管理等三個主要攻擊維度，系統地分析和描述了邊緣計算平臺面臨的十二大安全威脅。2018年，中國電子技術標準化研究院和阿里云計算有限公司聯合推出《邊緣云計算技術及標準化白皮書》，定義了邊緣云計算的概念、典型應用場景、技術特點、標準化需求以及標準化建議。2019年12月，雙方又聯合發布了中國開源云聯盟標準《信息技術云計算邊緣云計算通用技術要求》（COSCL0004-2019）（2020年1月1日實施），其中邊緣云安全能力覆蓋邊緣云基礎設施安全、運行在邊緣云上的應用安全、數據安全、邊緣云平臺安全等要求。3邊緣云計算安全相關技術進展3.1邊緣云計算環境下的身份認證近年來，人們開始針對邊緣云計算開展相關認證技術研究，目前主要研究的是邊緣服務器與用戶之間的雙向認證技術，目的是防止接入惡意用戶，或者防止接入到惡意的邊緣服務器，同時考慮減少接入認證時的計算和通信開銷；少數工作關注了云-邊緣平臺之間的認證和通信安全問題，主要考慮的是增加認證次數和通信過程中的數據安全性。（1）邊緣服務器與用戶之間的認證技術目前的研究方案主要聚焦在邊緣服務器和用戶（手機或移動設備）之間的雙向認證方案研究，而且大多假定邊緣服務器之間不會進行通信，邊緣服務器只和云中心進行通信或者只和用戶進行通信，這類方案主要解決兩類安全問題，具體如下：一是，針對用戶（手機/移動設備）資源受限，以及無線通信（如WLAN）或電信網絡容易被竊聽等安全問題。由于移動手機用戶從不同的服務提供商訪問不同類型的移動云計算服務時，用戶通常需要在每個服務提供商上注冊不同的用戶賬戶，并且需要維護相應的私鑰或密碼進行身份驗證，導致用戶接入移動云服務的認證過程過于繁瑣。針對上述問題，國立臺灣科技大學提出了一種基于身份加密系統（IBC）的隱私保護認證方案，該方案僅需要移動用戶保存一個私鑰，便可與不同服務提供商進行認證，前提是用戶知道服務提供商的所有身份，反之亦然，減少了密鑰管理開銷。同時，該方案基于ECC橢圓曲線（而非RSA）運算進行密鑰協商，除了注冊階段需要可信第三方參與之外，后續的認證階段無需可信第三方參與，保證了通信安全，并減少了用戶計算和通信的開銷。二是，針對邊緣服務器容易遭受攻擊、偽造等安全問題。由于邊緣服務器可能部署在商場、機場、公園、停車場，甚至長途汽車等交通工具內部，這些場所用戶的流量大（如：接入規模、移動性大），可能導致用戶錯誤接入一個惡意的邊緣服務器。針對上述問題，埃及哈勒旺大學提出了一種終端用戶與霧服務器之間的雙向認證方案Octopus，該方案只需要在用戶注冊時基于用戶ID為其生成一個長期有效的主密鑰（足夠長），以及基于用戶主密鑰、霧（相當于邊緣云）ID和霧服務器（相當于邊緣服務器）ID計算得到用戶驗證密鑰（存放在邊緣服務器中），便可以與任何（包括新加入的）邊緣服務器進行雙向認證，抵抗惡意邊緣服務器攻擊。同時，由于該方案的認證過程主要基于Hash運算和對稱加密運算，大大減少了認證計算的開銷。（2）云-邊緣服務器之間的認證技術除了邊緣服務器與用戶之間的雙向認證技術研究之外，還有一些研究工作關注了云-邊緣服務器之間的認證和通信安全問題，這類方案主要解決兩類安全問題，具體如下：一是，針對云-邊緣僅一次性認證的安全問題。由于邊緣服務器無法像傳統云服務器一樣能隨時進行管理與更改，僅僅在其初始化階段認證一次，這種做法無法應對后續可能出現的安全風險。針對上述問題，英特爾應用可信計算TPM模塊增強運行在邊緣服務器上的容器基礎設施的安全性，并遠程證實/驗證容器基礎設施的可信性。此外，中南民族大學提出了一種基于電磁輻射（與實體行為相關的硬件指紋）的持續邊緣主機身份認證技術，主要利用支持向量機分類器，對邊緣主機的電磁輻射硬件指紋進行識別，從而實現身份的持續認證。二是，針對云-邊緣消息通信安全被忽略的問題。正如云安全聯盟（CSA）所強調的那樣，開發高效的云到邊緣系統的一個有價值的方法是基于即時消息通信解決方案，但是在當前的云-邊計算環境中，基于即時消息協議的消息中間件（MessageOrientedMiddleware，MOM）提供了良好的性能，卻忽略了安全性需求。針對上述問題，意大利墨西拿大學提出了一種安全管理方法，目的是按照CSA準則，改進這種云到邊緣系統即時消息通信過程的安全性，以實現數據保密性、完整性、真實性和不可抵賴性所涉及的問題。3.2邊緣云計算環境下的容器安全隔離近年來，人們開始針對邊緣容器安全隔離技術開展研究，大多采用的是基于底層系統的容器安全增強、容器的權限限制的方法來實現容器隔離，主要目的是防止由于同一主機上的多個容器共享內核，黑客更容易通過容器攻破底層宿主機（邊緣服務器）的安全問題；同時，在相關技術的研究過程中還需要有效保證容器的兼容性和可用性。（1）基于底層系統的容器安全增強技術一些研究工作關注如何通過底層操作系統安全能力，或者增加新的底層功能，或者減少內核/容器鏡像來實現對容器的安全隔離，這類方案主要解決兩類安全問題，具體如下：一是，針對底層系統對容器的安全保障不足問題。意大利貝爾加莫大學提出了對Dockerfile的擴展技術，為運行在Docker鏡像中的進程提供Linux系統層支持的特定SELinux安全策略，限制容器中進程的權限。但是這種方法與原有的容器生態不兼容，限制了其使用范圍。谷歌公司專門開發了gVisor，一個使用Golang這種內存安全的語言編寫的用戶空間內核，它實現了Linux系統調用的很大一部分，當容器中的應用調用系統調用時，它會攔截并且在用戶空間提供相應的服務。通過這種方式，容器中的應用不能直接調用宿主機提供的系統調用，降低了宿主機被攻擊的風險。但是當容器中的應用需要調用大量的系統調用時，這種方案會大大降低應用的性能。二是，針對底層系統及容器的鏡像過大的安全問題。美國威斯康星大學提出使用動態和靜態分析來標識用于運行特定應用程序的最少資源集的方法-Cimplifier，從而大大減少了應用程序容器鏡像的大小。蘇黎世IBM研究院通過刪除或阻止未使用的內核代碼段的執行來有效地減少攻擊面，但是這種方法的實施難度比較大，而且不能保證所有可能會被用到的代碼段都被保留。Nabla容器實現了容器之間的強隔離，只允許容器執行7個系統調用，但是它有很多限制，例如不允許動態加載庫、不允許用于與其他進程共享內存的mmap等，可用性差。（2）基于程序分析的容器權限限制技術除了通過底層系統來限制容器權限的安全隔離技術研究之外，還有許多研究工作關注了容器可訪問系統調用/特權最小集的程序分析技術上，從而限制容器惡意利用不必要的系統調用/特權對宿主機（邊緣服務器）造成威脅，這類方案主要解決兩類安全問題，具體如下：一是，針對容器可訪問系統調用過多的安全問題。自2016年1.10版本，Docker支持了seccomp機制，以限制運行在Docker容器中的應用能夠訪問的系統調用，降低了宿主機的攻擊面。但是對于特定的容器來說，Docker默認允許的系統調用仍舊很多（總共有300多個系統調用，默認僅禁用44個）。為了解決此問題，中科院信工所提出了一種應用容器的分階段執行來區分容器運行的必要和不必要的系統調用方法SPEAKER，從容器的運行過程中刪除部分只在容器的啟動階段使用的系統調用。知名開源工具DockerSlim通過創建臨時容器，跟蹤用戶在臨時容器中的操作，得到容器在運行時需要的系統調用。但是上述方法都不能保證容器運行時需要的所有系統調用都動態跟蹤得到，可能導致容器運行時出錯。北京大學研究人員提出了一種將動態分析和靜態分析結合的方法，通過動態分析獲得容器啟動時所需系統調用及運行時所需訪問的可執行文件，再靜態分析可執行文件需要訪問的系統調用，得到特定容器應用運行時需要的系統調用，減少攻擊面的同時保證了容器不出錯，可用性更強。二是，針對容器擁有的特權過大的安全問題。為了增強容器的安全性，大多數容器采用了Linux內核提供的權能機制（Capability機制）來約束容器內部進程的能力。通過Capability機制，超級用戶的特權被劃分為38個不同的權能（Capability），每種權能代表了某些被允許的特權行為，例如擁有權能CAP_NET_ADMIN，表示擁有了執行與網絡相關操作的特權。自2018年1.18版本，默認情況下，由Docker創建的容器通常擁有14種權能（默認禁用了23個，共37個權能）。但是對于特定的容器來說，Docker默認擁有的特權仍舊有一部分是不必要的。為了解決此問題，韓國科學技術院（KAIST）通過使用strace跟蹤進程執行時所需的系統調用，然后把這些系統調用映射到相應的權能，進而得到容器在運行時所需要的最小權能集，限制容器內部進程運行時的特權，減少特權過大帶來的安全風險。3.3邊緣云計算環境下的可信硬件支持由于可信硬件提供的安全隔離運行環境能夠增強邊緣服務器的安全保障能力，人們近年來開始關注邊緣服務器的可信硬件支持技術研究。一方面，能夠有效解決邊緣服務器上的軟件系統遠程維護和更新困難、缺陷容易被黑客利用問題；另一方面，能夠保障可信硬件支持環境下，在邊緣服務器上部署云原生應用可能存在的兼容性和性能開銷大的問題。（1）可信硬件能力支持及性能優化技術一些研究工作關注在邊緣服務器端集成可信硬件的可行性評估，以及如何優化可信硬件支持下的上下文切換、內存頁替換、內存加解密性能，這類方案主要解決兩類安全問題，具體如下：一是，針對邊緣服務器缺乏硬件安全能力支持的問題。美國韋恩州立大學對TEE可信硬件集成到邊緣計算節點的可行性進行了系統性的評估：·

在IntelFogNode邊緣服務器（8核IntelXeonE3-1275處理器和32GBDDR4內存）上進行了集成IntelSGX能力的測試，其中上下文切換時間為2~3微秒、敏感數據計算時間為6.7微秒、總體時間開銷下降0.48%。·

在ARMJunoBoard（ARMV8）上進行了集成ARMTrustZone能力的測試，其中上下文切換時間為0.2微秒、敏感數據計算時間為9.67微秒、總體時間開銷下降0.13%。·

在帶AMDEPYC-7251處理器的機器上進行了集成AMD內存加密能力的測試，其中上下文切換時間為3.09微秒、敏感數據計算時間約0微秒、總體時間開銷下降4.14%。結論是，TEE集成后給邊緣服務器節點帶來的計算性能開銷都比較低，具有可行性。二是，針對可信硬件支持帶來的計算性能開銷的問題。針對可信硬件支持下安全區代碼與非安全區代碼交互/上下文切換可能產生較大性能開銷的問題，英特爾提出了一種通過交互/上下文切換時的異步調用機制進行優化。SGX的EPC內存目前一共僅有128MB（其中只有96MB是可用的），可用內存空間很小，可能會帶來計算過程中頻繁的內存頁面替換問題，產生較大的性能開銷。針對該問題，佐治亞理工學院研究人員提出了一種減小EPC頁面元信息占用空間的方法STANlite進行了優化。針對內存加密開銷大的問題，英國LSDS研究組提出了一種盡量對內存數據采用連續訪問的數據結構、避免采用隨機訪問的數據結構設計的方法進行了優化。（2）基于可信硬件的應用支持技術除了可信硬件能力支持及性能優化技術研究之外，還有許多研究工作關注了如何開發TEE可信硬件環境下的應用支持技術，從而保證云原生應用在支持TEE的邊緣服務器上的快速部署與應用問題，這類方案主要解決兩類安全問題，具體如下：一是，針對應用的兼容性問題。為了支持云原生應用的部署與應用，研究人員在TEE可信執行環境內設置操作系統庫或者標準函數庫來支持TEE內應用程序的執行，從而實現兼容性。例如：微軟公司提出的Haven，是在TEE中實現一個Drawbridge操作系統庫，從而能夠在TEE中直接運行未修改的Windows應用程序。紐約州立大學石溪分校提出的Graphene，是在TEE中部署一個操作系統庫，從而能夠支持在TEE上快速部署未修改的Linux應用程序。英國LSDS研究組提出的SCONE，則是在TEE中配置了標準C函數庫的修改版本，從而能夠支持重新編譯的Linux應用程序。二是，針對敏感代碼的合理劃分問題。支持應用兼容性方案將所有代碼或大多數代碼放在安全區中，會導致可信計算基（TCB）很大，而TCB越大，帶來的安全性問題也越大。為此，研究人員開始研究如何將原生的應用程序劃分為敏感和非敏感部分，僅將較小的敏感代碼部分放入安全區，從而通過減少TCB來降低安全風險。例如，英國帝國理工學院提出了一種基于C語言的SGX應用程序源碼劃分框架Glamdring，主要通過開發人員對應用程序中安全敏感數據的注釋，采用程序分析方法，分析找出與安全敏感數據安全性有關的代碼和數據。瑞士洛桑聯邦理工學院提出的SecuredRoutines，是一種將可信執行代碼編寫集成到編程語言中的方法，它通過擴展Go語言，以允許程序員在TEE內調用敏感操作、使用開銷小的通道通信，以及允許編譯器自動提取安全代碼和數據。

4邊緣云計算安全技術挑戰與展望在邊緣云計算安全研究領域，人們已經在邊緣云計算的認證技術、容器安全隔離技術、可信硬件支持技術方面開展了一些相關研究工作