1、規劃設計1 概述012容器安全合規設計 01架構圖01.2.1.1鏡像深度掃描022.1.2鏡像運行控制022.1.3容器系統入侵檢測與防護022.1.4容器網絡入侵檢測與防護022.1.5安全合規基線022.1.6 Docker及其配套軟件漏洞03.2.2容器安全現狀改善方法。3 TOC o 1-5 h z HYPERLINK l bookmark24 o Current Document 鏡像深度掃描”管控方法 03 HYPERLINK l bookmark28 o Current Document 容器系統入侵檢測與防護”管控方法04容器網絡入侵檢測與防護”管控方法.05.安全合規基線”

2、管控方法092.3 總結10.1概述結合企業現狀及未來長遠的規劃，容器平臺作為以后敏態基礎架構建設的底座。本文檔為推廣容器云平 臺使用而編寫。建設容器平臺，不僅需要為基于微服務架構的新業務提供容器化運行和管控平臺之外，還必 須非常重視滿足行業嚴苛的監管和安全要求。2容器安全合規設計2.1架構圖在容器生命周期內的多個階段均可能引入安全問題，容器全生命周期安全管控架構圖如下圖所示:上圖可以反映容器對其核心一一鏡像”的BuildShip and Run”（構建鏡像、傳輸鏡像與運行容 器）操作；容器的應用環境可被分為非生產環境和生產環境”這兩類。非生產環境”與Dev”（開發）強相關，而生產環境”則與

3、Ops”（運維）強相關。非生產環境”內的主要管控點是鏡像深度掃描”，在生產環境”做容器編排時需要從非生產環境”拉取并運行容器鏡像，因此鏡 像運行控制”也是一個主要管控點。生產環境”內的主要管控點是容器系統入侵檢測與防護”以及容器網絡入侵檢測與防護”。同時，應在容器全生命周期中的各個階段將合規基線問題”作為重要的 管控點。下面從容器安全的各個主要管控點出發，列舉部分它們所應對的安全問題。2.1.1鏡像深度掃描在做鏡像深度掃描時，應重視的安全問題包括但不限于：鏡像中的操作系統軟件包與應用程序依賴項包含已知漏洞鏡像的應用目錄被植入Webshell鏡像敏感信息泄露鏡像完整性校驗問題Dockerfi l

4、e中存在不安全的寫法（Dockerfi le是Docker鏡像的構建腳本）2.1.2鏡像運行控制在做鏡像運行控制時，應重視的安全問題包括但不限于：鏡像完整性校驗問題特權模式共享oo權限內存配額未被限制CPU優先級未被限制存儲空間配額未被限制在啟用容器時使用Host網絡模式2.1.3容器系統入侵檢測與防護在做容器系統入侵檢測與防護時，應重視的安全問題包括但不限于:未隔離文件系統調用有漏洞的系統內核函數 拒絕服務攻擊2.1.4容器網絡入侵檢測與防護在做容器網絡入侵檢測與防護時，應重視的安全問題包括但不限于:容器間的局域網攻擊Remote API接 口安全Docker缺陷架構與安全機制紕漏微服務架構

5、Web應用安全問題2.1.5安全合規基線為了應對Docker安全問題，應重視的安全問題包括但不限于:內核級別 網絡級別 鏡像級別 容器級別 文件限制 能力限制2.1.6 Dockei及其配套軟件漏洞在使用Docker及其配套軟件時，應重視的安全問題包括但不限于:Docker自身漏洞K8S（Kubernetes）等編排應用自身漏洞 鏡像倉庫自身漏洞Docker及其配套軟件漏洞對Docker容器安全問題有著較深的影響，因而將之獨立成一個管控點點。 可將所使用的Docker及其配套軟件的版本不受已知漏洞影響作為一條安全合規基線。2.2容器安全現狀改善方法面對Docker容器安全的挑戰，可以分而治之，

6、對各個階段的安全管控點進行管控。在實施管控時， 也可劃分優先級，優先考慮較為重要的管控點，推遲考慮較為次要的管控點（例如，鏡像運行控制管控 點與用戶對Docker的使用方式有較大關聯。可以在安全產品中對用戶的危險操作進行告警，但不一定要 進行阻斷。Docker容器安全產品應注重對由用戶的不安全使用方式催生的安全問題進行防御）。下面， 結合行業實踐經驗梳理針對鏡像深度掃描容器系統入侵檢測與防護容器網絡入侵檢測與防護 與安全合規基線”的管控方法。“鏡像深度掃描“管控方法在使用Docker鏡像之前使用Docker鏡像掃描器有助于發現Docker鏡像的安全性問題。現有鏡像掃描工具基本都具備了 對軟件漏

7、洞進行掃描”的基礎功能。部分開源項目或商業平臺具備如 下特殊功能：對木馬、病毒、惡意軟件或其他惡意威脅進行靜態分析對主流編程語言的代碼安全問題進行靜態發現（與開發工作流緊密結合）對Docker le進行檢查對憑據泄露進行檢查因為Docker鏡像是Docker容器的模板，所涉及的攻擊面較大，并且有的安全風險不易被掃描器所發 現，所以現階段的Docker鏡像掃描”的做法仍不能保障Docker鏡像的安全性，建議人工介入檢查（可 結合“docker inspect與docker history等命令查看鏡像的部分信息)。“容器系統入侵檢測與防護“管控方法加強Docker容器與內核層面的隔離性有助于強化

8、容器系統入侵檢測與防護”。比如Docker社區開 發的安全特性、Linux運行時方案、異常行為檢測應用以及容器+全虛擬化方案，如下圖所示。Docker|區開發了針對Linux的Cgroup和Namespce的安全特性(Cgroup可用于限制CPU、內存、塊 設備1/0(具體可參考“docker run命令的參數)；Namespac河用于對PID、mount、network, UTS、 IPC、user等內核資源進行隔離；Cgroup對系統資源的隔離已經比較完善了，而Namespace的隔離還不 夠完善(甚至不可能完善，因為這是共享內核導致的固有缺陷)。部分可借鑒的Linux運行時方案如下：Ca

9、pability :令某程序擁有哪些能力；Selinux:定義了系統中每一個用戶、進程、應用、文件訪問及轉變的權限，然后使用一個安全 策略來控制這些實體(即用戶、進程、應用和文件)之間的交互，安全策略指定了如何嚴格或者寬松地進行 檢查；(3 ) Apparmor :設置執行程序的訪問控制權限(可限制程序讀/寫某個目錄文件，打開/讀/寫網絡 端口等)；(4 ) Secomp :應用程序的沙盒機制，以白名單、黑名單方式限定進程對系統進行調用；(5) Grsecurity: linux內核補丁，增強內核安全性。部分可借鑒的容器環境異常行為檢測開源應用如下：(1) Sysdig Falco :一款為云

10、原生平臺設計的進程異常行為檢測工具，支持接入系統調用事件和 Kubernetes審計日志(2 ) cAdvisor:可以對節點機器上的資源及容器進行實時監控和性能數據采集，包括CPU使用情況、 內存使用情況、網絡吞吐量及文件系統使用情況容器+全虛擬化”方案也是容器系統入侵防護”的有效方案，如果將容器運行在全虛擬化環境中(例如在虛擬機中運行容器），這樣就算容器被攻破，也還有虛擬機的保護作用（目前一些安全需求很高的應用場 景采用的就是這種方式）。“容器網絡入侵檢測與防護“管控方法Docker容器網絡的安全問題可被劃分為網絡安全防護與微服務Web應用安全兩類，隔離 和訪問控制”等主要思路均有助于管控

11、二者的安全問題。此外，仍可將部分現階段較為成熟的安全 技術應用到Docke場景中。在具體實施時，可依據Docker應用規模與實際的網絡部署情況進行管控。分析 如下：Docker網絡本身具備隔離”和訪問控制功能的網絡安全機制，但存在粒度較大”與對安全 威脅的感知能力不足等缺陷，如下圖。 心在新牛可甲U訝總|卬4 g gwfagx吊.氣押w. .Jim可W5 MVU.申一 THW2. 式下的同稿墻切間度D眼燈r啊堵也易安全機制a. .mu徊mLRAttUniEd-HHft1.Docker網絡自身安全機制為了彌補Docker網絡的安全缺陷，一些商業化的端對端的Docker安全產品對網絡集群進行了縱深

12、防 御，它們具備的功能特點包括了：容器防火墻運行時保護網絡深度數據包檢測攻擊行為、異常行為告警日志監控多編排平臺支持網絡流量可視化部分廠商在實現上述功能點時，在產品中引入了機器學習方法，用于生成行為模式與容器感知網絡規 則。Docker網絡具有組網方案多樣化、容器生命周期長短不一、應用場景多樣化等特點。因而，應參照組 網方案特點制定管控方法。梳理的針對類傳統單體應用和微服務架構應用”的入侵檢測與防御思路 如下圖所示。Docker網絡入侵檢測與防護思路首先來看類傳統單體應用”的Pocket絡集群的入侵檢測和防護思路。以圖所示的微服務集群為例 進行介紹。該集群里只有Nginx. Tomcat以及M

13、ySQL的3個容器。Mfr”院缶）徂由中隴凡政擊App攻商“類傳統單體應用”的Docker網絡集群的入侵檢測和防護思路. i o知岫3嵌怕：ft.日忘分析注：圖中的綠色虛線表示文件掛載或者Docker的cp命令等方式，通過這兩種方式可以更便捷地在宿 主機實時修改Nginx容器里的配置文件，調整Tomcat容器里的應用程序文件，或者對MySQL容器里的數 據進行持久化。為了對這套Docker Web應用進行入侵檢測與防御，可考慮以下9點方法：IptableS 鬲離通過在宿主機側對Docker網絡集群外部做基于Iptables的隔離策略，可以限制攻擊者對容器在宿主 機所映射端口”的訪問，縮小受攻擊

14、面。部署軟WAF通過在Docker網絡集群的流量入口處做軟WAF的部署（形態可以是宿主機軟件或者Docker容器）， 可以在此處阻斷、發現部分惡意流量。部署RASP通過在Java、PHP服務器Docker容器內部部署RASP產品，可以用之作為保護的最后一環，作為網絡 治理的一個補充小點。Webshell 掃描通過在宿主機側通過Webshell掃描引擎掃描來自Docker容器的Web應用程序文件（這些文件可 通過docker cp”命令或者動態掛載”機制獲得），有助于發現攻擊者植入的Webshell。日志分析通過在宿主機側通過ELK等日志分析分析來自Docker容器的日志文件（這些日志文件同樣可

15、通過 “docker cp”或動態掛載”等方式獲得）。此外，單獨運行Sidekick日志容器等做法有助于發現安全 威脅。識別中間人攻擊通過在Docker網絡集群內部通過網絡隔離是防止此類基于網絡的攻擊的有效方法，此方法可使得攻 擊者無法操縱或竊聽主機及其他容器的網絡流量；在這種情況下QpenVPN開放虛擬專用網絡提供了一種通 過TLS（傳輸層安全協議）加密實現虛擬專用網絡VPN）的方法。識別、阻斷流向異常的流量通過在Docker網絡集群內部依據實際的網絡拓撲圖對網絡進行“微分段”隔離（在“微服務架構”下, IP地址可能變換頻繁，但是預先劃分的網段不會變換頻繁），或者對指定的網橋、網卡進行流量分

16、析，有 助于識別、阻斷流向異常的流量。識別拒絕服務攻擊通過在宿主機側讀取和Docker容器對應的cgroup文件系統相關文件的實時內容（網絡、CPU、內存、 磁盤），可以識別出拒絕服務攻擊。網絡流量可視化網絡流量可視化是現有的容器安全產品”的常見附加功能。該功能的功能可能依托于對指 定的網橋、網卡進行流量的DPI分析”。接著來看微服務架構應用”的Docker網絡集群的入侵檢測和防護思路。微服務架構應用與類 傳統單體應用的顯著區別包括了 Docker容器數量較多、網絡拓撲較復雜等方面。在這種生產場景下， K8S等平臺可幫助用戶進行大規模容器編排。可考慮使用的入侵檢測和防護思路如下：運用K8S原生

17、或其第三方網絡插件的網絡策略K8S原生的網絡策略NetworkPolicy”可為K8S的最基本操作單位Pod”提供IP地址/端口號”級別的網絡隔離。注：K8S支持以第三方網絡插件”的形式選擇網絡方案，進而會影響網絡策略的選擇。例如，NetworkPolicy頁由實現了。卬接口的網絡插件提供（如Calico、Cilium Kube-route Weave Net等等）。關注微服務架構Web應用的接口 認證鑒權”問題開發方應對微服務架構Web應用的認證鑒權等問題予以重視，降低接口被網絡可互通的容器惡意訪問的 風險。常見的認證鑒權”方案可包括：網關鑒權模式、服務自主鑒權模式API Token模式。以

18、組件化”的形式在微服務集群中部WWeb安全應用為了增加Docker網絡集群的安全能力，可在Docker集群中部WWeb安全應用（針對類單體Web應 用”的做法仍可繼續使用。比如，我司的網站安全狗可用于保護部署在Docker容器里的Web應用，如 下圖所示），此外也可考慮在容器集群中部PI網關容器（基于Nginx+Lua）、蜜罐容器或者資產發現與漏 洞掃描器。wrllHiaLL-laii甘 n i!心T dii-wbriMri AMjL Kirulv i|i Ud “.id Id -*Ln- craghiJi- ii ik. . s J hl bnrfq ie:51網站安全狗可以用于保護Dock

19、er容器運用Service Mesh” 技術Service Mesh （服務網格）技術彌補7K8S在微服務通信的短板，有助于對應用層做訪問限制。服務網 格是一個基礎設施層，功能在于處理服務間通信，其主要職責在于負責實現請求的可靠傳輸。在實踐中，服 務網格通常實現為輕量級網絡代理，通常與應用程序部署在一起，但是對應用程序透明。以開源應用廿。為 例，它通過為整個服務網格提供行為洞察和操作控制滿足微服務應用程序的多樣化需求。它在服務網絡中統 一提供了流量管理、策略執行、服務身份和安全等關鍵功能。同時，Isti。還可集成已有的ACL、日志、監 控、配額、審計等功能。Service Mesh的融合架構模型如下圖所示。2.2.4 “安全合規基線”管控方法為了應對Docker容器生命周期里的全問題，需要可操作、可執行的Docker安全基線檢