1、 DOCPROPERTY DocumentName GPU直通技術白皮書華為專有和保密信息 版權所有 華為技術有限公司文檔版本 DOCPROPERTY DocumentVersion V1.0 ( DOCPROPERTY ReleaseDate 2019-03-30) DOCPROPERTY Product Project Name 華為FusionSphere 虛擬化套件 DOCPROPERTY DocumentName GPU直通技術白皮書目 錄 TOC o 1-3 h z u HYPERLINK l _Toc525892354 1 簡介 PAGEREF _Toc525892354 h 1

2、 HYPERLINK l _Toc525892355 1.1 背景簡介 PAGEREF _Toc525892355 h 1 HYPERLINK l _Toc525892356 1.2 方案簡介 PAGEREF _Toc525892356 h 1 HYPERLINK l _Toc525892357 2 技術和方案介紹 PAGEREF _Toc525892357 h 2 HYPERLINK l _Toc525892358 2.1 PCI直通方案 PAGEREF _Toc525892358 h 2 HYPERLINK l _Toc525892359 2.1.1 方案概述 PAGEREF _Toc52

3、5892359 h 2 HYPERLINK l _Toc525892360 2.1.2 適用場景 PAGEREF _Toc525892360 h 3 HYPERLINK l _Toc525892361 2.1.3 方案特點 PAGEREF _Toc525892361 h 3 HYPERLINK l _Toc525892362 2.2 GPU資源組方案 PAGEREF _Toc525892362 h 4 HYPERLINK l _Toc525892363 2.2.1 方案概述 PAGEREF _Toc525892363 h 4 HYPERLINK l _Toc525892364 2.2.2 適用

4、場景 PAGEREF _Toc525892364 h 4 HYPERLINK l _Toc525892365 2.2.3 方案特點 PAGEREF _Toc525892365 h 6 HYPERLINK l _Toc525892366 3 術語 PAGEREF _Toc525892366 h 6簡介背景簡介隨著信息化社會的飛速發展，大數據分析、深度學習等新技術的不斷涌現，高性能計算不僅應用在石油勘探、地震分析、流體力學計算、分子運力學等傳統領域，互聯網、金融、政府信息化、教育等領域對高性能計算的需求也飛速增長。GPU在高性能計算領域的使用，使得CPU不再是計算芯片的唯一選擇。與CPU相比，GP

5、U具備更強大的計算能力以及更簡單的任務處理模式，在高性能計算領域扮演者越來越重要的角色。與此同時，在傳統的圖形渲染領域，包括虛擬桌面、游戲、工業設計、影視渲染等場景中，GPU也扮演者不可替代的角色。GPU直通方案，為虛擬機提供接近于物理GPU能力的GPU設備。方案簡介華為FusionSphere虛擬化套件針對不同的業務場景及對GPU資源的使用情況，提供以下兩種有針對性的解決方案：主機PCI設備直通GPU資源組方案類型解決方案功能特點應用場景PCI直通直接將主機上GPU對應的PCI設備直通給虛擬機使用獨占GPU設備不允許GPU超分配視頻云等GPU資源組將GPU設備添加到GPU資源組，再從GPU資

6、源組中分配GPU給虛擬機在虛擬機關閉后，GPU可被其他虛擬機使用；允許GPU超分配桌面云等FusionSphere虛擬化套件使用PCI直通技術將GPU設備直通給虛擬機，即將GPU在計算節點中呈現的PCI設備直接綁定給虛擬機以呈現成為虛擬機的一個PCI設備。技術和方案介紹PCI直通方案方案概述FusionSphere虛擬化套件在主機（計算節點）啟動等時機主動發現其以裝配的GPU設備，這些GPU設備可直接綁定給虛擬機。適用場景使用場景適用于對GPU資源需求明確，需要對GPU進行持續獨占使用的場景。例如：地震分析、視頻云等領域使用約束PCI直通方案存在以下約束：虛擬機必須與GPU設備所在主機綁定；已

7、直通GPU設備的虛擬機不支持內存快照；已直通GPU設備的虛擬機不支持熱遷移、休眠、喚醒操作；僅支持在GPU關閉狀態下進行GPU設備的綁定與解綁定操作；一個GPU只能綁定給一個虛擬機或一個GPU資源組；需要進行GPU直通的虛擬機的內存必須全部預留；每個虛擬機最多支持直通8個GPU設備；需要提前在主機的BIOS中開啟VT-d和VT-x支持。不同廠商服務器開啟的方式會有區別，請參考具體的服務器幫助文檔；方案特點綁定GPU的虛擬機，不會因為GPU資源不足導致虛擬機無法啟動說明即使綁定GPU的虛擬機的電源已關閉，GPU也不能被其他虛擬機使用GPU資源組方案方案概述GPU資源組方案需要管理員首先創建以直通

8、方式使用的GPU資源組，并將主機上的GPU設備添加到資源組中。在需要對虛擬機分配GPU資源時，直接將GPU資源組綁定給虛擬機，并指定預計在資源組中分配的GPU數量。客戶虛擬機啟動時，GPU資源組按照虛擬機所需的GPU數量，找到空閑的GPU數量滿足條件的主機，并從該主機中分配所需數量的GPU資源以PCI直通的方式直通給虛擬機，以使虛擬機順利啟動。客戶虛擬機在關閉后，GPU資源會釋放給資源組，此時這些GPU資源可以被分配給其他虛擬機使用。相比于FusionSphere虛擬化套件6.3之前的版本，該方案支持在一套環境中同時使用多種規格的GPU卡，只需將不同的GPU卡劃分在不同的資源組中即可。該方案可

9、以支持系統中存在需要使用不同GPU的應用的情況，同時也可在設備演進中平臺地支持GPU卡進行更新換代。多種GPU卡是否可以同時直通給一臺虛擬機，需要從虛擬機操作系統供應商以及顯卡芯片廠商處獲取支持。說明每個GPU資源組可以管理相同產品型號的GPU資源，虛擬機可以通過綁定多個不同產品型號的GPU資源組以掛載不同型號的GPU設備，但是這些設備在虛擬機的操作系統中是否可以正常使用，由GPU的驅動程序以及操作系統決定。適用場景使用場景適用于對GPU資源需求存在彈性，允許進行GPU分時復用的場景。場景舉例：大數據分析、深度學習、互聯網、教育等領域例如：分時復用某公司有3種業務A、B、C均需要使用GPU，但

10、各業務運行的高峰時段存在明顯差異，如下表所示：業務高峰時段對GPU數量的訴求常規時段高峰時段A8:0010:0016:0020:0026B11:0014:0024C1:004:0013時段對GPU數量的訴求業務A業務B業務C總數1:004:0022378:0010:00621911:0014:00241716:0020:006219在此種場景下，為滿足所有業務在高峰時段對于GPU的訴求，共需配備13塊GPU；而各業務存在明顯的高峰時段差異，此時對各高峰時段進行分析得出在每個高峰時段中，所需要的GPU數量都不超過9個，如下表所示：在業務系統支持動態擴縮容的情況下，在某個業務處于高峰時段時，業務系

11、統通過擴展節點（虛擬機）的方式進行擴容，在脫離高峰時段時進行縮容，只需配備9塊GPU，即可滿足所有業務在各自高峰時段對GPU的訴求。此種相同GPU在不同時間由不同的系統或應用使用的情況即為分時復用。使用約束GPU資源組方案存在以下約束：同一臺虛擬機所使用的GPU必須集中在同一臺主機上，當任意主機空閑的GPU不足以滿足虛擬機運行所需時，即使資源組中的空閑GPU總量滿足，虛擬機也無法被分配到所需的GPU資源；已直通GPU設備的虛擬機不支持內存快照；已直通GPU設備的虛擬機不支持熱遷移、休眠、喚醒操作；僅支持在GPU關閉狀態下進行GPU設備的綁定與解綁定操作；一個GPU只能綁定給一個虛擬機或一個GPU資源組；需要進行GPU直通的虛擬機的內存必須全部預留；每個虛擬機最多支持直通8個GPU設備；需要提前在主機的BIOS中開啟VT-d和VT-x支持。不同廠商服務器開啟的方式會有區別，請參考具體的服務器幫助文檔；方案特點允許對GPU資源進行超分配，同一個GPU在多個虛擬機間分時復