2024年電子行業專題報告：英偉達GTC大會在即_持續關注AI進展1.全球領先的算力平臺，業績大幅提升1.1四項主營業務，打造行業領先公司全年收入翻倍，數據中心迎來強勁增長。公司2024財年（截止24年1月末）的收入為609億美元，同比增長126%。公司產品用于多個下游，主要有游戲、數據中心、汽車、專業可視化四個業務板塊。數據中心在2024財年的收入為475億美元，同比增長217%；其中，計算收入增長244%，網絡業務收入增長133%。庫存水平正常化和需求增長，合作伙伴銷售量增加，推動游戲收入增長15%，達104億美元。專業可視化收入為16億美元，同比增長1%左右。隨自動駕駛平臺的增長，汽車收入增長21%至11億美元。公司數據中心平臺由計算和網絡產品組成。計算產品包括超級計算平臺和服務器，還包括NVIDIAAIEnterprise軟件、DGX云服務，以及越來越多的加速庫、API、SDK和特定領域的應用程序框架。網絡產品包括InfiniBand和以太網的端到端平臺，如：網絡適配器、電纜、DPU和交換系統，以及完整的軟件堆棧。以GPU為基礎，業務不斷拓展。隨著人工智能和高性能計算工作負載變得非常大，數據中心已經成為新的計算單元，GPU是公司加速計算平臺的基礎，擅長并行工作負載，例如神經網絡的訓練和推理。除GPU之外，公司數據中心平臺業務在2022財年擴展到DPU，在2024財年擴展到CPU，優化整個計算、網絡和存儲堆棧，以提供數據中心規模的計算解決方案，推出NVIDIADGXCloud平臺，包括基于云的人工智能基礎設施和軟件，目前公司已與領先的云服務提供商合作。游戲平臺技術領先，RTX產品將加速AI應用普及。游戲平臺利用GPU和先進的軟件，游戲運行更流暢，圖形質量更高。公司開發的NVIDIARTX具有實時、電影質量渲染的光線跟蹤技術，采用深度學習超級采樣技術，通過AI技術提升游戲體驗。公司擁有超1億臺支持AI的PC的安裝基礎，超過500個RTX支持AI的應用程序和游戲，以及強大的開發工具，RTX已成為AIPC的領導者。多產品助力市場規模大。公司針對游戲市場的產品包括用于游戲臺式機和筆記本電腦的GeForceRTX和GeForceGTXGPU，用于在低功率設備上玩PC游戲的GeForceNOW云游戲，以及用于游戲機的SoC和開發服務。多平臺提供服務，專業可視化業務布局廣泛。公司與獨立軟件供應商密切合作，為其產品進行優化，從而服務于專業可視化市場。公司GPU計算平臺提高了生產力，并為設計和制造、數字內容創建等領域的關鍵工作流程引入新功能。RTX平臺可實時使用光線追蹤來渲染電影、物體和環境，允許專業人員使用RTXGPU和軟件優化工作流程。Omniverse作為開發平臺和操作系統，可用于構建虛擬世界仿真應用程序；工業企業正采用Omniverse的3D和仿真技術，將實體資產、流程和環境數字化。汽車業務達成廣泛合作，DRIVEHyperion服務于自動駕駛技術。公司汽車產品由自動駕駛和車載座艙計算平臺解決方案組成。公司在AI領域的技術領先，與汽車生態系統中的數百家合作伙伴合作，包括汽車制造商、tier1供應商、汽車研究機構等，共同為汽車自動駕駛技術開發并部署AI系統。DRIVEHyperion包括DRIVEAGX計算硬件、全套支持全自動駕駛功能的參考傳感器，以及全套開放、模塊化的DRIVE軟件平臺，用于自動駕駛、地圖和停車服務，為自動駕駛市場提供端到端解決方案。DRIVESim方案使得車輛功能更新更流暢。Omniverse軟件的可擴展數據中心仿真解決方案DRIVESim，可用于數字駕駛艙開發以及自動駕駛平臺的測試和驗證，使汽車能夠在車輛的整個生命周期內接收無線更新，以增加新的特性和功能。1.2AI成為有力驅動，業績全面受益為產品增加AI功能、開發大模型，AI成為新焦點。公司計算解決方案包括AI服務器中的三個主要處理單元GPU、CPU和DPU。公司將繼續在GPU架構中添加AI特定功能，進一步擴大領導地位。除DGXCloud外，NeMo利用和第三方創建的開源和專有LLM，構建企業大語言模型。公司推動生成式Al應用于超過1億臺Al-Ready的RTXPC和工作站。數據中心引入加速網絡平臺、推理平臺、DGX云。數據中心業務中，公司發布AI加速網絡平臺Spectrum-X，并推出AI推理平臺，將全棧推理軟件與Ada、Hopper和GraceHopper處理器相結合，優化生成式人工智能、LLM和其他AI工作。引入NVIDIADGX云，幫助企業創建和運營定制的大型語言模型和生成式AI模型。構建AI開發者平臺，LLM運行效率顯著提升。在PC上本地運行生成式Al需要正確的開發工具來調整和優化Al模型。公司為開發人員提供端到端的平臺，用于為RTXPC和工作站構建和部署Al應用程序。其中ACE（AvatarCloudEngine）使開發人員能夠在游戲中添加智能、動態的數字化身；AlWorkbench可簡化對流行庫的訪問，如HuggingFace、GitHu和為Windows打造的NGCTensorRT-LLM，使得在RTXPC上運行LLM的速度提升5倍。游戲領域推出多款AI相關產品與服務。推出基于AdaLovelace架構的GeForceRTX4060和4070GPU，并宣布使用AI驅動的游戲Avatar云引擎，并推出了DLSS3.5RayReconstruction。此外，公司還發布了面向Windows的TensorRT-LLM，并推出GeForceRTX40系列超級GPU。使用NVIDIADLSS、光線追蹤和其他NVIDIARTX技術的AI驅動RTX游戲和應用程序達到500個的里程碑。AI助推，多領域達成合作。與AWS就新的AI基礎設施、軟件和服務進行戰略合作，公司和AWS將合作在AWS產品中承載NVIDIADGXCloud，以加速運行參數超1萬億的尖端生成式AI與LLM模型。AWS將基于NVIDIAH200、L4和L40SGPU推出另外三個新的AmazonEC2實例。同時，公司開發出NVIDIABioNeMo，一款生成型AI平臺，與Recursion和Amgen在醫療保健領域達成合作。公司將長期投入AI研發，預期算力將提升100萬倍。英偉達CEO黃仁勛2024年3月參加其母校斯坦福大學商學院SIEPR經濟峰會以及ViewFromTheTop系列活動。強調在未來的10年里，公司將會把深度學習的計算能力再提高100萬倍，從而讓AI計算機不斷訓練、推理、學習、應用，并持續改進，將超級AI轉變為現實。2.數據中心業務增長，產品矩陣不斷擴充2.1數據中心業務穩步增長算力需求激增，驅動英偉達的數據中心業務飛速增長。英偉達的數據中心業務致力于為超算數據中心、企業數據中心、云計算、AI大模型訓練和邊緣計算等計算密集型任務提供軟件+硬件的全面解決方案。GPU、CPU、DPU三芯矩陣為算力需求提供強力的硬件支持，CUDA則為用戶提供了全面的軟件生態。AI推理創造數據中心收入增量，汽車數據中心占比提升。數據中心業務2024財年四季度營業收入環比提升到184億美元，創歷史新高；全年收入為475億美元，比2023財年增長217%。隨著自動駕駛算法轉向視頻轉換器，以及越來越多的汽車配備攝像頭，預計汽車數據中心處理需求將大幅增長。在2024財年，大約40%的數據中心收入用于AI推理。在2024財年第四季度，大型云服務提供商為內部工作負載和外部客戶提供支持，占數據中心收入的一半以上。2.2GPU+CPU+DPU三芯矩陣加速系統是重塑AI計算。服務器和工作站將配備計算加速器，為使用AI、可視化和自主機器等現代應用提供支持。其中許多系統還會配備數據處理器，用以加速網絡、存儲和安全服務。公司借助基于GPU、DPU和CPU三種新一代架構構建加速計算平臺，憑借涵蓋性能、安全性、網絡等領域的前沿技術，重塑AI時代的數據中心。高性能GPU為AI模型訓練加速。根據應用場景的不同，AI服務器可以分為訓練和推理兩種類型。訓練型服務器對芯片算力要求更高，而推理型服務器對算力的要求相對較低。在訓練端，目前有V100、A100、H100三款GPU。1）V100基于Volta架構，采用臺積電16nm工藝，引入NVLink技術助力實現GPU和CPU之間高速通信，加速大規模模型的訓練速度。2）A100基于Ampere架構，采用臺積電7nm工藝。搭載第三代Tensor核心，進一步提升AI推理和訓練能力。3）H100基于Hopper架構，采用臺積電4nm工藝，集成800億個晶體管。H100中還搭載Transformer引擎，該引擎為Tensor核心的變體，專用于Transformer訓練和推理，使大模型訓練速度提升6倍。此外，H100更大的顯存和顯存容量進一步滿足了大語言模型的訓練需求。在最新MLPerf訓練基準測試中，搭載3584顆H100的云端計算系統完成GPT-3模型的訓練時長僅11分鐘。H100市場需求大，預計推出H200帶來性能的進一步提升。英偉達在AI芯片市場的市占率超過80%，一張H100型號的AI芯片在Ebay上的價格甚至炒到了4.5萬美元，而據英偉達在2024財年Q4財報電話會上透露，公司將在二季度推出的H200芯片的推理性能H100的兩倍。B100即將發布，帶來性能全面升級。公司將在GTC2024公布采用Blackwell架構的最新芯片B100GPU。B100相較采用Hopper架構的H系列產品，整體效能均進行大幅提升，HBM內存容量比H200芯片高出約40%，同時AI效能為H200GPU兩倍以上、H100的四倍以上。推理端GPU全面覆蓋AI應用場景。目前英偉達在推理端的產品主要包括A2、A10、A30、T4、L4、L40。1）A2：面向智能視頻領域，為推理端的入門產品。該芯片具有體積小，低功耗的特點，可在數據中心密集部署。2）A10：面對數據中心輕中量級的圖形需求，用于加速深度學習推理，交互式渲染和云游戲。3）A30：該芯片能夠為行業標準服務器提供通用的性能，支持廣泛的AI推理和主流企業級計算工作負載，如推薦系統、對話式AI和計算機視覺。5）A40：基于Ampere架構，主要面向數據中心的計算密集型工作負載，例如數據科學、深度學習和機器學習。相比較與其它推理端GPU，A40擁有更高的功耗。4）L4：基于AdaLovelace架構，擁有顯著的能效比優勢。并且L4在提高算力的基礎上繼承了T4小體積的優勢，可在數據中心大規模部署。同時，L4支持視頻AV1編碼/解碼，這對于與視頻相關的云服務至關重要。GraceCPU是英偉達的第一個數據中心CPU，于23年下半年投入生產。GraceCPU配合GPU使用，具有高帶寬低功耗內存的優勢。GraceCPU搭載NVLinkChip-2-Chip（C2C）技術，GraceCPU之間或與HopperGPU之間的雙向帶寬可高達900GB/s，有效地提升了計算效率，可組成GraceHopper超級計算架構。GraceCPU較傳統X86CPU更適合AI運算。在真實工作負載測試中，GraceCPU超級芯片在相同的功率范圍內運行主流數據中心CPU應用的性能比X86處理器提高2倍。相比于X86CPU，Grace能提供更高帶寬和更低能耗。GraceHopper系統的GPU-CPU雙向鏈接帶寬最高能達到900GB/s，遠高于傳統X86CPU+HopperGPU結構的128GB/s。新一代GH200GraceHopper超級芯片平臺，迎接加速計算和生成式AI時代。公司于2023年8月8日發布新一代NVIDIAGH200GraceHopper平臺，基于全球首款搭載HBM3e處理器的GraceHopper超級芯片，專為處理大語言模型、推薦系統、矢量數據庫等全球最復雜的生成式AI工作負載而構建。新平臺性能提升，可高效運行更大模型。該平臺采用雙配置，提供的內存容量和帶寬比當前產品分別增加了3.5倍和3倍，包括一個擁有144個ArmNeoverse內核、8petaflops的AI性能和282GB最新HBM3e內存技術的單個服務器。GraceHopper超級芯片可通過NVLink與其他超級芯片連接，協同工作，部署大型生成式AI模型，使GPU可以完全訪問CPU內存，在雙配置中可提供總計1.2TB的快速內存。HBM3e內存比HBM3快50%，可提供總計10TB/s的帶寬，使得新平臺能夠運行比上一版本大3.5倍的模型。公司率先開發DPU，具備更加高效、節能等優勢。數據處理單元（DPU）集成了專用的網絡加速模塊，用于完成數據中心中網絡協議處理、網絡安全和存儲控制等任務，DPU提供的高速網絡能有效減少數據傳輸過程中的算力損耗。DPU比通用CPU更有效地運行數據中心基礎設施任務，且DPU上的CPU內核往往比一般服務器CPU更節能，同時可以直接訪問網絡管道。因此，DPU內核可更有效地執行遙測、深度數據包檢測或其他網絡任務。英偉達率先將DPU定義為數據中心的“第三顆主力芯片”。借助BlueField實現數據中心轉型，DPU迭代加速。目前英偉達在產品上具備先發優勢，自英偉達收購Mellanox以來，英偉達先后推出了3代DPU芯片，包括：BlueFieldDPU，BlueField2.DPU和BlueField-3DPU。其中最新的BlueField-3DPU于2022年推出，該芯片使用ARM核，能提供最高之400Gb/s的網絡傳輸速度。英偉達希望DPU逐步取代當前主流的英特爾和AMD主導的低端X86CPU。2.3DGX全力構建AI基礎設施DGX構建AI基礎設施，GH200超算系統鞏固行業領先地位。NVIDIADGX是NVIDIA推出的一系列集成式深度學習系統，旨在為AI工作負載提供高性能的計算和數據處理能力。DGX系列產品集成了AI計算芯片、高速互連技術和軟件工具，以加速深度學習訓練和推理任務，大大簡化用戶部署和管理服務器的過程，具備可擴展性，可通過連接多個DGX系統以構建更大規模的AI集群。公司23年5月29日發布了DGXGH200超算系統，搭載了256塊GraceHopper超級計算芯片，擁有18432個CPU核心和144TB顯存。通過高速互聯技術保證芯片間的數據傳輸，為AI模型提供內存支持。其中NVLinkC2C負責CPU與GPU之間的數據通信，NVLink4和NVSwitch負責GPU之間的數據傳輸。高性能芯片和互聯技術的集成使DGXGH200擁有極為強大的性能，可處理大型推薦系統、生成式AI和圖形分析領域的TB級模型，為超大AI模型提供具備線性擴展能力的大型共享內存空間。3.游戲業務技術領先，業績重回增長趨勢3.1游戲業務回升，新一代RTX40系顯卡或成拐點獨立顯卡出貨量增長，游戲業務重回增長。英偉達2024財年的游戲收入為104億美元，比2023財年增長15%。24財年第一季度游戲業務營收僅22.4億美元，同比下降38%，主要原因有：1）期間游戲業務爆發式增長，導致消費者當期設備升級的需求低。2）下游PC市場去庫存，其中絕大部分庫存搭載上一代RTX30系獨立顯卡，影響獨立顯卡銷售。24財年第三、四季度，公司獨立顯卡出貨量以及游戲業務收入均有所回升，其中第四季度獨立顯卡出貨量760萬塊，公司游戲業務總收入29億美元。英偉達獨立顯卡領域龍頭地位穩固。根據游戲平臺Steam每月公布的硬件調查數據，英偉達GPU穩居排名第一位置，在2024年2月公司GPU的市場占有率約為77%，AMD為15%，英特爾為8%，其他公司在PC端GPU賽道與英偉達仍有較大差距。新一代RTX40系顯卡驅動業務復蘇。隨著PC去庫存進程即將結束，渠道庫存水平正常化，合作伙伴的銷售量增加，公司新一代顯卡的銷售量回升。RTX4060Ti16G，RTX4060兩款獨立顯卡在2023年5月發售，這兩款顯卡均對應中端市場，具有極高的性價比優勢。RTX4060Ti16G和RTX4060的發售有望持續帶動英偉達未來的游戲業務營收增長。電影級光線追蹤技術進一步鞏固行業領先地位，產品迭代增強功能。目前英偉達PC端GPU產品包括GeForceRTX和GeForceGTX兩個系列。自英偉達20系PC端顯卡開始，公司將其先前的GTX系列更名為RTX。其中GeForceRTX平臺搭載了專用的光線追蹤硬件RTCore，每秒可投射超10GB光線，在游戲中實現電影級實時照明。2024年3月，據博板堂透露，公司已徹底停產GeForceGTX16系列GPU，預計1到3個月消化完庫存，RTX系列產品已經完整覆蓋了低/中/高端的獨立顯卡市場。公司在CES2024上推出全新GeForceRTX40SUPER系列顯卡、全新RTX游戲、G-SYNC技術、生成式AI領域創新、針對RTX視頻超分辨率的全新增強功能。AdaLovelace架構為新一代顯卡表現帶來質變。AdaLovelace是英偉達推出的第三代RTX架構。作為RTX40系顯卡的核心，Ada架構使新一代顯卡在性能和效率上都實現了質的飛躍。該架構搭載的第四代TensorCores具有高達1.32Petaflops的FP8張量處理性能，較上一代性能提升超過5倍。同時該架構基于臺積電4nm制程工藝，實現了能效比較上一代2倍的提升。并且更高的能效比意味著新一代RTX40系GPU將在筆記本電腦端帶來更強的性能釋放。3.2DLSS3技術為游戲體驗帶來質變DLSS3具備AI技術優勢，推動游戲業務發展。DLSS3技術由最新一代GeForceRTX40系GPU所搭載的Tensor核心和光流加速器支持。該技術能夠預測場景中幀與幀之間的運動變化，從而通過AI實現幀生成技術，提高幀率的同時保持圖像質量。DLSS3能通過AI重建7/8的顯示像素，與沒有DLSS相比，游戲性能提升了4倍。該技術將對PC端的游戲體驗帶來顯著提升，使玩家能夠不受硬件限制，僅憑AI計算提高游戲幀率，未來有望刺激PC端的換機需求，為游戲業務創造增量。3.3布局云游戲，擴大游戲業務增長空間GeForceNow，新一代的云端游戲解決方案。GeForceNow是公司推出的一項云游戲流媒體服務，允許用戶通過互聯網流式傳輸游戲，而無需下載或安裝游戲本身。用戶可以通過各種終端設備（如PC、Mac、筆記本電腦、智能手機和電視等）訪問GeForceNow，而不用受制于終端設備本身的硬件條件。基于英偉達性能強勁的GeForceRTX系列GPU和GameReady驅動，GeForceNow能給玩家提供更好的游戲體驗。此外，與其競爭對手谷歌Stadia和微軟xCloud不同，GeForceNow不受游戲平臺限制。在Stadia和xCloud游玩的玩家只能與同平臺的玩家互動，而使用GeForce的玩家可以進行跨平臺互動。云游戲市場前景廣闊。根據Statista提供的數據，2025年云游戲市場規模預計達到81.7億美元，2022-2025年間的CAGR達約51%。受制于網絡延遲等因素，現階段的云游戲市場成熟度有待提升，發展前景廣闊，英偉達提前布局云游戲領域有望在未來獲得更多市場份額。4.專業可視化業務略有提升，應用場景廣泛4.1專業可視化業務表現穩定，FY24Q4營收同比提升與獨立軟件供應商ISV密切合作，為客戶提供軟硬件結合的解決方案。其中硬件層面包括RTX系列GPU，用于為軟件層的圖形渲染提供算力支持。軟件層面為Omniverse協同工作平臺。專業可視化業務為設計、制造和數字內容創建等多領域的關鍵工作流程進行優化。其中設計和制造包括計算機輔助設計、建筑設計、消費品制造、醫療儀器和航空航天。數字內容創作包括專業視頻編輯和后期制作、電影特效和廣播電視圖形。2024財年的專業可視化收入為16億美元，比2023財年增長1%；24財年四季度實現營收4.63億美元，同比增長105%。4.2Omniverse助力構建全新生態Omniverse打造全新協同工作平臺，布局元宇宙。Omniverse是由英偉達基于UniversalSceneDescription（USD）構建的虛擬協作和仿真平臺，能將設計師、工程師和其他創作者連接到同一個虛擬平臺中實時協同工作。Omniverse平臺優勢明顯。1）Omniverse可連接不同設計工具和軟件，如AutodeskMaya、AdobePhotoshop等，使其能夠實時傳輸數據和更好地集成工作流程。2）作為開放性的平臺，向開發者提供了API和SDK，使開發者能夠擴展和定制平臺，與其他工具和系統進行集成。結合構建CUDA生態系統的成功經歷，未來可能構建出基于Omniverse的完整生態系統。3）基于RTX技術，Omniverse能夠進行實時的物理仿真和模擬，在虛擬世界中復現現實世界中的元素，例如光線、重力、碰撞等。應用場景廣闊，助力企業提高生產效率。Omniverse的應用場景覆蓋了建筑工程，媒體和娛樂，制造業，超算行業以及游戲開發。目前寶馬已經開始應用Omniverse優化工作流程，該技術目前能完全模擬寶馬31座工廠的所有元素，包括工人、機器人、建筑物等，工廠內的工作者能夠在虛擬空間中進行生產規劃。目前寶馬已經通過該技術將工廠生產規劃效率提升了30%。5.汽車業務架構逐漸完善，自動駕駛創造新增量5.1自動駕駛業務保持增長，未來前景廣闊汽車業務表現突出，看好未來增長空間。公司的自動駕駛業務由駕駛艙AV平臺、AI駕駛艙和信息娛樂解決方案以及相關的開發協議組成。2024財年第四季度公司的汽車業務收入同比略有下降，為2.81億美元；但全年實現營收11億美元，同比23財年增長21%。汽車業務與供應鏈多企業達成合作，DRIVEOrin與GPU帶來增量。汽車制造商理想、蔚來、小鵬，威馬、比亞迪、沃爾沃、比亞迪等，還有滴滴、小馬智行等出租公司都正基于Orin平臺進行自動駕駛開發。在智能座艙領域，英偉達在23年5月與聯發科建立合作伙伴關系。聯發科將開發集成英偉達GPU芯粒（chiplet）的汽車SoC，搭載NVIDIAAI和圖形計算IP，聯發科的智能座艙解決方案將運行NVIDIADRIVEOS、DRIVEIX、CUDA和TensorRT軟件技術，提供先進的圖形計算、人工智能、功能安全和信息安全等全方位的AI智能座艙功能。英偉達在22年9月發布了基于Hopper架構的Thor芯片。Thor芯片算力高達2,000TOPS，是Orin的近8倍，是單顆FSD芯片的28倍。Thor可集成智能汽車所有AI計算需求，包括智能駕駛、主動安全、智能座艙、自動泊車、車載操作系統、信息娛樂等，將在25年上量，未來有望成為智能汽車的集中式中央域控的中央大腦。5.2軟硬件結合打造自動駕駛完整開發生態高性能芯片為自動駕駛業務提供硬件支持。1）NVIDIADRIVEHyperion自動駕駛開發平臺集成了AI芯片和完整的傳感器套件，包括12個外部攝像頭、3個內部攝像頭、9個雷達、12個超聲波、1個前置激光雷達和1個用于真值數據收集的激光雷達。該系統與軟件棧結合，加速車輛自動駕駛技術開發。2）NVIDIADRIVEOrinSoC可提供每秒254TOPS，是自動駕駛系統的算力核心。OrinSoC采用7納米工藝，由Ampere架構的GPU、ARMHerculesCPU、第二代深度學習加速器DLA、第二代視覺加速器PVA、視頻編解碼器、寬動態范圍的ISP組成，引入了車規級安全島設計，為自動駕駛功能、置信視圖、數字集群和AI駕駛艙提供動力支持。全面開放的軟件棧，構建完整的自動駕駛開發系統。NVIDIADriven的軟件棧完整覆蓋了包括感知、定位和地圖構建、計劃和控制、駕駛員監控和自然語言處理部分，能夠有效地輔助用戶開發和部署自動駕駛應用。包括：1）DRIVEOS：由嵌入式實時操作系統、Hypervisor、CUDA庫和TensorRT組成，是整個軟件堆棧的基礎，主要用于為應用程序提供安全可靠的執行環境。2）DRIVEWorks：作為中間層充分調用硬件層的計算能力，達到硬件的全部吞吐量限制。3）DRIVEAV：獲取傳感器數據以完成距離測算、識別障礙物等功能，并基于數據進行地圖構建和路徑規劃。4）DRIVEIX：用于訪問駕駛倉內感知的應用程序，可實現駕駛員監控、AR/VR可視化和實現車輛與乘客間的自然語言交互等功能。6.布局具身智能，機器人有望引領AI浪潮6.1開辟具身智能新領域，加緊平臺構建開辟具身智能體領域，VIMA實現機械臂操作。在ITFWorld2023半導體大會上，英偉達創始人兼CEO黃仁勛表示，人工智能的下一個浪潮將是具身智能（embodiedAI），即能理解、推理、并與物理世界互動的智能系統。同時，公布VIMA多模態具身人工智能系統，能夠在視覺文本提示的指導下執行復雜的任務。VIMA基于Transformer架構的仿真機器人智能體，能像GPT-4一樣接受Prompt輸入，而且輸入可以是多模態的（文本、圖像、視頻或它們的混合），然后輸出動作，完成指定任務。軟硬件設施齊備。公司在具身智能領域所開發的代表性產品是數字孿生平臺Omniverse和Isaac平臺。Isaac平臺配套IsaacGem硬件加速工具、IsaacSim仿真平臺以及用于端到端工作流部署和管理的EGXFleetCommand和IsaacforAMR等。硬件方面，公司開發Jetson系列嵌入式AI平臺，包含Jetson模組、用于加速軟件的NVIDIAJetPackSDK，以及包含傳感器、SDK、服務和產品的生態系統等。NVIDIAIsaac平臺，加速AMR研發。公司Isaac平臺是一個全新開放式平臺，結合從邊緣到云的計算能力與強大的軟件堆棧，適用于AI自主移動機器人（AMR）。IsaacAMR平臺使用新的IsaacROS（機器人操作系統）GEM、IsaacSim中的倉庫仿真和IsaacNovaOrin優化運營效率，使用AI為機器人開發解決方案提供動力支持，提供包括機器人訓練、仿真、開發以及部署方案，從而加速AMR的整體開發和部署，為開發者提供了一個功能強大的端到端平臺。Jetson邊緣人工智能平臺，可運行LLM，為Isaac平臺等提供支持。Jetson作為適用于自主機器和嵌入式應用的先進平臺，包括小型、節能的生產模塊和開發套件，提供最全面的人工智能軟件堆棧，用于高性能加速，為邊緣的GenerativeAI、NVIDIAMetropolis和Isaac平臺提供動力，與其他NVIDIA平臺無縫集成，共享AI軟件和云原生工作流。與其他嵌入式平臺不同，Jetson能夠運行大型語言模型（LLM）、視覺轉換器和本地穩定擴散，包括JetsonAGXOrin上最大的Llama-2-70B型號，以交互速率運行。量產JetsonOrin模組助力機器人更快地進入市場。量產JetsonOrin模組由英偉達其他平臺上使用的相同AI軟件和云原生工作流提供支持，可提供企業在邊緣構建自主機器所需的性能和能效，強大的Jetson軟件堆棧可幫助機器人開發者更快地將產品推向市場。JetsonOrin模組算力高275TOPS，性能是上一代產品的8倍，適用于多個并發AI推理管道，還可通過高速接口為多個傳感器提供支持，有望成為機器人開發新時代的理想解決方案。英偉達提供JetsonAGXOrin開發者套件，可以模擬整個JetsonOrin模組系列以進行開發，為制造、物流、零售、服務、農業、智慧城市、醫療健康和生命科學等領域的機器人開發和邊緣AI應用助力。6.2GEAR小組啟動，研究成果卓著成立具身智能體研究小組GEAR，正式布局、研發提速。英偉達于2024年2月24日宣布成立研究小組“GEAR”，通用具身智能體研究，標志著公司正式入局具身智能領域的研究，加速人工智能具身化進程。GEAR的任務是為虛擬和物理世界中的具體代理建立基礎模型，專注于四大關鍵領域：多模態基礎模型、通用型機器人研究、虛擬世界中的基礎智能體以及模擬與合成數據技術，已開發出VIMA、Voyager、Eureka等先進技術及解決方案。Voyager無需調整模型參數，通用人工智能體起點。Voyager是《我的世界》中第一款LLM驅動的嵌入式終身學習代理，在沒有人類干預的情況下不斷探索世界，獲得各種技能，并做出新的發現。Voyager包括：1）最大化探索的自動課程；2）用于存儲和檢索復雜行為的可執行代碼技能庫；3）結合環境反饋、執行錯誤和程序改進自我驗證的迭代提示機制。Voyager與GPT-4進行交互，從而無需對模型參數進行微調，且增強了代理能力，表現出強大的情境終身學習能力。EurekaAI智能體誕生，可自動編寫獎勵算法訓練機器人。NVIDIAResearch開發出一款名為Eureka的新型AI智能體，Eureka使用GPT-4LLM和生成式AI編寫軟件代碼，不需要任何特定任務提示或預定義的獎勵模板，且能隨時結合人類的反饋改進其獎勵。公司于23年10月20日發布此研究，包含一篇論文和相應的