魏云超北京交通大學計算機學院教授、副院長國家高層次人才計劃獲得者。曾在新加坡國立大學、美國伊利諾伊大學厄巴納-香檳分校、悉尼科技大學從事研究工作。入選MITTR35China、百度全球高潛力華人青年學者、《澳大利亞人》TOP40RisingStar；獲世界互聯網大會領先科技獎（2023）、教育部高等學校自然科學獎一等獎（2022）、中國圖象圖形學學會科技技術獎一等獎（2019）、澳大利亞研究委員會青年研究獎（2019）、IBMC3SR最佳研究獎（2019）、計算機視覺世界杯ImageNet目標檢測冠軍（2014）及多項CVPR競賽冠軍；發表TPAMI、CVPR等頂級期刊/會議論文100多篇，Google引用超22000多次。目前主要研究方向包括面向非完美數據的視覺感知、多模態數據分析、生成式人工智能等。演講主題：從3D到4D，快速且時空一致的4D內容生成探索從3D到4D，快速且時空一致的4D內容生成探索魏云超北京交通大學教授4D生成未來展望4D生成未來展望生成式人工智能背景預測式人工智能生成式人工智能OutputInput新數據樣本AIModelsAIOutputInput新數據樣本AIModelsAIModels條件信息標簽形式“dog”蜘蛛俠衣服的小狗。”“dog”3D生成4D生成Zero1232023.34DGen4DGenDiffusion4DVideoCrafterVideoCrafter56生成式人工智能背景2D3D3D生成式人工智能背景scenesasneuralradiancefieldsforviewsynthesis.ECCV2020SIGGRAPH2024生成式人工智能背景PumarolaA,CoronaE,Pons-MollG,etal.D-nerf:NeuralradiancefieldsfordynamicscenesCVPR,20212D生成生成式人工智能RombachR,BlattmannA,LorenzD,etal.High-resolutionimagesynthesiswithlatentCVPR,20222D生成生成式人工智能VideoCrafter（騰訊）ChenH,XiaM,HeY,etal.Videocrafter1:Opendiffusionmodelsforhigh-qualityvideogenerationarXiv:23103D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.063D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.063D生成式人工智能Poole,Ben,etal."Dreamfusion:Text-to-3dusing2ddiffusion.“ICL3D生成式人工智能3D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.063D生成式人工智能Deitke,Matt,etal."Objaverse-xl:Auniverseof10m+3dobjects."NIPS2023.3D生成式人工智能3D生成式人工智能usinglatentvideodiffusion."arXiv3D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.063D生成式人工智能Hong,Yicong,etal."Lrm:Largereconstructionmodelforsingleimageto3d."ICLR20233D生成式人工智能Tang,Jiaxiang,etal."Lgm:Largemulti-viewgaussianmodelforhigh-resolution3dcontentcreation.“ECCV20243D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.06從3D生成看4D生成技術路線從3D生成看4D生成技術路線4D生成式人工智能背景4D模型渲染得到一個視角視頻->送入視頻生成模型評價質量->回傳梯度更新4D生成4D生成式人工智能背景細節質量問題身份一致問題4D生成未來展望從3D生成看4D生成技術路線4DGen介紹研究動機Yin,Yuyang*,DejiaXugenerationwithspatial-tempora4DGen介紹研究方法timetimetimetime 4DGen介紹研究方法4DGen介紹4DGen介紹4DGen介紹4DGen介紹4D生成未來展望從3D生成看4D生成技術路線Diffusion4D介紹多視圖生成模型可訓練鎖定迭代優化多視圖生成模型可訓練鎖定迭代優化視頻生成模型Diffusion4D介紹多視圖生成模型可訓練鎖定多視圖生成模型可訓練鎖定迭代優化迭代優化視頻生成模型Diffusion4D介紹研究動機4D的一致性可以分解成空間一致性和時間一致性空間一致性在多視圖生成模型中探索過（下時間一致性在視頻生成模型中探索過（下圖第三行）統一成一個模型結果更為一致、速度更快Diffusion4D介紹數據集構建Deitke,Matt,etal."Objaverse-xl:Auniverseof10m+3dobjects."NIPS2023.Diffusion4D介紹數據集構建數據集清洗：刪除運動程度過小、刪除動作超過邊界、刪除細節質Diffusion4D介紹研究方法總覽一階段微調3D環拍生成模型，得到4D物體環拍的視頻生成模型二階段通過4D重建算法得到4D內容Diffusion4D介紹Diffusion4D介紹圖的能力。代表工作有IM-3D(Meta),VideoMV(Alibaba),SV3D(StabilityAI)等。IM-3D:IterativeMultiviewDiffusionandReconVideoMV:ConsistentMulti-ViewGenerationBasedonLargeVideoGenerativeModel.Arxiv2024.03Diffusion4D介紹Diffusion4D介紹階段可以根據輸入運動程度來生成不同結果計算動態視頻和靜態視頻的差值來表示運動程度Diffusion4D介紹用3D擴散模型和4D擴散模型結果一起優化幾何，細階段只采用4D擴散模型結果微調Diffusion4D介紹Diffusion4D介紹Diffusion4D介紹Diffusion4D介紹運動幅度增加運動幅度增加Diffusion4D介紹生成時間生成時間4D-fyAnimate124MAV3DConsistent4D4DGenDiffusion4DDiffusion4D開源鏈接