3D內容制作與生成產業研究報告@深圳市維深信息技術有限公司AllRightsReserved本報告所采取的數據均來自于合規渠道，研究方法和分析邏輯基于維深信息的專業理解，準確的反應了作者的研究觀點。本報告僅在相關法律許可的情況下發布和流轉，在任何情況下，本報告中的信息或者表述的觀點均不構成對任何人和任何機構的投資建議。本報告的信息來源于公開的資料和數據庫，維深信息對該信息的準確性、完整性或者可靠性做盡可能的追求但不做任何保證。本報告所陳列的數據和資料、觀點意見和推測預測僅反應報告發布時點維深信息的判斷，在不同時期，維深信息可發出與本報告所載的資料、意見及推測不一致的報告。維深信息不保證本報告所含的信息在最新的狀態，同時，維深信息對本報告所含信息可在不發出通知的情況下做出修改，讀者可自行關注和跟蹤維深信息最新更新和修改。本報告版權歸屬為維深信息，歡迎研究和引用本報告內容，引用請注明數據來源為"維深信息wellsennXR",對未注明來源的引用、盜用、篡改或其他侵犯維深信息著作權的行為，維深信息將保留追求法律責任的權利。維深wellsennXR專題報告：3D內容生成報告2華天慧創WLO微型眼動追蹤和虹膜識別共用模組伴隨今年6月AppleVisionPro頭顯設備的發布，眼動追蹤和虹膜識別技術成為了未來MR領域熱門的需求，華天慧創于2023年10月10日在AR/VR領域首發，推出全球首創WLO微型眼動追蹤和虹膜識別共用模組。華天慧創科技(西安)有限公司是天水華天電子集團新設立的高科技子公司。公司成立于2018年3月，地處西安經濟技術開發區。慧創公司總投資23億元，一期面積：15000m2,二期面積：37000m2。公司主要以"晶圓級微納光學設計&制造"為核心，業務范圍主要集中在微納米光學器件、醫用內窺鏡、光通訊、AR/VR光波導、模組封裝等領域。集光學設計、工藝開發、模組生產為一體，整合光學與半導體產業鏈。維深wellsennXR專題報告：3D內容生成報告3互聯網信息形式的發展經歷了文字、圖片、視頻三個階段，這些信息形式都屬于2D內容，其發展的規律是信息密度、信息承載量越來越大，2D內容進化的下一個方向是3D內容，而VR/AR/MR是3D內容最核心的硬件載體。隨著XR行業逐步發展和成熟，3D內容的生產和應用必將更為廣泛，產業即將迎來真正的爆發，wellsennXR預計到2030年XR領域的3D內容制作產業將達到480億元規模。2D內容和3D內容之間差異在是否有深度信息，是否能構建三維模型。視覺上，觀察3D內容會產生立體視覺，觀察2D內容則不會。從2D內容發展到3D內誤以為被觀察對象為3D內容，這種內容包括3D電影、空間視頻、裸眼3D以及全息投影等，其較傳統的2D內容會有更優質的視覺體驗，隨著蘋果VisionProMR的推出，也將迎來爆發。3D內容生產目前屬于專業化生產階段，由專業從業人員使用專業工具制作，應用于工業、影視等專業領域，現隨著移動端配置提升，部分中、高端機型具備初步實現3D掃描的可能，朝UGC方向發展。3D建模方式主要有3D掃描建模、3D軟件建模、AIGC建模。體積視頻拍攝能以三維的方式記錄真實的動態，其本質是構建連續的靜態3D模型進行播放。3D掃描建模方式主要有4種：激光三角測量掃描、結構光掃描、飛行時間激光掃描、全局攝影測量。3D軟件建模主要有CAD建模、多邊形建模、數字雕刻三種類型。AIGC建模以NeRF技術最為知名，少量圖片或一段文字輸入即可生成3D蘋果3D內容生態局已有初步雛形。蘋果3D內容有兩種：空間視頻、3D模型。空間視頻使用iPhone主攝、超廣角兩枚相機拍攝，借助雙眼視差原理提供立體視覺；蘋果3D模型主要采用LiDAR和攝影測量技術，以API的形式提供給開發者使用，制作3D建模軟件。維深wellsennXR專題報告：3D內容生成報告4一、3D內容發展概述 6(一)信息載體發展歷程 6(二)互聯網信息形態進化趨勢 7二、3D內容形態與分類 8(一)3D內容形態概述 8(二)2.5D內容形態與分類 (三)3D內容形態與分類 三、3D內容生產 (二)3D/體積視頻拍攝 (三)3D內容創作工具 (四)3D內容生產發展趨勢 (五)全球XR產業3D內容規模 (六)3D內容生產產業地圖 四、蘋果3D內容生態布局分析 (一)蘋果空間視頻與3D建模 (二)蘋果3D內容生態布局 維深wellsennXR專題報告：3D內容生成報告5(一)信息載體發展歷程人類信息傳播的主要載體經歷了：語言、文字、照片、視頻，每種新載體的誕生、各個載體內部的發展，在追求生產效率的同時都在追求如何更為真實、形象地反映真實世界。語言文字照片視頻語言靠聲波傳遞，聲波會隨距離的增大而衰減，意味著人類用語言進行交流有距離限制，超出一定距離便無法依靠聲波進行交流，此外，聲音稍縱即逝，無法保存。在圖畫基礎上發展而來的文字，打破了這一限制，它能夠將語言完整記錄下來，信息能夠跨越時間和空間得到保存和傳播，所以我們能看到甲骨文、扁鵲醫學典籍等的出土，佛經才能跨越海洋隨眾僧傳入日本。照片的出現，從視覺上記錄了某一時刻的真實場景，讓信息擺脫了人類大腦的中介，避免了語言、文字描述的失真。連續的照片組成了視頻，記錄了連續的時刻。發展至今，照片、視頻已成為真實記錄的最主要手段，能最大程度上實現場景的再現。載體之間，新的載體信息承載量較前者更為豐富。新載體的誕生與每種載體的內部發展都在追求生動形象與臨場感。語言講究繪聲繪色，文字講究信達雅、畫作講究栩栩如生，照片與視頻追求更高的分辨率以使呈現效果最大可能接近記錄的真實世界。維深wellsennXR專題報告：3D內容生成報告6照片、視頻之后，想要追求更真實地還原現實世界，需要呈現照片、視頻未記錄下的信息。單一照片、視頻記錄的是某一時刻單個視角下的對象，觀看者無法知曉其他角度下的對象信息，因為被記錄對象的縱向信息缺乏，屬于2D內容。真實世界是三維的，以3D內容的形式才能進行完整的記錄，可供各個視角進行觀察。(二)互聯網信息形態進化趨勢通訊技術和XR終端硬件進步，推動互聯網進入3D化時代。在PC互聯網時代，由于算力、儲存、網絡傳輸速率等影響，互聯網的信息形式主要是文字和圖片，例如門戶網站、BBS論壇以及Email等，主要內容以圖文方式呈現。移動互聯網時代，手機成為了核心的信息終端，攝像頭成為了手機的核心配置之一，通訊技術，特別是4G,大大的提高了傳輸速率，讓圖片和視頻成為移動時代的主要信息隨著5G時代的來臨，深度攝像頭逐步成為標準配置，三維建模和成像技術的進步同時VR/AR將成5G時代的通用計算終端，進一步推動對3D內容的需求，3D全息技術將成為5G時代的核心內容形式，互聯網進入3D化時代，成為構建Metaverse沉浸體驗的基歷代互聯網發展特征PC互聯網移動互聯網全真互聯網Metaverse信息形式文字、圖片視頻、文字、圖片3D全息、視頻、文字、圖片硬件終端個人電腦手機VR/AR信息傳輸光纖寬帶3G/4G5G/6G數字化場景線上線上到線下物理世界到虛擬世界參與度所有人規則中心化中心化去中心化流量入口門戶網站超強APP超級Metaverse社區維深wellsennXR專題報告：3D內容生成報告72D內容與3D內容差異在于是否有縱向維度的信息，視覺體驗差別在于是否能產生立體視覺。在2D內容向3D內容發展過程中出現了一種中間形態2.5D內容。2.5D內容擁有部分3D特征，但無縱向的深度信息，無法構建三維對象，本質上仍為二維。2.5D內容主要有兩種形式，一種以3D電影為代表，特點在于制造類似3D的立體視覺效果；另一種以全景為代表，特點在于通過拼接、擴大視場角的方式，盡可能以二維形式記錄更多三維空間的內容。多數人都是在2.5D的體驗中完成了對3D的認知，將3D和立體視覺劃上了等號，但產生了立體視覺不等于被觀察對象為3D內容，2.5D內容雖然讓人產生了一定立體視覺，但其本質上是對2D內容的呈現。1、2D內容與3D內容差異D是維度Dimension縮寫，2D內容與3D內容的差異，在于記錄信息的維度。2D內容記錄二維信息，3D內容記錄三維信息，差異在于被記錄內容是否有縱向維度的信息。維深wellsennXR專題報告：3D內容生成報告8在二維平面，每個點都可以用兩個坐標數值(x,y),也就是二維坐標來確定位置；在三維空間，每個點都可以用三個坐標數值(x,y,z)也就是三維坐標來確定位置。2D內容與3D內容相比，缺少的正是縱向距離坐標的信息，也就是常說的深度信息。只螞蟻在二維平面，只能沿x、y軸構成的平面上、下、左、右爬行，但無法穿過這個面往前、后方向爬行，在立方體中卻可以，因為立方體多了一個縱向的維度，讓六個面組合成Z二維平面三維空間照片是某個視角下，場景中的顏色信息以像素點為單位被記錄在一個面上，照片上的所有像素點擁有二維坐標，這些點集合成了照片上的圖像。點的密度越大，照片對物體的記錄越詳細、越真實，也就是我們常說的分辨率的高低。如果我們知道每個像素點的三維坐標、顏色、亮度等信息(像素點在三維空間對應體素的概念),將這些點集合在一起組合成三維圖像，能從各個角度觀察對象。同樣，點的密度越大，記錄的物體越真實。2、雙眼視差與立體視覺3D內容與2D內容相較在視覺觀察上有一項顯著特點——立體視覺，也就是我們說的立體感。日常生活中接觸的3D,通常是利用雙眼視差“欺騙大腦”產生的真的3D。雙眼視差，指人眼在看向某一物體時，由于左、右眼處于水平線不同位置，左、右眼擁有不同的觀察視角，物體的反射光線落到左、右眼視網膜成像略有差異，這種差異被稱為視差。大腦接收到視差，會將不同的成像信息進行融合，讓人產生立體視覺。右眼左眼右眼(一)觀察3D內容左眼右眼(二)觀察2D內容觀察2D內容，無論從哪個角度觀察，左、右眼看到的是相同的圖像，無法形成視差，也不會產生立體視覺。生活中接觸的3D多利用雙眼視差，通過向左、右眼分別投射同一場景下略有差異的二維圖像，大腦誤以為來自不同視角，讓觀察者產生立體感，認為在觀察立體的3D對象。維深wellsennXR專題報告：3D內容生成報告10(二)2.5D內容形態與分類日常生活中我們接觸到的3D多數情況下是利用了雙眼視差產生立體視覺的2.5D內容，本質上呈現的是2D圖像。2.5D內容主要呈現：·呈現3D立體視覺的2D圖像，視覺內容不隨觀看者角度的變化而變化；·呈現3D立體視覺的2D圖像，視覺內容隨觀看者角度的變化而變化；·通過擴大視場角、拼接的方式，使用2D圖像盡可能記錄更大范圍三維空間的內容；2.5D內容追求的是視覺上的3D效果即立體視覺，或更接近三維信息量的2D圖像，而非真正有深度信息的3D內容。3D電影的立體效果是一種錯覺，而不是真實的深度感，是通過左、右眼觀看同一場景的不同圖像產生視差，讓大腦誤以為是不同視角的圖像進行處理和理解產生的。3D電影在拍攝時，用雙目相機或多個相機同時拍攝同一場景，兩個相機分別使用不同方向的偏振濾光片，光線按照偏振方向進行分離(只有與偏振片相同方向的光線才能透過),兩個攝像頭拍攝同一個場景，捕捉到兩張有差異的圖像。維深wellsennXR專題報告：3D內容生成報告11在觀看3D電影時，會在屏幕上同時顯示兩張圖像，3D眼鏡左、右鏡片貼有對應不同方向的偏振濾光片，濾掉相應屏幕上另外一個圖像的光線，大腦會將左、右眼略有差異的圖像視為來自不同角度，從而產生立體感。除了使用偏振濾光片，其他方式下的3D電影播放，最終都是在同一幀畫面向左、右眼呈現不同圖像形成雙眼視差，讓用戶產生立體感。3D電視、游戲多依靠屏幕高頻交替播放左、右眼視圖實現，觀眾戴上主動式3D眼鏡，眼鏡片的液晶層在黑色、透明兩種狀態下迅速切換，具體切換動作以屏幕上方的紅外LED燈發射的紅外信號作為指示。播放左眼視圖時，遮擋右眼，播放右眼視圖時，遮擋左眼，在高速切換下實現立體視覺。這種方式也被稱為主動快門式3D技術，佩戴由液晶屏構成進行主動切換的眼鏡稱為主動式3D眼鏡，相對應的，普通3D眼鏡則被稱為被動式3D眼鏡。這種方式下的立體視覺效果較好，但對屏幕刷新率要求較高，需達120Hz。2、可交互3D顯示器3D顯示器同樣通過向左、右眼投射不同圖像形成視差，產生立體視覺。觀眾佩戴3D眼鏡進行觀察，當觀眾移動頭部時，觀察畫面會隨角度變化而變化。圖源：網絡(HPZvr虛擬現實3D顯示器)維深wellsennXR專題報告：3D內容生成報告可交互3D顯示器立體感相對普通的3D電影更強，被展示物體在屏幕和雙眼之間呈現，有明顯空間感，可以看到被展示物體的不同側面，視覺效果更接近實現方式：顯示屏內置跟蹤功能進行空間定位，傳感器會通過手寫筆以及3D眼鏡上的跟蹤標記對觀察者定位，再根據觀察者的頭部移動，實時生成觀察者視角下的左、右眼視圖，讓觀察者產生立體感。3、裸眼3D顯示器裸眼3D不需要用戶佩戴3D眼鏡即可看到3D效果。相較于3D電影，裸眼3D有更多的角度選擇，用戶可以站在屏幕前的任何角度觀看，不同角度能看到展示對象的不同面。這種方式下的裸眼3D重點在于屏幕，靠的是屏幕向不同方向發射不同二維圖像，不同方位下的雙眼能看到不同的圖像，繼而帶來立體感，展示的圖像仍為二維圖像。光場顯示器是其中一種，例如全息相框LookingGlassPortrait,其光場景顯示器能生成45到100個視圖并同時投影，以60FPS刷新率顯示，裸眼看到立體效果，畫面隨觀察角度變化而變化。所拍攝的圖像需由支持捕獲深度信息的相機拍攝，如搭載LiDAR的iPhone。索尼曾推出一款裸眼3D顯示器SpatialRealityDisplay,在傳統LCD屏上方通過透鏡使光線發生折射產生3D效果，從不同角度觀看畫面不同。顯示器上方配備有一枚相機，進行眼動追蹤，根據眼睛觀察的方向和距離對畫面進行實時渲染，以匹配觀察者的視角。演唱會3D全息投影有多種形式，最簡單的一種不需要全息技術，利用雙眼視差即可完成。演唱會現安裝多臺投影設備，從多個角度投射圖像，讓觀眾站在不同角度，左、右眼都能看不同圖像，產生立體感。部分需要佩戴3D眼鏡，立體維深wellsennXR專題報告：3D內容生成報告13另一種較為常見的方式，是利用激光或LED等光源照射到特殊的透明薄膜，反射到觀眾眼里，呈現立體效果，這種方式下投影的仍然為經過處理的二維圖像而非三維圖像。真正的全息投射的是三維圖像，利用了光的衍射和干涉，例如部分展覽展示中所使用的空氣全息投影，在展示技術與空間上要求更高。5、全景視頻、VR相機全景是另一種形式的2.5內容，它通過魚眼鏡頭、拼接，擴大視角場，以二維圖像記錄缺乏深度的三維信息。全景視頻由二維視頻拼接成360度全景視角，在VR中播放時，同樣是左、右眼呈現不同的圖像，借助雙眼視差產生立體視覺和沉浸感。全景視頻的拍攝可以是單個相機拍攝后進行拼接，再進行視角轉換處理，也可以使用立體相機拍攝，立體相機有兩個或多個攝像頭，對同一場景同時進行拍攝后拼接，直接為左、右眼獲取不同圖像，無需后期做視在觀看全景內容時，用戶代入拍攝相機的視角，包裹在180度/360度二維圖像/視頻當中，旋轉頭部能看到周圍的景象，在被二維圖像環繞的場景中也能產生置身于三維世界的臨場感。當視場角擴大到一定程度時，全景內容觀看時VR發展早期，全景是VR最豐富、最主要的內容填充，部分全景相機會直接稱作VR相機，后期全景相機針對VR作出優化，有了針對VR拍攝照片、視頻的VR相機，本質上仍為全景相機，但在VR播放適用性上要比全景相機更方便。維深wellsennXR專題報告：3D內容生成報告14全景相機拍攝完成后，還需要使用專門的軟件進行拼接、校正，VR相機則可以直接將拍攝的視頻、照片上傳至VR設備進行觀看，無需后期處理。VR通過兩枚攝像頭共同拍攝記錄同一場景，采用"視角重疊"技術將不同視角的圖像合成全景圖像，可以直接輸出。以VR180度相機開飛為例，采用雙魚眼鏡頭拍攝，分別為左、右眼獲取圖像，拍攝內容也無需拼接，可以一鍵上傳和直播，相比普通全景相機更為方便且適用于VR。從開飛現有VR內容播放效果看，與普通2D視頻相比，觀看時會有一定立體感，拍攝場景錄入了房間墻壁折角位置，視覺上，播放屏幕與視頻背景形成"盒子",也會產生一定空間感。視頻與眼部距離相對較近且固定，視頻進行了放大，撐滿180度總結：3D內容的制作與展示相對復雜，多數人是在2.5D內容的接觸下完成了對3D的認知，對3D內容的認識停留在視覺上的立體感。2.5D內容本質上是二維信息的記錄，無法真正作為3D素材使用，比如3D打印、模型制作等等。但2.5D內容在2D的基礎上豐富了我們的視覺體驗，帶我們朝真正的3D內容體驗邁進一步。2.5D內容裸眼3D部分全息投影全最視頻50電影30電視/游觀棵眼3D屏交互式3D屏投影儀投影全景相機VR相機效果圖原理雙目視差雙目視差雙目視雙目視差*傳感器定位雙目視差拼接+雙目視差拼接·雙目視差呈現效果有-不同視角卷內容無差別。式3D眼鏡觀看，較好，不同視角看內容無差別。不用佩戴3D眼鏡不同角度觀看，不同角度觀看屏幕，能看到物體不同側面，在屏幕和人立體展不同角度看到不同側面，可用搭配的筆進行交互。不用佩戴3D眼鏡，觀眾站在任何角度都可以看到有立體感的展示對象。用戶可以看到整個場景的全部山果在VF560度觀卷，會有定的立體感，但不能在其中移動。用戶可以看到整個場景的全部，如果/Dhz度觀看，會有-一定的立體感，但不能在其中移動，如何實現抱題時從不同規角搶冊兩金圖償，像，最終分別星現在左、右眼。屏慈以高制新率(>120Hz)依次L*U右眼，反之亦然。屏幕向不同方向發射不同的二顯示屏內置跟蹤功能，眼鏡兩側安裝傳成器。屏察獲取頭部1右眼視圖。多個位置安裝投多角圖修技用宋高憑閱角度態用有呢等照片到透明薄膜反射至觀眾眼里。單個或多個相機拍攝后拼接成完的動景，在VK中播放!星現不體感。通過不同視角擦像頭共同拍攝記錄同場景，采用”視角重疊“技術將接輸出在VR中播放應用場景電影電視展覽展示展覽展示演唱會、音樂會VRVR維深wellsennXR專題報告：3D內容生成報告15真正的3D內容記錄三維信息，能夠構建三維模型，可以360度查看。它可以是存在于電腦中的模型，也可以是3D形式下錄制的一段視頻。3D內容與2.5D內容相比，劣勢在于難以三維形式記錄和展示動態3D內容，產生有視覺沖擊力的立體視覺。3D內容主要切實投入生產，廣泛應用于工業、建筑、3D打印等多領域，在展示上，除去VR/AR鮮少能以三維狀態出現在日常生活中，多以3D模型的形式存在于電腦端，或最終化為游戲、動畫的一部分以二維圖像的形式出現在手機、電腦端。根據3D內容的制作，將3D內容分為靜態、動態兩種。1、靜態3D內容3D模型是最典型、應用最廣泛的靜態3D內容，制作方式較為成熟，主要有3種方式：3D掃描建模、3D軟件建模、AIGC建模。構建好的靜態模型可以直接用于展示，用于多角度查看，可以打印成實物。靜態模型也可以作為素材通過后期處理制作成動態內容，最終通常不以三維的形式呈現。靜態3D內容廣泛應用于3D打印、游戲、影視、醫療、教育、建筑、電商等產業。在影視、游戲中應用時，后期處理做成動畫，起增加真實感的作用，最終會化為一幀幀的二維圖像出現在電視、手機等屏幕。3D內容常見應用領域維深wellsennXR專題報告：3D內容生成報告162、動態3D內容動態3D內容分為兩種，一種是先構建好靜態的3D模型，后期通過軟件制作成的動態內容；第二種是直接記錄動態的三維影像，以體積視頻為主，通過環繞的數枚相機同步錄制，本質是一連串靜態3D模型的播放。靜態3D模型的制作無時間概念，但體積視頻在錄制時，需要捕捉每個時刻下目標對象的三維信息。同一時刻，單枚相機只能記錄一個角度的信息，體積視頻通常采用全方位數個專業相機對目標對象進行環繞，同時采集。采集的三維信息將構建成一個個的靜態3D模型，最終組成連續時刻的動態三維影像，可任意角度察看。體積視頻錄制好后，可進行后期完善、編輯，應用于娛樂影視、數字人創作、教育等領域。2021年Unity推向面向職業體育賽事的直播平臺Metacast,提供交互式3D直播內容，用戶可以調整為任意角度觀看比賽。3、3D內容的三維展示TheRelightable3D內容與2.5D內容相較在展示上缺乏條件，通常通過二維屏幕進行查看，僅全息投影、VR/AR以及等少數技術手段能以三維的形式展示3D內容，獲得與2.5D相似的立體視1)全息投影真正的全息投影技術利用光的衍射和干涉制作三維圖像，2.5D方式下的全息只是借助雙目視差在一定程度上模擬了全息投影的最終效果。以空氣全息投影技術為例，先使用分束器將激光光束分為兩道光束，其中一道光束經過全息板，另一道光束無需經過。維深wellsennXR專題報告：3D內容生成報告17經過全息板的光束會在空氣中發生衍射和干涉，形成三維的全息圖像，另一個光束不經過全息板，作為參考光束直接射向空氣，用來穩定干涉條紋、增強干涉效果。這種真正的全息技術在應用時，對穩定的空氣流動環境、光源、投影材料的精密調節、調制都有較高要求，較少應用在演唱會等大型開放場景。更為常見的，是在封閉的透明柜當中進行展示。2)VR/ARVR/AR頭顯是目前最為常見，能進行三維展示的設備。借助VR不僅僅能夠觀看3D內容，而且能夠與3D內容產生空間關系，在3D內容當中自由行走、交互，宛如在現實的世界當中；AR則可以將3D內容放置在真實的空間當中，進行觀察、交互。VR/AR需要佩戴頭顯，佩戴VR頭顯還會將真實世界隔絕在外，在佩戴與感官上會產生一定負擔。除此之外，光場顯示等前沿技術也可用于三維圖像的展示，如谷歌2021年曝光的光場景顯示器Starline,展示亭配備十多個深度傳感器和攝像頭捕捉三維圖像，并實時壓縮、傳輸，顯示在光場顯示器，視頻中對象的人宛如就坐在對面。但該技術實現難度較大，仍處維深wellsennXR專題報告：3D內容生成報告18三、3D內容制作與生成近年元宇宙的大熱，VR/AR產業的發展，以及人們在視覺上追求更逼真、更高維度的信息呈現效果，都促使3D內容需求愈發緊張。AIGC大模型的接連問世也引發了人們對3D內容生產主要有兩種方式：3D建模與體積視頻的拍攝。3D模型構建好后可根據需求使用多種工具進行加工創作，體積視頻本質上是一連串靜態3D模型構成的動態3D內容。目前3D內容仍屬于專業化生產，以專業從業人員使用專業工具生產為主。3D內容生成首要步驟是通過3D建模獲得原始3D素材，3D建模主要有三種方式：3D掃描建模、3D軟件建模，以及AIGC建模，所有方式下構建的模型都可以使用3D建模軟3D掃描建模依靠掃描儀等硬件設備以真實物體為對象通過掃描獲取三維信息；3D軟件建模依靠建模軟件使用幾何元素從零繪制三維模型，可以實物為參考，也可根據想3D掃描建模以真實物體、環境為目標對象，通過3D掃描儀等設備進行掃描獲取目標對象的三維信息，計算機利用這些三維信息進行三維重建，建立與目標對象一致的三維模維深wellsennXR專題報告：3D內容生成報告193D掃描獲取的三維信息主要為幾何信息(形狀、尺寸、表面幾何特征等),其次是紋理信息(顏色、光澤度、反射率等)、顏色信息(顏色分布、亮度、飽和度等)。這些三維信息通常以點為單位獲取，被稱為點云數據。這些數據當中，最需要獲取的是幾何信息，幾何信息通過計算各個點位到3D掃描儀的距離也就是物體的深度信息來確定。3D掃描建模主要有4種方式：激光三角測量掃描、結構光掃描、飛行時間(ToF)激光掃描，以及全局攝影測量。3D3D掃描建模4種方式3D掃描儀投射器發射的每一束激光對應目標物體表面一個點位，不同點位的位置、顏色等信息有差異，激光反射后發生變化，計算機根據其返回速度、返射角度、反射程度、顏色等變化，借助三角測量、相位差等計算出目標點位的三維信息。這些帶有三維數據信息的點的集合也就是點云，所攜帶的數據就是點云數據，這些數據將用于構建目標物體的三維模型。點云并非只能通過投射器發射光獲得，部分3D掃描儀如全局攝影測量通過相鄰照片特征點的提取等方式獲得點云信息構建三維模型。維深wellsennXR專題報告：3D內容生成報告20·激光三角測量掃描、結構光掃描、飛行時間(ToF)激光掃描，通過投射器向目標發射激光(部分不使用激光作為光源),激光遇到目標物體發生反射由攝像頭捕獲，計算機根據反射激光飛行時間、角度等變化等計算出三維信息，獲得點云數據。·全局攝影測量使用相機拍攝全部角度照片，對照片進行特征點提取，通過匹配相鄰照片特征點計算視差(兩個圖像對應特征點的水平位移),借此計算三維信息，獲得點云數據。根據反射光所攜帶的信息計算出點云數據合適的環境光條不易掃描的物體表面噴上顯色劑掃描儀投射器向目標物體投捉反射光處理和優化(去噪、修復、優化等)接成三維點云圖形為獲取準確的顏色信息，3D掃描儀通常會集成一枚RGB相機配合使用，或者掃描后，另外用相機拍攝高清彩色照片，后期使用軟件將掃描模型與彩色照片生成的模型進行對激光反射或CCD攝像頭在掃描時可進行顏色采集，但信息并不準確，例如，激光反射所獲得的色彩是激光與環境光共同照射下呈現的顏色，CCD攝像頭色彩還原能力較弱，因此彩色3D掃描儀通常會集成RGB相機。1)激光三角測量掃描激光三角測量掃描儀的發射激光的投射器與接收反射光的相機通常呈一定夾角，投射器發出的激光碰到物體反射回來由相機捕獲，根據相機偏移角度與激光光源位置，可被掃描對象表面激光三角測量掃描儀結構簡單、掃描速度快，精度高，在建筑、制造、航空航天等領域應用較為廣泛。·優點：精度可達亞毫米級別，暗光環境可工作·缺點：測量距離加大精度迅速下降2)結構光掃描結構光掃描，掃描儀投射器向被掃描對象發射具有一定結構特征(光點、光條、光面)的光，光遇到目標對象表面，結構形狀和位置會發生變化，攝像頭對反射回來的結構光進行采集，通過對結構光的變化計算深度信息。(一)單目結構光維深wellsennXR專題報告：3D內容生成報告22單枚相機搭配投射器測量深度通常采用這種方式獲取深度信息，稱為單目結構光。使用兩枚相機時，結構光搭配雙目視覺應用較多，在雙目視覺的基礎上采用結構光作為光源。雙目視覺利用兩枚相機在同一時間對目標物體進行拍攝，得到兩張不同視角的圖像，通過對兩張圖像特征點的提取、匹配，結合相機的焦距計算對應特征點的像素坐標差值得到視差，再通過視差計算物體在相機坐標中的深度。在3D掃描建模方式中，與雙目視覺原理相似通過拍攝的方式獲取深度信息構建建模的方法稱為(全局)攝影測量。A角度拍攝B角度拍攝A角度拍攝B角度拍攝<雙目視覺對目標物體表面的紋理和表面特征要求較高，易受到環境光影響，特征點匹配還需要大量計算，會導致最終結果的穩定性與準確性不夠高。更常見的，是雙目搭配結構光，也就是雙目結構光。雙目結構光通過投射器向目標物體發射散斑、條紋等結構光，兩枚攝像頭對目標物體進行拍攝，再對所拍攝的結構光圖像進行立體匹配，獲取三維信息。維深wellsennXR專題報告：3D內容生成報告23被掃描對象(二)雙目結構光雙目結構光相較于單目結構光測量更準確，精度更高，測量距離范圍也更廣。除了雙目，結構光也可搭載多個相機進行測量，組合成多目。結構光可以是普通白光，也可以是激光，使用激光可獲得更高的精度與更好的表面質量，使用白光，掃描速度更快、成本更低。掃描儀根據需求與定位，會選擇不同的發射光。激光與白光也會搭配使用，以補充光源。不同顏色的激光波長不同，掃描距離、精度、對人眼的傷害程度有差異。目前手機前置攝像頭用于人臉識別的掃描技術通常采用結構光，使用白光作為光源成本相對于激光更低，且易集成至手機等移動設備中。·優點：精度可達亞毫米級別，掃描效率高，能自動生成三維模型，技術成熟·缺點：受環境光影響較大，精度會隨距離增加減弱維深wellsennXR專題報告：3D內容生成報告24n—n—3)飛行時間激光掃描ToF全稱TimeofFlight,即飛行時間，指根據激光的飛行時間計算深度信息。根據時間計算方式的差異，ToF分為兩種：dToF、iToF。直接飛行時間法，投射器發射脈沖激光，通過直接計算激光發射到接收器接收反射激光所用時間計算深度信息；w間接飛行時間法，投射器發射調制后的光波(如正弦光波),通過計算發射的光波與反射回來的光波間的相位差來間接計算時間。iToF也有少量使用脈沖激光，此時計算的是脈沖信號的相位差。√dToF測距精度高，功耗小，響應速度快，測量距離遠，抗環境光干擾強，但集成難度大，成本高，成像分辨率較低；iToF測距精度高，但精度會隨著距離的增加而同步減弱，圖片分辨率較高，技術成熟，容易集成，功耗大。維深wellsennXR專題報告：3D內容生成報告25飛行時間(ToF)掃描建模ToFToF直接飛行時間(dToF)間接飛行時間((ToF) ·· 特點特點脈沖成像分辨率較低(通常小于320*240)直接測量，響應速度快抗環境光干擾強集成難度高，成本更高功耗更低應用功耗低、體積小，適合工業機器人等需要快速進行測距、壁障檢測，抗環境光干擾表現好，戶外應用特定頻率調制波(如正弦波) ·圖像分辨率較高(大多能達到640*480) AR濾鏡，后置攝像頭基本同樣采用iToF進行深度信息的獲取，僅蘋果開始搭載激光雷達LiDAR,采用了dToF的方式。部分移動端在硬件不具備條件的情況下，則會在算法層面采用背景虛化等方式模擬深度信蘋果從iPhone12開始為所有移動端Pro機型搭載LiDAR,采用LiDAR+索尼dToF模應用虛實融合效果也會更加穩定、真實。維深wellsennXR專題報告：3D內容生成報告26·優點：精度達到亞毫米級別，抗環境光干擾性較好，體積小，暗光表現好·缺點：分辨率相對更低，成本較高4)全局攝影測量全局攝影測量也簡稱攝影測量，通常采用高精度的相機拍攝被測物體所有角度的二維照片，再對拍攝的相鄰照片特征點的提取與匹配，計算出圖像的視差，再采用三角測量技術計算三維坐標。與雙目視覺獲取深度信息方式相同。全局攝影測量既可以是單枚相機，也可以是多枚相機。拍攝時，相鄰照片之間重合部分需達60%以上，才能獲得較好效果，拍攝量較大。全局攝影測量的優點在于能以特別高質量的紋理再現物體，但對被掃描物體的表面有較高要求，紋理清晰豐富的物體能得到較好結果，紋理缺乏的物體則會出現難以識別的問題。·優點：掃描結果細節紋理質量高，適合大型物體掃描·缺點：受環境光影響大，耗時，設備成本高維深wellsennXR專題報告：3D內容生成報告27全局攝影測量經常會與其他3D掃描方式相結合，以減少誤差，增加準確性。3D掃描儀為使掃描數據更為準確，會人工在被掃描物體表面貼上標記點，在掃描過程中，標記點會在邊識別邊添加時產生誤差并不斷累計。引入全局攝影測量后可先獲取物體表面所有標記點，3D掃描儀掃描時將獲得的標記點與全局攝影測量的標記點進行匹配，用來作為被測物體的全局定位信息，獲取掃描儀與被掃描物體的空間位置關系，最后通過識別結構光變化獲得物體輪廓的三維數據。全局攝影測量與其他3D掃描方式集成在同一個設備時，相機可以是分開單獨使用，也可以復用，比如兩枚相機配合投射器進行三維掃描，其中一枚復用于全局攝影測量。除去專業掃描儀，蘋果2023年更新的3D建模APIObjectCapture物體捕捉，采用的正是復合形式：LiDAR+全局攝影測量技術，LiDAR能提高精確度，全局攝影測量能較好還3D掃描建模方式目前以雙目結構光較為常見，為獲得更好的掃描效果，揚長避短部分掃描儀會綜合使用不同的掃描方式，以提高掃描精度，如以結構光掃描為主的掃描儀增加全局攝像測量系統對掃描儀、掃描物體進行精確定位與校準等。在應用領域，3D掃描建模通常為工業端用戶使用，用于各類模型的制作、設計，供專業使用。現在，隨著移動設備攝像硬件、軟件性能得到提升，中、高端機型具備深度信息的獲取能力，可以進行簡單的3D掃描建模。移動端深度信息主要獲取方式為ToF,結合RGB相機獲取彩色圖像與ToF獲取的深度信息相融合，結合算法進行優化，部分移動端會在算法層面采用背景虛化等方式模擬深度信維深wellsennXR專題報告：3D內容生成報告28激光三角測量掃描飛行時間(ToF)激光掃描全局攝影測量掃描dToF(直接飛行時間)iToF(間接飛行時間)深度信息獲取投射器發射激光，激光遇到目標單枚相機，投射器發射具有一定對象反射回來，在相機感光元件結構特征(光點、光條、光面)成相，不同物體表面的點落不同的光，光投射在物體表面結構發位置成像，再結合相機參數焦距生扭曲，傳感器接受反射回來的等，利用三角公式推導距離。結構光，通過計算結構的變化計算目標深度信息。兩枚相機，在雙目視覺的基礎上采用結構光作為光源，兩枚相機同一時間拍攝圖像，通過對兩張圖像特征點的提取、匹配，結構相機參數計算視差，進一步計算深度信息。dToF:Direct-ToF,直接飛行iToF:IndirectToF,間接飛行時通過計算激光碰到目標表面反射(如正弦波),通過計算發射的回來所用時間，確定目標對象深光波與反射回來的光波間的相位度信息。差來間接計算時間。(少數使用脈沖激光，測量脈沖信息相位差)從多個角度拍攝目標對象，通過照片的特征點提取、匹配，結合三角測量確定目標對象距離深度信息，將照片融合成為三維模型。優點精度高，暗光環境可工作精度高精度高精度高，搞環境光干擾強精度高、集成簡單、技術成熟紋理質量高缺點精度隨距離增大迅速下降易受環境光影響易受環境光影響分辨率低，集成難功耗大、誤差隨距離增大受環境光影響大、耗時常用場景工業掃描制造業、醫療手機前置攝像頭人臉識別手機后置攝像頭物體識別、手機前/后置攝像頭大型物體掃描2、3D軟件建模3D軟件建模需要用戶借助計算機軟件，使用點、線、面等基礎幾何元素從零開始構建三維模型。由3D掃描儀器獲得的三維模型也可導入3D建模軟件進行進一步的完善與設計。根據構建特點的不同，3D軟件建模主要劃分為三類：CAD建模、多邊形建模、數字雕刻建模。CAD全稱Computer-AidedDesign,指使用計算機輔助進行三維建模，是基于幾何圖形的建模方式，通過繪制線條、曲面、實體等元素來構建，是工程師、設計師使用最多的3D建模方式，我們日常接觸的多數現代產品均使用這種方式建模。CAD建模又稱為參數化建模，在這種建模方式中，幾何形狀通常由各種基本幾何元素組成，例如點、線、面、體等，這些元素之間通過參數和關系進行連接。通過對這些參數和關系的調整，即可實現對同幾何形狀的修改和優化，不需要手動繪制或修改，可以提高建模效率和準確性，減少重復工作。維深wellsennXR專題報告：3D內容生成報告29這種建模方式需要精確控制模型的形狀與尺寸，設計、創建的3D物體具有真實對象的所有物體參數：材質、重量、尺寸、光學參數等，廣泛應用于工程設計、建筑設計、特點：可以進行2D、3D設計與繪圖，適用于各個設計領域；可以進行復雜的幾何 形狀建模，例如曲面、實體等；可以進行參數化設計，自動化功能能夠批量處理如修改、復制等重復性工作；精確度高；支持多種文件格式標準，便于與其他CAD軟件、非CAD2)多邊形建模多邊形建模主要使用三角形、四邊形、五邊形……曲線多邊形等常見多邊形構建三維模型。與CAD建模不同，多邊形建模并非基于真實測量的物理參數。動畫與視頻游戲工作室利用多邊形建模進行設計，包括電影、游戲角色，以及各種各樣的3D資產，例如武器、裝甲、車輛，甚至是整個虛擬世界等，都由多邊形建模而成。多邊形建模簡單易學，適合初學者。維深wellsennXR專題報告：3D內容生成報告30特點：能夠快速創建簡單的幾何形狀，快速進行修改、編輯，自由度、靈活性好可實現各種復雜的造型與動畫效果，支持各種紋理貼圖和渲染技術，以便在游戲或數字3)數字雕刻數字雕刻將3D模型表面的點、線、面元素逐一雕刻、細化、調整，讓模型呈現高度逼真的細節和紋理。通過類似畫筆的雕刻工具，用戶可以通過推、拉、扭曲幾何形狀的各個部分，操縱多邊形網絡，也可以額外添加幾何結構，整個過程與真實生活中使用粘土材料進行雕刻維深wellsennXR專題報告：3D內容生成報告31相比多邊形建模，數字雕刻時需要更加細致，過程也更加耗時，主要應用于制作高質量游戲角色、動作電影等。數字雕刻也用于完善其他形式完成的3D模型。常用軟件如：在實現應用中，通常需要結合多種建模方式來完成復雜的建模任務，部分3D建模軟件更為通用，會同時提供多種建模方式以及加工完善的功能。綜合來看，CAD建模適用于需要進行復雜幾何形狀建模的場景，多邊形建模適用于需要快速創建簡幾何形狀的場景，數字雕刻適用于模型的細節完善。CAD建模和多邊形建模通常用于制作工程圖、建筑模型等，而數字雕刻則通常用于數字藝術品、游戲角色、建筑模型等領域。方式CAD建模(參數化建模)多邊形建模數字雕刻圖示區別通過繪制線條、曲面、實體等元素基于真實物理參數構建，元素之間通過參數和關系進行連接，調整參數和關系即可對幾何主要使用三邊形、四邊形等多種常見多邊形構建，無需基于真實測量的物對3D模型表面的點、線、面元素逐一雕刻、細化、調整，可對幾何形狀各個部分進行調整，與真實雕刻相似。特點·可進行2D、3D設計、繪圖，適用性廣·能批量進行修改、復制等重復性工作·支持多種文件格式標準·簡單易學，合適初學者·快速進行修改、編輯，自由度高、靈活性好·支持各種紋理貼圖和渲染技術·將模型調整出高度逼真的細節和紋理·CAD建模與多邊形建模通常為靜態，數字雕刻可實現動態效果應用廣泛應用于工程設計、建筑設計、工業設計、游戲設計等領域主要用于游戲角色、動漫角色、數字通常用于制作高質量數字藝術品、游常用軟件AutoCAD、SolidWorks、CATIABlender、3dsMax、MayaZBrush、Mudbox、Sculptris維深wellsennXR專題報告：3D內容生成報告32AIGC全稱ArtificialIntelligenceGeneratedContent,指基于人工智能技術生成文本、圖片、音頻、視頻、3D模型等內容，AIGC的生成過程主要利用各種類型的神經網絡模型完成，例如OpenAl推出的ChatGPT。文本文本問答AIGC3D內容生成生成圖像生成AIGC建模則是指利用人工智能技術構建3D模型。AIGC建模主要有以下方式：·直接利用3D數據進行訓練，生成大模型；·先通過文本描述利用Al生成2D圖片，再利用2D圖片生成3D模型。1)基于現有3D模型數據進行訓練基于現有3D模型數據進行AIGC建模，需要先使用現有3D模型學習三維形狀和紋理等構建大模型，再利用大模型進行3D模型的生成。基本步驟為：從現有3D模型獲取點云數據；再從經過處理的點云數據中學習3D模型的結構和特征，設計出合適的神經網絡模型；再使用3D數據對該神經網絡模型進行訓練，對模型的參數、結構進行調整；最后使用訓練好的模型根據給定的3D數據生成3D模型。維深wellsennXR專題報告：3D內容生成報告33AIGCAIGC建模過程使用3D數據訓型型生成3D模型這種方式下的模型訓練需要大量現成的3D數據和計算資源，目前3D內容數據缺乏，豐富度遠不及圖片等二維內容，因此較難實現數據的多樣性。直接利用3D數據進行訓練，生成3D模型的案例：PointNet(斯坦福大學2017年提出)、PCN(惠普)、3D-EPN(微軟亞洲研究院)。2)文字/圖片生成3D模型基于2D圖片生成3D模型是更受關注的AIGC3D模型生成方式。2D圖片又可以通過文本描述由Al生成，因此文本生成3D模型本質上也是圖片生成3D模型，很多模型支持文本直接生成3D模型。在傳統建模方式當中，全局攝影測量構建3D模型的方式便是2D圖片生成3D模型，通過拍攝大量照片，依據照片間特征點的視差計算三維信息，進行三維重建。全局攝影測量生成3D模型對拍攝密度有要求，需要依靠相鄰圖片間重合的特征點獲取視差，相鄰圖片間的重復覆蓋面積需達60%甚至70%以上，需要拍攝大量圖片。AIGC生成3D內容，僅憑少數幾張甚至單張圖片即可轉換為3D模型，既缺乏足夠多的圖片通過特征點匹配的方式計算視差，也缺乏圖片進行空白信息的補全。AIGC圖片生成3D模型，采用了不同的方式。世出凈成喻猶形長而我展心正雀在世應其些重度當世居下而而常生也成然集思世出凈成喻猶形長而我展心正雀在世應其些重度當世居下而而常生也成然集思壹帝色也成心容世用世站香心成凄喻而雞天布高世解長名以AIGC生成3D內容，目前最知名的是NeRF技術，全稱NeuralRadianceField神經輻射場，2020年由來自美國加州大學伯克利分校、圣地亞哥分校與谷歌的研究者提出，它能夠通過幾張靜態的2D圖像，生成所有視角下的2D圖像，構建高質量3D模型。爆1苦,驗噸南家3D掃描建模先獲取了代表三維信息的點云數據，再根據點云數據構建三維模型。NeRF更為復雜，在無法直接獲取三維信息的情況下，需要依靠2D圖像推斷其在三維空間的位置，將數據從低維空間映射到更高維的空間。每張2D圖像的拍攝都是在一定觀測角度下進行的，圖像中不同的點位在不同觀測角度下顏色呈現不同。NeRF在3D坐標(x,y,z)基礎上引入了觀測方向(θ,φ),即5D坐每個點的坐標都與該點的顏色等信息——對應，2D圖像每個像素點的坐標與該點的顏色相對應，3D對象每個3D點的坐標(x,y,z)和觀測方向(θ,φ)與該角度下觀察的該點顏色和體密度(該點在光照下的明暗程度)相對應。Position+Position+Direction維深wellsennXR專題報告：3D內容生成報告35NeRF從輸入的多個視角的圖像和相機拍攝的位姿(包括相機位置和方向)提取出圖像中每個點的空間位置和視角特征，映射到三維空間，輸出這些點的顏色和密度值構成所得到3D場景點的密度不夠，會對每個體素的顏色和密度進行插值補全，即通過已知相鄰體素的顏色和密度值推斷目標體素的顏色和密度值，直至得到整個3D場景的顏色AIGC使用NeRF類似技術生成3D內容的大模型及廠商舉例：DreamFields,3D建模工具，使用了類似NeRF的方法來生成3D模型，可以對模型進DreamFusion:文本生成高質量2D圖像(基于2D擴散模型),再由2D圖像生成3D模型(基于NeRF),最后采用一種新的采樣技術SDS優化3D模型的細節和紋理，精度更高。DreamFields使用GAN進行訓練，DreamFusion使用基于Imagen擴散模型的損失函數來進行損失計算。PointE是將2D的圖片信息轉化為3D空間中的點云，再通過算法優化生成3D模型。能夠快速生成高質量3D模型，同時支持多視角渲染和交互式編輯，且提供豐富的API和示例代碼，方便開發者二次開發、應用。Magic3D通過輸入一張圖片或者一段生成3D模型外觀和形狀的描述，提取圖像或技術的關鍵特征。生成器將經過編碼的特征向量作為輸入，輸出3D點云，之后借助使用了類似NeRF方法的優化器進行優化，最后輸出3D模型。AIGC文字/圖片生成3D模型需要大量的資料進行訓練、優化、迭代，從近幾年的發展速度來看，構建一個模型的時間已大大縮短，但目前仍多處于研究階段，多數未正式維深wellsennXR專題報告：3D內容生成報告363D掃描建模、3D軟件建模、AIGC建模三種不同方式下制作的3D模型，最終都可以使用3D建模軟件進行進一步的完善和設計。(二)3D/體積視頻拍攝體積視頻拍攝是對真實對象動態的錄制。視頻是一組連續播放的二維圖像，體積視頻則是連續獲取三維數據，構建一組連續的靜態3D模型，最終組成一段三維影像的過程。體積視頻的拍攝成本較高，有一定技術門檻。同一時刻，一枚相機只能拍攝一個角度下的場景，幾十枚相機將拍攝對象360度圍繞起來進行拍攝，才能得到同一時刻下所有角度的信息。體積視頻通常采用由數枚專業相機組成的相機系統對目標對象進行環繞拍攝。相機系統通常由RGB相機和高精度工業相機組成，以同時獲取顏色和深度信息，獲得的信息會通過算法實時建立模型，再通過Unity插件等途徑制作成有連續動作的3D視頻。用戶在觀看視頻時可以將畫面調整至任何角度觀看。圖源：網絡(普羅米修斯體積視頻錄制棚)在應用上，體積視頻多應用于娛樂影視、教育等方向，如：·2009年導演詹姆斯·弗羅斯特與媒體藝術家亞倫·科布林合作，3D捕捉湯姆·約克表演的《紙牌屋》的點云制作體積視頻；·2021年，樂錄影帶導演理查德·李為唱歌手埃米納姆單曲《RapGod》錄制了體積視頻；未來或應用至日常生活中，代替照片、視頻對我們的生活進行記錄。維深wellsennXR專題報告：3D內容生成報告37(三)3D內容創作工具3D內容創作工具指能幫助用戶運用3D素材進行創作，完成擁有明確主題和目標效果(如廣告、電影、游戲等)內容的工具。3D內容創作工具主要有三類：專業3D設計軟件、3D模型的主要應用場景，對應了3D內容不同需求下的呈現形式。主要應用方向為：游戲開發、電影和電視制作、建筑和室內設計、工業設計和制造、醫學和生物科技。游戲開發工業設計和制造游戲開發制作3D產品設計效果圖，3D制作3D產品設計效果圖，3D打印零部件等戲更為逼真醫學和生物科技用于人體器官模型等醫學和生物科技用于人體器官模型等3D展示或3D打印用以增加逼真的視覺效果和沉浸式觀影體驗建筑和室內設計為客戶提供更直觀的3D設計效果圖這些3D內容可以劃分為兩類，一類靜態的3D模型即可滿足需求，用于3D展示、3D打印，講究還原現實對象，以工業設計和制造、醫學和生物科技、建筑和室內設計為代表。的，如游戲(包含VR/AR)、電影(包含VR/AR)等，有明顯的內容創作屬性，同時需要專業的3D內容創作工具如專業軟件、引擎、編輯器等完成。3D內容創作工具主要應用于第二種3D內容的制作。1、專業3D設計軟件3D模型構建好后，需要使用軟件等工具對3D模型進行貼圖，渲染，模擬現實世界的物理效果，制作動畫、交互等，使其更符合真實世界的運行規則以及設計者腦海中的效果。這個過程也是3D內容創作過程，通常由多款軟件分工合作完成。這種方式下的內容以電影、動畫為代表。3D建模軟件通常既提供建模功能，也提供進一步的設計、制作功能。在內容制作過程中，通常以多款3D制作軟件各顯所長綜合完成為主，制作過程是一系列工具的協同、組合2、開發引擎開發引擎是用于開發各類軟件應用的軟件工具，以游戲引擎最為常見，可以理解為一個封裝了豐富功能的功能庫，它通過接口將這些功能提供給開發者，并提供一整套的制作工具供開發者使用，方便開發者進行游戲/影視等內容的開發。游戲引擎的產生：上世紀90年代，開發者發現游戲與游戲間，除了內容上的不同，在許多控制與關卡設計上與已有游戲基本相同，開發者便將游戲當中這些相同的模塊分享出來，封裝成一個個可以重復使用的程序模塊通過功能接口提供給開發者，形成了游戲引擎。維深wellsennXR專題報告：3D內容生成報告39具體功能場景編輯器創建、編輯和管理場景中的地形、建筑、植被等元素模型編輯器具體功能場景編輯器創建、編輯和管理場景中的地形、建筑、植被等元素模型編輯器創建、編輯和管理游戲中的3D模型，如導入、導出、編輯、組合等紋理編輯器創建、編輯和管理游戲中的紋理貼圖，包括導入、導出、編輯、裁剪等動畫編輯器創建、編輯和管理游戲中的動畫效果，包括骨骼動畫、形狀關鍵幀動畫等粒子編輯器創建、編輯和管理游戲中的粒子效果，包括火、水、云等物理編輯器創建、編輯和管理游戲中的物理效果，包括碰撞檢測、重力、摩擦力等腳本編輯器編寫游戲邏輯和腳本，包括C#、JavaScript等資源管理器管理游戲中的各種資源，包括導入、導出、重命名、刪除等引擎的不同功能模塊，能讓一堆靜態、孤立的3D內容等素材，重建為一個在視覺、運行規則上與現實世界接近的模擬版現實世界。包括通過渲染讓場景中有光照、陰影，讓不同物體呈現不相應的質感；通過動畫系統讓角色動起來；通過物理引擎模擬真實的物理效果，比如重力、摩擦力、彈力；通過音頻系統在合適的時候出現音效；通過腳本系統讓劇情一環扣一環向后發展……為方便開發者使用這些功能，游戲引擎會提供更為具體的操作編輯器，提供可視化界面，方便開發者直觀地創建、編輯和管理游戲中的各種資源，如場景、模型、紋理貼圖、開發引擎會內置簡單的3D建模功能，同時也提供較為簡單的立方體、球體等現成的幾何模型供開發者使用，開發者可以從零構建3D形象、動畫。更多時候，開發所使用的模型由外部3D建模手段創建好，再進行導入直接使用，用來制作完整的3D內容，如游戲、游戲引擎功能模塊與編輯器游戲引擎功能具體功能圖形渲染引擎處理游戲場景的渲染，如光照、陰影、材質、特效等物理引擎模擬物理效果，如重力、摩擦力、彈力等動畫系統制作動畫效果，如角色動畫、特效動畫等輸入系統處理游戲中的輸入，如鍵盤、鼠標、手柄等音頻系統處理游戲中的音頻效果，如音樂、音效等網絡系統實現多人游戲和在線游戲功能，如網絡同步、數據傳輸等人工智能控制游戲角色行為、調整游戲難度、生成游戲劇情等用來實現游戲菜單、場景UI、提示和消息、技能展示等維深wellsennXR專題報告：3D內容生成報告403、3D內容編輯器1)可視化3D內容編輯器可視化3D內容編輯器，通常無需代碼基礎，提供可視化界面，用戶直接使用編輯器功能對3D內容編輯、設計，完成最終效果。在功能上實現上，是引擎的簡化版，包括提供現成的3D模型，可進行渲染，制作簡單的動畫等，通常模板性較強，會針對某些專業領域，如醫療、教育等，提供模板化的素低代碼/零代碼3D內容編輯器的好處在于方便、低門檻、開發成本低；缺點在于與開發引擎相比，創作有局限性，只能用于相對簡單、非精細化的內容制作，風格固定，模板性強，可供自由發揮的空間有限。在內容制作方向，以培訓、教育、醫療、文旅、營銷展示等為主。AIGC大模型需要大量的計算資源與時間來進行訓練，微軟、英偉達、Meta等眾多大型公司的AIGC大模型并未正式發布，仍處于繼續完善階段。目前一些網站通過使用較小的模型進行訓練，或者將已經在模型中訓練過的模型(即預訓練模型)進行應用，已開始提供通過文本/2D圖片生成3D內容的AIGC功能。這類AIGC功能相對有限，用于生成較基礎的3D內容，應用于后期3D內容的編輯、創作。AIGC3D編輯器通常為可視化3D內容編輯器新增功能，部分編輯器除了提供無代碼3D內容編輯器，還集成了AIGC功能，根據用戶需求將2D圖片轉3D內容，或者通過輸入文本生成3D內容。維深wellsennXR專題報告：3D內容生成報告413D內容主要應用于專業領域，如影視、工業、醫療等，以專業人員使用專業工具生產為主，呈現向普通用戶生產過渡的發展趨勢。從文字、圖片等二維內容的發展過程來看3D內容生產，3D內容會隨著應用市場的擴大，生產工具便捷性的提升，經歷PGC(專業生產內容)——UGC(用戶生產內容)——AIGC(Al生產內容)發展過程。專業從業者普通用戶人工智能目前文字內容的生產已經逐步過渡到AIGC階段，在AIGC的幫助下完成部分工作，圖片內容的生產朝AIGC方向發展，3D內容生產目前處于PGC向UGC階段過渡。3D內容生產流程已較為成熟，高質量的3D內容由專業從業人員，使用專業工具完成，整體耗時較長，門檻較高。UGC階段的來臨倚仗便攜的生產工具，當手機能像記錄照片一樣較好地記錄三維信息，3D建模軟件朝無代碼化更進一步發展，UGC將會迎來蓬勃發展。當前手機中、高端機型已初步具備獲取三維信息的軟、硬件條件，無代碼3D內容編輯器數量逐漸增多，創作工具日益豐富，部分提供Al技術將圖片轉換為3D模型的服務。3D內另一個值得重視的點在于3D內容的展示工具，除了VR/AR頭顯，3D內容當前主要使用二維屏幕進行查看，缺乏以三維形式進行日常便利展示的工具，無法帶來真正的3D視覺維深wellsennXR專題報告：3D內容生成報告42(五)全球XR產業3D內容規模根據WellsennXR市場調研數據和相關統計數據，當前全球XR產業3D內容規模接近內容的生產、應用會迎來快速發展期，2030年XR產業3D內容規模預計達480億元人民幣。200.0隨著VR/AR產業的發展，元宇宙等概念爆火，越來越多的人對3D內容的認知與期待加強。今年6月蘋果亮相MR產品VisionPro,成為VR/AR硬件領域新的領頭羊，這一舉動很大程度上提振了產業信心，同時助力產業出圈，讓更多人對VR/AR有了新的認識，對3D內容的需求將隨之擴大。移動端3D掃描硬件條件逐漸增強，中、高端手機開始支持簡易的3D掃描功能，尤其是將LiDAR與攝影測量技術相結合的蘋果移動端，已能快速掃描制作出相對高質量的3D模型，且能應用于VR/AR內容的制作。這將促進3D內容的生產與應用將朝UGC階段發展，讓XR產業3D內容規模進一步擴大。維深wellsennXR專題報告：3D內容生成報告43專業掃描儀移動端掃描數建模多邊形建模雕塑建模開發引擎內容編輯器專業掃描儀移動端掃描數建模多邊形建模雕塑建模開發引擎內容編輯器先臨三維先臨三維奧比中光ORBBECAArtec3DnAUTODESKAAUTODESKZWSOFTZBRUSHAAUTODESIAIGCAIGC建模體積視頻拍攝太極圖形太極圖形Converter網易伏羲律學夜求大學Stanford8YOOMVIVEDUPANODUX8YOOMVIVEDU3D3D創作工具aCCUPX33DFY.ai維深wellsennXR專題報告：3D內容生成報告44蘋果3D內容生態圍繞AR的發展而發展，以既有移動端生態為中心，采取先軟件，后硬件的策略。先通過提供開發者工具包的方式培養移動端AR開發者，再加強硬件性能，最后推出MR頭顯。3D內容是VR/AR重要內容素材，蘋果從基礎的3D模型制作，到快速瀏覽、編輯、開發，再到輸出為完整的VR/AR內容已初步形成閉環。(一)蘋果空間視頻與3D建模蘋果3D內容分為兩種類型：3D視頻、3D模型。蘋果的3D視頻在發布會中稱為SpatialVideo空間視頻，觀察有立體感。蘋果3D模型的制作主要使用了LiDAR與攝影測量技術，主要以API的形式提供給開發者，用戶借助移動端軟件即可生成了D模型。1、蘋果空間視頻蘋果空間視頻在蘋果開發者文檔中稱為StereoscopicVideo立體視頻，主要借助雙眼視差原理提供立體視覺。立體視頻播放的每一幀畫面都有一對壓縮的左、右圖像，兩張圖像略有差異，分別呈現在左、右眼形成視差，讓觀察者產生立體視覺，與3D電影效果類似。蘋果空間視頻由主攝和超廣角兩枚相機拍攝。簡單的立體視覺效果，兩枚相機同時拍攝分別呈現在左、右眼產生視差即可達