11.全息技術概述 21.1全息概念 2 22.全息技術在通信中的應用 32.1一對多場景：全息演講或教學 32.2一對一場景：私人交流 42.3多對多場景：會議 53.全息通信關鍵技術 6 63.1.1彩色相機 63.1.2深度相機+彩色相機陣列 63.2算法處理 7 83.2.2傳統三維重建算法 83.2.3基于深度學習的三維重建 3.3傳輸 14 3.4渲染技術 3.4.1多視圖立體渲染技術 3.4.2超多視點的虛擬立體內容渲染技術 3.4.3多平面圖像渲染技術 3.5顯示技術 3.5.2裸眼3D顯示設備 4.全息通信技術案例 4.2谷歌(G0OGLE) 5.總結和展望 6.編寫單位和作者 中國移動中國移動21.全息技術概述“全息”(Holography)即“全部信息”,這一概念是在1947年由英國匈段，分別是：傳統光學全息(Traditionalopticalholography),數字全息 新處理，數字全息是利用電荷耦合器件來代替傳統的光學記錄材料來記錄全息Goodman在1967年提出的。中國移動中國移動32.全息技術在通信中的應用整個端到端過程，是一種高沉浸式、高自然度交互的業務形態。結合6G技術，進行擴展與挖掘可獲得包括數字孿生、高質量全息、沉浸XR、新型智慧城市本文所涉及的內容為狹義上的通信概念，即指人與人之間通過某種媒介進通訊質量等問題；傳輸高質量的視覺通訊內容受制于傳輸帶寬而難以實現的問題。其中全息通信主要解決第一個問題，而諸如6G等高性能網絡主要解決后兩此應用場景具有如下特點：信息流重要程度通常不對講者或授課者的信息)大于上行流(受眾的反饋),信息流呈現輻射狀。顯示的方式，利于在全息技術和6G等高速網絡技術發展的初期部署。業務場景中國移動中國移動4如圖1所示：顯示端云計算(邊緣計算)全息采集設備務器群/圖2所示：中國移動中國移動5采集顯示采集顯示云計算(邊緣計算)核心處理服務器群中國移動中國移動63.全息通信關鍵技術根據應用場景等不同，彩色相機陣列又可分為局部圍繞式和360°圍繞式。當僅需采集單面人體時，可以搭建小于180°的相機陣列，僅用單反相機圍成半圈甚至更小的范圍。如果要采集人體360°全方位的數據，需要將相機陣列另外，如圖4所示，深度相機+彩色相機陣列的采集方式無需布置綠幕，對中國移動中國移動7圖4深度相機+彩色相機陣列掩膜編碼結構光深度相機包括一組深度相機(紅外發射器+紅外相機)和兩個彩色相機，可以同時采集人物的深度信息和彩色信息，如圖5所示。圖5掩膜編碼結構光深度相機非三維重建處理主要指自由視點技術，自由視點技術對于不同的視角顯示不同的圖像，是一種相對“粗糙”的處理方式。三維重建處理包括基于深度學習的三維重建和傳統的三維重建。近年來，基于深度學習的三維重建算法的發展有雨后春筍之勢，在某種程度上，它們預示著“快捷”。而傳統三維重建方式比基于深度學習的三維重建更加穩定成熟，但也更依賴于硬件結構，如相機陣列等。當然，將深度學習與傳統三維重建算法相結合，可以提高其性能和效果，這也是未來發展的可能方向之一。中國移動中國移動8自由視點技術一般采用此種方式處理，可以理解成多相機之間假設相鄰兩個相機拍攝的圖像像素點的視差值為1,我們要生成兩個相機正中間虛擬相機的視角，則可以將左邊相機拍攝圖像的像素點均向右移0.5,或者將右邊相機拍攝圖像的像素點向左移動0.5。以此類推。被動式三維重建算法是直接根據2D圖片信息，不依靠發射信號，對物體進要再進行MVS算法對稀疏點云進行處理，轉換為稠密點云返回光的時間或相位差來計算距離目標的距離。主動式算法如結構光法和TOF中國移動中國移動9法能夠精準構建3D模型，但二者都需要較為精密的傳感器。圖6為一組三維重建的過程：先是生成密集點云，再由密集SFM,StructurefromMotion,顧名思義，用于從"動作"中重建3D結構，也就是從時間系列的2D圖像中推算3D信息。人的大腦可以從動的物體中取得其三維的信息，是因為大腦在動的2D圖像SFM的輸入是一段動作或者一時間系列的2D圖群，然后通過2D圖之間的匹新的AKAZE(SIFT的改進版)來匹配。方法是RANSAC(RandomSampleConsensus)。2D的誤匹配點可以應用3D的幾中國移動中國移動MVS是類似的，只是前者是攝像頭運動，后者是多個攝像頭視角。也可以說，前者可以在環境里面“穿行”,而后者更像在環境外“旁觀”。像中的一個小區域(即一堆相鄰像素)。而MVS則幾乎對照片中的每個像素點都主動式三維重建算法結構光算法紋光、編碼結構光等),將圖案投影到三維空間物體表面上，使用另外一個相機結構光3D成像技術主要由4大部分組成：1)不可見光紅外線發射模組(IRProjector):用于發射經過特殊調制的2)不可見光紅外線接收模組(IR):接收由被拍攝物體反射回來的不可見3)彩色相機模組(RGB):采用普通彩色鏡頭模組，用于2D彩色圖片拍攝；中國移動中國移動4)圖像處理芯片(非必須，有些結構光供應商提供的解決方案可利用主機CPU,如手機AP處理):將紅外相機拍攝得到的紅外照片通過計算，得到被拍物以iPhoneX為例，用的是以色列PrimeSense公司的光編碼技術(散斑結構光),如圖7所示。這種結構光方案，通過投射人眼不可見的偽隨機散斑紅外光TOF(TimeofFlight)(光)飛行時間，字面理解就是通過光的飛行時間TOF的基本原理是通過紅外發射器發射調制過的光脈沖，遇到物體反射后，通常調制成脈沖波(一般是正弦波),當遇到障礙物發生漫反射，再通過特制的CMOS傳感器接收反射的正弦波，這時波形已經產生了相位偏移，通過相位偏移中國移動中國移動工作距離精度功耗應用場景幾米至士幾米(和光源功率成正級(1-2毫米);中遠距離精度比結構光好高無人機、機器人避障；游戲類動作識別、動作捕捉等結構光消費級模組工作距離2米以內；工業級模組工作距最高可達亞毫米級(0.5毫米);近距離中等金融刷臉支付；人體、物體3D建模；空間3D建模；動作識別、動作捕捉等早期Saxena等提出了利用監督學習的辦法去預測照片的像素對應的深度3D卷積的3D重建方法[4]"則是基于前者的提升，無論從效果到性能均顯著優NeRF合成的新技術HumanNeRF,該方案的最大特點就是利用AI算法將2D視頻合成高保真3D全身模型[5],該論文被收錄在CVPR2022。從姿態圖像重建3D室內場景通常分為兩個階段：圖像深度估計于昂貴的3D卷積層，限制了其在資源受限環境中的應用。來自Niantic和UCL等機構的研究者利用強大的圖像先驗以及平面掃描特征中國移動中國移動效果顯著，更重要的是允許在線實時低內存重ms該研究的關鍵是將現有的元數據與典型的深度圖像特征一起注入到代價體于之前的方法，而無需昂貴的3D卷積層、復雜的時間融合以及高斯過程。HumanNeRF:從2D視頻提取動態人像，并轉換為3D模型NeRF方法是2020年ECCV的論文提出的。僅僅過去不到2年，關于NeRF的經輻射場，它是一種小型神經網絡，可通過2D圖片來學習3D建模和渲染。把HumanNeRF解決了3D人像渲染的兩大難題：神經網絡渲染動態對象和對于骼運動和非剛性運動。運動場和姿態預測學習信息可根據2D視頻中的姿態去修中國移動中國移動輸出1080P彩色圖像，每個像素有32位的彩色數據，輸出分辨率為512dpi×424dpi的深度圖像，每個像素有16位的深度數據。按照60的幀率和100倍的中國移動中國移動用于VR商業市場，超多視點的虛擬立體內容渲染技術和多平面圖像技術多應用圖形應用程序為顯示設備渲染一個3D場景時將在3D空間中創建一個虛擬攝像機并根據攝像機的位置對場景中的幾何圖形執行計算。渲染引擎執行像素陰出一個單獨的視圖，即3D應用程序需要執行立體渲染——從輕微偏移的攝像機中國移動中國移動NVIDIA的Pascal架構引入了一種稱為單通道立體SPS渲染技術完全適用于有限視場的共面顯示設備，針對180+FOV的設備可以更逼兩個視角對于具有超側視場的VR設備是不夠的。由NVIDIA的圖靈GPU支持的多視圖渲染擴展了單通道立體渲染。MVR支持在一次傳遞中最多渲染4個視顯示器，使用最多4個視圖。3.4.2超多視點的虛擬立體內容渲染技術中國移動中國移動和GPU的壓力都會上升。在場景中有大量重復物體需要繪制時，使用GPU中國移動中國移動基于深度信息的渲染(Depth-Image-BasedRenderingDIBR于10°以內觀看視角的光場顯示設備。多參考視點的DIBR需要多個深度參考中國移動中國移動假設由三個點場景組成的三維場景，虛擬攝影機陣列為錯切式排列，如圖9渲染具有遮擋或鏡面反射等具有挑戰性的復雜場景時，這種表示比傳統的3D網 (包括遮擋元素),并且使用alpha通道可以處理部分反射或透明對象以及處理移動。此外，從MPI渲染生成新視點非常高效，并場景的光場。如圖10所示，MPI由一組平行平面組成，位于參考相機坐標系的固定深度處，其中每個平面d編碼RGBA圖像，包括RGB通道和一個alpha(透神經網絡預測得到。從MPI渲染新視圖時，采用從后向前根據alpha權重累加RGB值的前向投影的方式進行。中國移動中國移動基于SFM或基于RGB-D相機的新視圖生成方法完全依賴于精確的幾何估計，等特點。相比于其他基于深度學習的新視圖生成方法，例如DeepStereo、NeRF染速度可以達到3-5ms左右，渲染幀率可以達到200-300fps。全息視頻的展示方式分為穿戴式設備和裸眼3D顯示設備兩種。基于全息通信的特點，人們更傾向于使用裸眼3D設備構成解決方案。睛。VR頭顯通常包含兩個微型顯示器(左眼一個，右眼一個),經過光學元件AR眼鏡，又稱作“增強現實頭顯”。當前增強現實頭顯變得越來越普遍，中國移動