團(tuán)體標(biāo)準(zhǔn)Informationtechnology-Visualfeaturecoding-中關(guān)村視聽(tīng)產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟發(fā)布I III Ⅲ 1 1 1 2 2 2 3 3 3 3 4 6 7 10 12 12 16 20 22 23 23 24 25 26 27本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)本文件由新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟AI標(biāo)準(zhǔn)工作——第1部分:系統(tǒng)。目的在于設(shè)計(jì)特征編碼系統(tǒng)，提供整合特征碼流的規(guī)范，實(shí)現(xiàn)特征高效交互——第2部分:手工設(shè)計(jì)特征。目的在于確立適用于傳統(tǒng)手工設(shè)計(jì)特征的表示與壓縮標(biāo)——第3部分:深度學(xué)習(xí)特征。目的在于確立適用于從深度學(xué)習(xí)模型中提取的高維特征向量的表示——第4部分：深度特征圖。目的在于確立適用于從深度學(xué)習(xí)模型中提取的通用深度特征圖的表示——第5部分：語(yǔ)義分割圖。目的在于確立適用于語(yǔ)義分割圖的高效表征與無(wú)損壓縮標(biāo)準(zhǔn)。——第6部分：結(jié)構(gòu)點(diǎn)序列。目的在于確立適用于結(jié)構(gòu)本文件的發(fā)布機(jī)構(gòu)提請(qǐng)注意，聲明符合本文件時(shí)，可能涉及到6、7與《用于視頻中的人體骨多模態(tài)無(wú)損壓縮實(shí)現(xiàn)方法》（專(zhuān)利號(hào)：CN111641830A6、7與《基縮及還原方法及系統(tǒng)》（專(zhuān)利號(hào)：CN106295561A）相關(guān)專(zhuān)利的本文件的發(fā)布機(jī)構(gòu)對(duì)于該專(zhuān)利的真實(shí)性、有效性和范圍無(wú)任該專(zhuān)利持有人已向本文件的發(fā)布機(jī)構(gòu)保證，他愿意同任何申請(qǐng)人在合理且無(wú)歧視的下，就專(zhuān)利授權(quán)許可進(jìn)行談判。該專(zhuān)利持有人的聲明已在本文件的發(fā)布機(jī)構(gòu)備案，地址：上海市閔行區(qū)東川路800號(hào)上海交通大學(xué)閔行校區(qū)電院群樓1號(hào)樓，郵編：2通訊地址：上海市閔行區(qū)東川路800號(hào)上海交1信息技術(shù)視覺(jué)特征編碼第6部分：結(jié)構(gòu)點(diǎn)序列本標(biāo)準(zhǔn)規(guī)范了視頻中的多種結(jié)構(gòu)點(diǎn)序列的表征格式，設(shè)計(jì)了對(duì)于結(jié)構(gòu)點(diǎn)序列進(jìn)行無(wú)損結(jié)構(gòu)點(diǎn)序列structurepointseq文的圖示中，父子結(jié)構(gòu)點(diǎn)使用箭頭連接，箭2前序參考幀formerreferenc若當(dāng)前幀與前一幀都是非關(guān)鍵幀，那么前一幀的參考幀為當(dāng)前幀的前4縮略語(yǔ)5.1概述5.2算術(shù)運(yùn)算符+-3×a/整除運(yùn)算，沿向0的取值方向截?cái)唷＠纾?/4和b5.3邏輯運(yùn)算符!><5.5位運(yùn)算符&|~將a以2的補(bǔ)碼整數(shù)表示的形式向右移b位。僅當(dāng)b取正數(shù)將a以2的補(bǔ)碼整數(shù)表示的形式向左移b位。僅當(dāng)b取正數(shù)5.6賦值4=5.7位流語(yǔ)法、解析過(guò)程和解碼過(guò)程的描述方法5.7.1位流語(yǔ)法的描述方法正文中用不帶下劃線的小寫(xiě)字母和大寫(xiě)字母混合命名。大寫(xiě)字母開(kāi)頭的變量用于解碼當(dāng)前語(yǔ)法元素值的助記符和變量值的助記符與它們的值之間的關(guān)系在正文中說(shuō)明。在某些位串的長(zhǎng)度是4的整數(shù)倍時(shí)，可使用十六進(jìn)制符號(hào)表示。十六進(jìn)制的前綴是“0x”，例如“0x1a”表示位串“00011010”。ue(v)/*花括號(hào)括起來(lái)的語(yǔ)句組是復(fù)合語(yǔ)句，在功能上視作單個(gè)語(yǔ)句。*/{…}/*“while”語(yǔ)句測(cè)試condition是否為T(mén)RUE，如果為T(mén)RUE，5則執(zhí)行alternative語(yǔ)句。如果alternative語(yǔ)句不需要執(zhí)行，結(jié)相關(guān)的alternative語(yǔ)句可忽略if(condition)for(initialstatement;co根據(jù)A矩陣的數(shù)值選取當(dāng)前結(jié)構(gòu)點(diǎn)最優(yōu)的編碼模式，對(duì)于待編碼的結(jié)構(gòu)點(diǎn)j，如果其6MedianEncode()5.7.3描述符ue(v)5.7.4保留、禁止和標(biāo)記位本部分定義的位流語(yǔ)法中，某些語(yǔ)法元素的值被標(biāo)注為“保留”（reserved）或“禁止”“禁止”定義了一些特定語(yǔ)法元素值，這些值不應(yīng)出現(xiàn)在符合本部分的位流中。“標(biāo)記位”（marker_bit）指該位的值應(yīng)為‘1’。處理應(yīng)忽略這些位。“保留位”不應(yīng)出現(xiàn)從任意字節(jié)對(duì)齊位置開(kāi)始的217StructureSequenceExteversion_IDue(v)ue(4)ue(v)ue(v)ue(v)ue(v)encode_order[]=InitEncodeOrder(spatial_reference_order[])for(frame_num=0;frame_num<total_frame_num;frame_num+=frif(frame_num%intra_frame_ratio==0{/*關(guān)鍵幀，用空間自for(pos_info_buffer=0;pos_info_buffer<total_pos_in_fram}}for(pos_info_buffer=0;pos_info_buffer<total_pos_in_frfor(point;point<key_point_num;ppoint_to_be_encode=encode_order[poencode_mode=BestModeChoose(MVEncode()MVREncode()8}}}}}}結(jié)構(gòu)點(diǎn)編碼順序數(shù)組解析函數(shù)如下表所示。此表通過(guò)輸入的結(jié)構(gòu)點(diǎn)空間依賴關(guān)系數(shù)組encode_order[]。其關(guān)系見(jiàn)7.1.3，解析過(guò)程if(spatial_reference_order[point_parent]==-1point_parent++;point_child++;if(spatial_reference_order[point_child]==}break;encode_order[j++]=spatial_reference_order[p}}對(duì)于非中心結(jié)構(gòu)點(diǎn)，編碼其相對(duì)于其父結(jié)構(gòu)點(diǎn)的位置殘差值for(point=0;point<key_point_num;point_to_be_encode=encode_order[point]9if(point_to_be_encode==encode_ores=point_to_be_encode-parent_str}}}運(yùn)動(dòng)矢量MV_central；對(duì)于非中心結(jié)構(gòu)點(diǎn)，先借助MV_cenif(point_to_be_encode==encode_opred_MV=point_to_be_encode_ref+MV_centralres=point_to_be_encod}}運(yùn)動(dòng)矢量MV_central；對(duì)于非中心結(jié)構(gòu)點(diǎn)，先后借助MV_centralif(point_to_be_encode==encode_opred_MV=point_to_be_encode_ref+MV_centralpred_MVR=pred_MV+resres=point_to_be_encode–}}1基于線性預(yù)測(cè)的幀間差分模式編碼定義見(jiàn)表13。結(jié)構(gòu)點(diǎn)的預(yù)測(cè)值由其在前序參考幀和MV_ref=point_to_be_encode_ref-point_to_be_encode_ref_refpred_li=point_to_be_encode_ref+MV_refres=point_to_be_enco}res=point_to_be_enco}WriteBoneExist(){if(all_point_exist_f}無(wú)符號(hào)整數(shù)。表示編碼結(jié)構(gòu)點(diǎn)序列時(shí)所啟用的編碼模式，編碼時(shí)會(huì)從啟用的選擇。具體取值見(jiàn)表16。如果要采用多種模式混合的方式編碼，則將每個(gè)模式對(duì)應(yīng)的值相model_ID的值空間依賴關(guān)系數(shù)組spatial_reference結(jié)構(gòu)體pos_info_buffer1當(dāng)前結(jié)構(gòu)點(diǎn)前序運(yùn)動(dòng)矢量MV_ref待編碼的結(jié)構(gòu)點(diǎn)point_to_be_e參考點(diǎn)point_to_be_encode_ref前序參考點(diǎn)point_to_be_encode_ref_ref位置預(yù)測(cè)值（從相對(duì)運(yùn)動(dòng)矢量）pred_M待編碼結(jié)構(gòu)點(diǎn)在基于線性預(yù)測(cè)的幀間差分模式下待編碼結(jié)構(gòu)點(diǎn)在基于中值預(yù)測(cè)的幀間差分模式下結(jié)構(gòu)點(diǎn)存在標(biāo)志all_point_ex本部分適用于結(jié)構(gòu)點(diǎn)序列的編碼。結(jié)構(gòu)點(diǎn)是指在視覺(jué)任務(wù)中對(duì)目標(biāo)事物具有特征標(biāo)識(shí)檢測(cè)框的四個(gè)角點(diǎn)即可被視為結(jié)構(gòu)點(diǎn)；在人群流量統(tǒng)計(jì)中，人物的2D檢測(cè)框角點(diǎn)和骨骼點(diǎn)b)當(dāng)前幀中結(jié)構(gòu)體的個(gè)數(shù)total_pos_inc)結(jié)構(gòu)點(diǎn)個(gè)數(shù)key_point_numf)結(jié)構(gòu)體的缺失標(biāo)志數(shù)組point_exist_info[為了能夠讓代碼成功解析輸入的結(jié)構(gòu)點(diǎn)序列并進(jìn)行編碼，規(guī)定結(jié)構(gòu)點(diǎn)序列的輸入格式1視首個(gè)結(jié)構(gòu)體首個(gè)結(jié)構(gòu)體最后一最后一個(gè)結(jié)最后一個(gè)結(jié)構(gòu)頻結(jié)構(gòu)體的結(jié)構(gòu)點(diǎn)坐……個(gè)結(jié)構(gòu)構(gòu)體的缺失體的結(jié)構(gòu)點(diǎn)坐標(biāo)標(biāo)00……910……920……N92……當(dāng)結(jié)構(gòu)體在視頻序列中消失后重新出現(xiàn)時(shí)，也應(yīng)當(dāng)保持結(jié)構(gòu)點(diǎn)空間依賴關(guān)系數(shù)組spatial_refe在樹(shù)中的父子結(jié)點(diǎn)關(guān)系以相同方式確定。此時(shí)將此結(jié)構(gòu)體的結(jié)構(gòu)點(diǎn)序列視作一棵樹(shù)。c)向結(jié)構(gòu)點(diǎn)空間依賴關(guān)系數(shù)組中添加-1作為標(biāo)識(shí)符。d)將中心結(jié)構(gòu)點(diǎn)視作父結(jié)點(diǎn)。e)向結(jié)構(gòu)點(diǎn)空間依賴關(guān)系數(shù)組中按樹(shù)的層次遍歷順序添加父結(jié)點(diǎn)的全部子結(jié)點(diǎn)序號(hào)。g)循環(huán)第5-6步，直到父節(jié)點(diǎn)為樹(shù)的第一個(gè)最深層見(jiàn)圖3a)，最終得到結(jié)構(gòu)點(diǎn)的空間依賴關(guān)系數(shù)組為spatial_reference_order[]=[1,-1,0,2,8,11,5,-1,-1,3,-1,9,-1,12,-a)人體骨架結(jié)構(gòu)點(diǎn)結(jié)構(gòu)體b)以樹(shù)表示的人體骨架結(jié)構(gòu)體1直接的情形，空間依賴關(guān)系數(shù)組可以按照結(jié)構(gòu)點(diǎn)序號(hào)順序生成為spatial_reference_order[]=[0,-1,1,-1,2,-1,3,-1,4,-1,5,-1,6,-1,7,-1,8,-1,9,-1,10,-1,11,-1,12,-1,13對(duì)于不同結(jié)構(gòu)點(diǎn)，會(huì)根據(jù)A矩陣判斷具體采用的幀間編碼模式。幀間編碼模式：基于運(yùn)動(dòng)矢量的幀基于運(yùn)動(dòng)矢量的幀間差分模式是指首先用有符號(hào)哥倫布編碼方法編碼該結(jié)構(gòu)體的中心將MV_central(t)應(yīng)用到目標(biāo)結(jié)構(gòu)點(diǎn)以得到預(yù)測(cè)值，再用熵編碼方法編碼目標(biāo)結(jié)構(gòu)點(diǎn)的預(yù)測(cè)所述的MV_central(t)計(jì)算見(jiàn)式（1此處以2D結(jié)(MV_centralx(t),MV_centraly(t))=EQ\*jc3\*hps15\o\al(\s\up4(c),ID)EQ\*jc3\*hps15\o\al(\s\up4(c),ID)EQ\*jc3\*hps15\o\al(\s\up4(c),ID)EQ\*jc3\*hps15\o\al(\s\up4(c),ID)EQ\*jc3\*hps15\o\al(\s\up4(c),I)EQ\*jc3\*hps15\o\al(\s\up4(c),I)xEQ\*jc3\*hps15\o\al(\s\up4(c),I)D(t1)——第t-1幀該結(jié)構(gòu)體中心結(jié)構(gòu)點(diǎn)的橫坐標(biāo)值；EQ\*jc3\*hps15\o\al(\s\up4(c),I)以第j個(gè)結(jié)構(gòu)點(diǎn)為例，首先利用第t-1幀該結(jié)構(gòu)點(diǎn)的坐標(biāo)位置和MV_central(t)計(jì)算出其(predMVxEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predMVyEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t))={(XEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t1)+MV_centralx(t),YEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t1)+MV_centraly(t))|j∈Sc}.（2）(resXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),resYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))={(XEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)pred_MVXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),YEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)pred_MVYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))|j∈Sc}.（3）幀間編碼模式：基于運(yùn)動(dòng)矢量的相對(duì)幀間基于運(yùn)動(dòng)矢量的相對(duì)幀間差分方法建立在基于運(yùn)動(dòng)矢量的幀間差分方法的基礎(chǔ)上，充(predMVRXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predMVRYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t))={(pred_MVXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)+res_parentXEQ\*jc3\*hps15\o\al(\s\up5(P),ID)(j)(t),pred_MVYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)+res_parentYEQ\*jc3\*hps15\o\al(\s\up5(P),ID)(j)(t))|j∈Sc},p(j)——取j的父結(jié)構(gòu)點(diǎn)。(resXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),resYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))={(XEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)pred_MVRXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),YEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)pred_MVRYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))|j∈Sc}.（5）幀間編碼模式：基于線性預(yù)測(cè)的幀(MVrefxEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),MVrefyEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t))=EQ\*jc3\*hps15\o\al(\s\up5(j),I)EQ\*jc3\*hps15\o\al(\s\up5(j),I)EQ\*jc3\*hps15\o\al(\s\up5(j),ID)EQ\*jc3\*hps15\o\al(\s\up5(j),ID)(predlixEQ\*jc3\*hps16\o\al(\s\up5(j),I)D(t),predliyEQ\*jc3\*hps16\o\al(\s\up5(j),I)D(t))={(XEQ\*jc3\*hps16\o\al(\s\up5(j),I)D(t1)+MV_refXEQ\*jc3\*hps16\o\al(\s\up5(j),I)D(t),YEQ\*jc3\*hps16\o\al(\s\up5(j),ID)(t1)+MV_refYEQ\*jc3\*hps16\o\al(\s\up5(j),ID)(t))|j∈S}.（7）(resXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),resYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))={(XEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)—pred_liXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),YEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)—pred_liYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))|j∈S}.（8）幀間編碼模式：基于中值前幀該結(jié)構(gòu)體中每個(gè)結(jié)構(gòu)點(diǎn)的坐標(biāo)預(yù)測(cè)值，在每個(gè)維度上，取三者再用熵編碼方法編碼各結(jié)構(gòu)點(diǎn)的預(yù)測(cè)值和真實(shí)值的殘差。見(jiàn)predmeXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)=Mid{predMVXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predMVRXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predliXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)|j∈S}.（9）predmeYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)=Mid{predMVYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predMVRYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predliYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)|j∈S}.（10）(resxEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),resyEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))={(xEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)—pred_mexEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),yEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)—pred_meyEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)基于多模式的編碼方法的總體思想是以結(jié)構(gòu)體的各個(gè)結(jié)構(gòu)點(diǎn)為編碼單位（即同一結(jié)構(gòu)矩陣元素aID(t)[i][j]代表對(duì)于第t+1幀中編號(hào)為ID的結(jié)構(gòu)體的j結(jié)構(gòu)點(diǎn)使用第i個(gè)幀間編碼模式的預(yù)估壓縮效果。首先使用第i種間編碼模式計(jì)算得到當(dāng)前幀中結(jié)構(gòu)點(diǎn)j的壓縮占用比特，賦給aID(t)[i][j]：1.如果j結(jié)構(gòu)點(diǎn)是中心結(jié)構(gòu)點(diǎn)：aID(t)[i][j]由aID(t)[i][j],aID(t—1)[i][j],…,aID(t—t0)[i][j]加權(quán)計(jì)算得到。其中t0最大取4。如果由于先前某一幀tk該結(jié)構(gòu)體不存在導(dǎo)致aID(ttk)[i][j]不存在，則t0=tk-1。{aID(t)[i][p(j)],aID(t)[i][j],aID(t—1)[i][j],aID(t—2)[i][j],aID(t—3)[i][j],aID(t4)[i][j]}對(duì)應(yīng)的原始權(quán)重為M={0.2667,0.2667,0.1778,0.1333,0.0889,0.0667}。當(dāng)某種舉例如下：如j結(jié)構(gòu)點(diǎn)不是中心結(jié)構(gòu)點(diǎn)，且僅在參考幀中出現(xiàn)了該結(jié)構(gòu)體，在前序參考aID(t)[i][j]=aID(t)[i][p(j)]+aID(t)[i][j]+aID(t—1)[i][j],（12）鍵幀中的結(jié)構(gòu)點(diǎn)均采用空間自差分模式編碼保證獨(dú)立可解，對(duì)于非關(guān)鍵幀中的結(jié)構(gòu)點(diǎn)則采2第第t幀開(kāi)始N,ID=0,j=0ID=N,ID=0,j=0ID=ID+1,j=0ID=ID+1,j=0Y結(jié)構(gòu)體新出現(xiàn)？編碼新結(jié)構(gòu)體Y結(jié)構(gòu)體新出現(xiàn)？編碼新結(jié)構(gòu)體標(biāo)志N結(jié)構(gòu)體相比上一幀未移動(dòng)？結(jié)構(gòu)體相比上一幀未移動(dòng)？Y初始化結(jié)構(gòu)體的A矩陣為零矩陣。結(jié)構(gòu)體號(hào)：IDj=j+1Nj=j+1根據(jù)根據(jù)A矩陣選擇模態(tài)結(jié)構(gòu)體號(hào)：ID結(jié)構(gòu)點(diǎn)號(hào)：j編碼跳過(guò)編碼跳過(guò)結(jié)構(gòu)體標(biāo)志使用幀內(nèi)自差分編碼結(jié)構(gòu)體號(hào)：ID結(jié)構(gòu)點(diǎn)號(hào)：j使用選定模態(tài)編碼使用選定模態(tài)編碼結(jié)構(gòu)體號(hào)：ID結(jié)構(gòu)點(diǎn)號(hào)：jN當(dāng)前結(jié)構(gòu)體所有N當(dāng)前結(jié)構(gòu)體所有結(jié)構(gòu)點(diǎn)編碼結(jié)束？更新A更新A矩陣直接拷貝A矩陣更新A更新A矩陣結(jié)構(gòu)體號(hào)：ID結(jié)構(gòu)點(diǎn)號(hào)：jNYYN當(dāng)前結(jié)構(gòu)體所有N當(dāng)前結(jié)構(gòu)體所有結(jié)構(gòu)點(diǎn)編碼結(jié)束？YN第YN第t幀所有結(jié)構(gòu)體編碼結(jié)束？N第tN第t幀所有結(jié)構(gòu)體編碼結(jié)束？Y第第t幀結(jié)束數(shù)控制編碼器跳幀的