基于mpeg-7的視頻摘要技術(shù)綜述

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)傳輸?shù)膬?nèi)容不是純文本信息。許多交換數(shù)據(jù)具有圖像和視頻記錄，如在線傳播、視頻圖書館、遠(yuǎn)程視頻教育和虛擬博物館。如何從視頻數(shù)據(jù)中快速查找用戶感興趣的內(nèi)容,是視頻檢索的一個(gè)熱點(diǎn)。國(guó)外開發(fā)了不少視頻檢索系統(tǒng)。文獻(xiàn)設(shè)計(jì)了高級(jí)的數(shù)字視頻存儲(chǔ)和在線檢索系統(tǒng)。文獻(xiàn)針對(duì)MPEG-7的基于視頻內(nèi)容的檢索數(shù)據(jù)庫(kù)在線查詢和篩選,用可視特征和運(yùn)動(dòng)信息進(jìn)行描述視頻對(duì)象,并對(duì)視頻語(yǔ)義物體進(jìn)行分類處理。如果想查找某一方面內(nèi)容的視頻文件,若對(duì)每個(gè)視頻逐一進(jìn)行查詢,這顯然相當(dāng)費(fèi)時(shí)費(fèi)力,顯然不可行。若根據(jù)內(nèi)容生成類似圖書館索引的目錄進(jìn)行查找也是非常費(fèi)時(shí)費(fèi)力的。如果能夠把視頻內(nèi)容進(jìn)行濃縮,提取出其中最主要的部分,如兩個(gè)小時(shí)左右的視頻文件,用一個(gè)簡(jiǎn)短的片斷(5～7min)的視頻摘要來(lái)表示出主要內(nèi)容,這樣查找起來(lái)就方便多了。所以視頻摘要的研究近年來(lái)已經(jīng)引起國(guó)內(nèi)外的廣泛關(guān)注。例如美國(guó)MIT實(shí)驗(yàn)室、明尼蘇達(dá)大學(xué)、德國(guó)Mannheim大學(xué),國(guó)內(nèi)的亞洲微軟研究院、清華大學(xué)、國(guó)防科技大學(xué)等都進(jìn)行了此領(lǐng)域的研究。視頻摘要技術(shù)涉及通信、視頻處理、心理感知、模式識(shí)別科學(xué)等領(lǐng)域。視頻摘要的主要應(yīng)用有視頻數(shù)據(jù)的存檔及檢索、影視行業(yè)的應(yīng)用、家庭娛樂(lè)業(yè)、軍用及公安用途、醫(yī)學(xué)影像用途、航天/航空影像分析等。因此,在理論上有很大的研究意義,在實(shí)際應(yīng)用上也有廣闊的應(yīng)用前景。視頻內(nèi)容的索引和檢索主要有四個(gè)步驟:視頻內(nèi)容分析、視頻結(jié)構(gòu)劃分、視頻摘要分析及視頻檢索。對(duì)于上述每個(gè)步驟,都有其特點(diǎn)和難點(diǎn)。而其中的視頻摘要是20世紀(jì)90年代初提出來(lái)的,最初的基本思想是在單位時(shí)間內(nèi)均勻地對(duì)視頻序列取樣。經(jīng)過(guò)近年的研究,視頻摘要提取方法得到極大的豐富,有基于關(guān)鍵幀方法、模型方法、語(yǔ)義方法、情感分析的方法等。事實(shí)上,視頻摘要必須考慮用戶的需要,因而至今沒(méi)有通用的方法。1視頻的三大類型視頻摘要分為靜態(tài)摘要和動(dòng)態(tài)視頻兩類。通常靜態(tài)摘要一般不需要音頻和文本的幫助。動(dòng)態(tài)視頻可分為精彩剪輯視頻、專題縮略視頻和一般縮略視頻三類。精彩剪輯視頻一般由原始視頻中最精彩的部分組成。當(dāng)然,何謂最精彩則取決于用戶對(duì)主題的需要。專題縮略視頻是特定領(lǐng)域視頻的摘要,它要結(jié)合該領(lǐng)域的專業(yè)知識(shí)完成。一般縮略視頻是相對(duì)于專題縮略視頻而言的,它通過(guò)一些視頻片斷序列的組合,使用戶對(duì)整個(gè)視頻內(nèi)容有個(gè)大概的了解。2視頻總結(jié)提取技術(shù)視頻摘要的提取即是視頻摘要的生成。根據(jù)視頻處理對(duì)象的不同可分為基于關(guān)鍵幀、聚類、模型、語(yǔ)義四種視頻摘要的生成方法。2.1關(guān)鍵幀的提取關(guān)鍵幀是反映鏡頭中主要信息內(nèi)容的一幀或多幀圖像。它的使用可以大大減少視頻索引的數(shù)據(jù)量,同時(shí)也為查詢和檢索視頻提供了一個(gè)組織框架。通過(guò)關(guān)鍵幀可為視頻建立視頻摘要,允許用戶通過(guò)有限的關(guān)鍵幀快速瀏覽整個(gè)視頻。在利用關(guān)鍵幀時(shí),首先要分割出視頻中的每組鏡頭,針對(duì)不同的鏡頭提取關(guān)鍵幀。選取關(guān)鍵幀的準(zhǔn)則是考慮幀之間的非相似性,以視覺(jué)特性如顏色、運(yùn)動(dòng)為衡量標(biāo)準(zhǔn)來(lái)抽取關(guān)鍵幀。將鏡頭中的每一幀提取其顏色直方圖,通過(guò)相似度量度鏡頭中的每幀。設(shè)鏡頭由n幀組成,幀之間的特征向量為ti和tj,則相關(guān)系數(shù)為Rij=(ti-mi)(tj-mj),σ2i=σ2j=Rij(1)其中:mi,mj是彩色均值;σ2為方差;Rij反映了幀之間的差別。Tonomura等人最早提出把每組鏡頭的第一幀作為關(guān)鍵幀。Ueda等人和Rui等人把每組鏡頭的第一幀和最后一幀作為關(guān)鍵幀。Pentland等人提出了把鏡頭分成相等的時(shí)間間隔,關(guān)鍵幀從預(yù)定的幀提取出來(lái)。在此基礎(chǔ)上,Girgensohn等人提出了一種時(shí)間約束的關(guān)鍵幀提取算法,考慮了視頻的時(shí)間特征,把相同時(shí)間間隔的幀作為關(guān)鍵幀。Sun等人把鏡頭的每幀分割成物體和背景,然后以物體和背景的最大比率為準(zhǔn)則來(lái)分割關(guān)鍵幀。Zhao等人使用最近鄰特征線的方法獲取關(guān)鍵幀。Narasimha等人用神經(jīng)網(wǎng)絡(luò)的方法提取關(guān)鍵幀,其中把運(yùn)動(dòng)強(qiáng)度描述符和空間活動(dòng)描述符相融合,而運(yùn)動(dòng)強(qiáng)度采用了模糊方法獲得。關(guān)鍵幀存在明顯的缺陷:幀選取依賴于閾值的選擇;計(jì)算量也太大,不可能做到實(shí)時(shí)處理;還有僅有顏色特征不能很好地表達(dá)視頻的語(yǔ)義信息。2.2語(yǔ)義視頻摘要視頻是利用不同的方法把大量鏡頭用各種剪輯方式結(jié)合起來(lái)的。Arman等人認(rèn)為每組鏡頭是由照相機(jī)連續(xù)運(yùn)動(dòng)組成的,應(yīng)該具有類似的內(nèi)容。Zhuang在HSV空間中利用彩色直方圖,把與聚類中心最接近的幀作為關(guān)鍵幀,只考慮了每個(gè)鏡頭中的一幀作為關(guān)鍵幀,而沒(méi)有考慮鏡頭的持續(xù)時(shí)間和活動(dòng)性。Hanjalic等人將視頻分割成一組組鏡頭,通過(guò)聚類分析找出最優(yōu)聚類。Gong等人根據(jù)時(shí)間采樣,提出了單值分解算法獲得關(guān)鍵幀。Sundaram用Kolmogorov法計(jì)算視頻鏡頭的復(fù)雜性,根據(jù)鏡頭的復(fù)雜性和附加語(yǔ)義信息得出視頻摘要。Wolf采用光流法測(cè)量鏡頭中的運(yùn)動(dòng)情況,把攝像機(jī)的局部最小運(yùn)動(dòng)作為關(guān)鍵幀。Dementhon提出了利用曲線的方法,首先把視頻看做高維空間中的曲線,通過(guò)約束條件,用曲線點(diǎn)描述視頻摘要。陳頡等人提出了用顏色直方圖生成視頻摘要。在樣本空間中,通過(guò)非線性函數(shù)把所有數(shù)據(jù)映射到高維空間,構(gòu)造一個(gè)最小的球體把所有數(shù)據(jù)包圍起來(lái),引入連接矩陣將每個(gè)點(diǎn)歸屬到不同的聚類集合,最后通過(guò)先驗(yàn)知識(shí)進(jìn)行數(shù)據(jù)挖掘?qū)垲惖玫降溺R頭序列進(jìn)行分析,最終生成視頻摘要。軟件視頻是一個(gè)動(dòng)態(tài)過(guò)程,根據(jù)彩色直方圖、運(yùn)動(dòng)信息和另外一些特征計(jì)算幀間的差別得到關(guān)鍵幀。Zhao等人采用了一種簡(jiǎn)單斷點(diǎn)的方法得到關(guān)鍵幀。在壓縮域中,Narasimha對(duì)壓縮視頻利用運(yùn)動(dòng)信息通過(guò)神經(jīng)網(wǎng)絡(luò)得到關(guān)鍵幀。前面提到的方法一個(gè)共同缺陷是所提取出的關(guān)鍵幀不一定能保證具有相關(guān)性。在生成關(guān)鍵幀時(shí),要考慮到場(chǎng)景的重要性,可以從視頻中場(chǎng)景的長(zhǎng)度、活動(dòng)性、場(chǎng)景中視頻物體的數(shù)量三個(gè)方面進(jìn)行考慮。在支持向量機(jī)聚類中,通過(guò)高斯核函數(shù)把視頻幀從低維空間映射到高維特征空間中,并在高維空間中借助一個(gè)最小的超球體將聚類數(shù)據(jù)包圍起來(lái),超球體被映射回原始低維數(shù)據(jù)空間,就得到所需結(jié)果。曹建榮等人提出了一種基于支持向量機(jī)的風(fēng)光紀(jì)錄片語(yǔ)義視頻摘要算法。文獻(xiàn)采用了全景圖拼接技術(shù),不僅將某個(gè)鏡頭中具有相同或部分相同背景的幀組成一幅圖像,而且能夠表示某個(gè)鏡頭的內(nèi)容。主要步驟有:用運(yùn)動(dòng)模型對(duì)連續(xù)幀進(jìn)行變換;根據(jù)估算的運(yùn)動(dòng)參數(shù)對(duì)圖像進(jìn)行變形處理,之后拼接成一幅全景圖像。它的主要優(yōu)點(diǎn)是對(duì)背景影響不大,但是它不能保留前景對(duì)象的運(yùn)動(dòng)信息。2.3視頻運(yùn)動(dòng)學(xué)模型近年來(lái),對(duì)于視頻摘要的研究已經(jīng)提出了一些模型。其中,較典型的有以下幾個(gè)模型。Xie等人提出了EDU模型。該EDU模型定義為EDU={E,D,U,φ},E、D、U、φ分別是實(shí)體集、描述集、有用集、上述三種集合的關(guān)系。視頻的實(shí)體包括視頻的幀、鏡頭、場(chǎng)景、情節(jié);描述集是對(duì)不同的實(shí)體有不同的描述;有用集是對(duì)視頻結(jié)構(gòu)進(jìn)行分析后得出的有用部分。馬里蘭大學(xué)的Subrahmanian提出了CPR模型。該模型主要考慮三個(gè)參數(shù):優(yōu)先權(quán)、連續(xù)性和非重復(fù)性。對(duì)于一個(gè)好的視頻摘要,首先它應(yīng)該是選擇重要的具有優(yōu)先級(jí)的物體和事件,并且是連續(xù)的而非中斷的;其次這些物體和事件在視頻摘要中不能重復(fù)出現(xiàn)。Itti等人提出的一種基于注意力的模型,可表示為A=wv×Mˉˉˉˉv+wa×Mˉˉˉˉa+wl×Mˉˉˉˉl(2)其中:ωv、ωa、ωl是線性組合的權(quán)值;Mˉˉˉˉv、Mˉˉˉˉa、Mˉˉˉˉl是歸一化的可視、聲音和語(yǔ)言注意力模型。Vasconcelos等人提出的時(shí)空運(yùn)動(dòng)模型。在視頻中,連續(xù)幀的運(yùn)動(dòng)特性可以看做仿射變換。如果在一組鏡頭中只有單一的物體運(yùn)動(dòng),通過(guò)運(yùn)動(dòng)模型可以得到很好的視頻摘要。然而,實(shí)際的運(yùn)動(dòng)大多由兩個(gè)或者多個(gè)物體運(yùn)動(dòng)構(gòu)成,那么用占據(jù)主導(dǎo)地位的物體運(yùn)動(dòng)來(lái)描述,其他物體可以忽略。此外還有Chu提出的基于馬爾可夫模型的視頻摘要生成方法。文獻(xiàn)提出了根據(jù)圖模型提取視頻摘要的方法。2.4基于情感單元的語(yǔ)義結(jié)構(gòu)前面分析的基于關(guān)鍵幀和基于聚類的視頻摘要提取方法都沒(méi)有考慮視頻給予人的感知特性。因?yàn)橐曨l最終是給人看的,視頻分析應(yīng)該包括客觀分析和主觀理解,應(yīng)該考慮視頻語(yǔ)義信息。文獻(xiàn)提出了用結(jié)構(gòu)表示知識(shí)。Carlos等人提出了用語(yǔ)義分析視頻摘要,首次提出了情感單元的概念。情感單元表示一個(gè)情節(jié)中某一時(shí)刻人物或場(chǎng)景的精神狀態(tài)。情感狀態(tài)主要有精神狀態(tài)、期望事件和非期望事件三種類型。復(fù)雜的情感可以由多個(gè)情感單元合成。分析了影片“TheGoldenAxFable”的一些情節(jié),把故事根據(jù)語(yǔ)義內(nèi)容分成三個(gè)狀態(tài):一個(gè)居民的斧子失落到湖里,他尋求幫助,最后找到了斧子。該片的語(yǔ)義結(jié)構(gòu)可以表示成圖1。曹建榮等人提出一種根據(jù)高層語(yǔ)義概念特征,對(duì)風(fēng)光紀(jì)錄片提取視頻摘要的算法。首先在鏡頭關(guān)鍵幀的基礎(chǔ)上利用支持向量機(jī)對(duì)鏡頭關(guān)鍵幀分類,得到語(yǔ)義概念。根據(jù)語(yǔ)義概念將鏡頭聚類,即同樣語(yǔ)義概念的鏡頭為一類。然后根據(jù)不同語(yǔ)義類中鏡頭的重要性決定從該類中選取哪個(gè)鏡頭的關(guān)鍵幀作為視頻摘要的構(gòu)成幀。最后將不同語(yǔ)義類中選取的關(guān)鍵幀根據(jù)時(shí)間順序排序,構(gòu)成靜態(tài)瀏覽型的視頻摘要。按類似的方法也可以構(gòu)成播放型的視頻摘要。3視頻生物文本的信息性和互動(dòng)性Fayzullin等人提出視頻摘要需要考慮的幾個(gè)問(wèn)題:連續(xù)性、優(yōu)先性及不可重復(fù)性。連續(xù)性要求視頻盡可能地不被打斷;優(yōu)先性表示視頻中物體和事件比其他物體具有優(yōu)先權(quán);不可重復(fù)性表示對(duì)于相同情節(jié)而言,視頻摘要不可重復(fù)出現(xiàn)。視頻摘要的通用評(píng)價(jià)標(biāo)準(zhǔn)是用戶的主觀判斷。Liu等人對(duì)視頻摘要的好壞進(jìn)行打分評(píng)價(jià),通過(guò)不同的用戶對(duì)摘要的好壞從低到高進(jìn)行打分,最后將評(píng)價(jià)結(jié)果分為好的、可接受的和不可接受的。Ngo等人提出了信息化和娛樂(lè)性的判斷標(biāo)準(zhǔn)。在這里,信息性指的是能夠表達(dá)出內(nèi)容的最小視頻文件;娛樂(lè)性指的是摘要能夠表達(dá)出的視頻感知性。上述方法都具有主觀性,必須要由人來(lái)參與評(píng)價(jià),再建立主觀評(píng)價(jià)模型,才能計(jì)算出分?jǐn)?shù)。Narasimha等人和Lagendjik等人給出了視頻摘要的客觀評(píng)價(jià),是基于關(guān)鍵幀選取的。他們研究了兩個(gè)幀之間的相似度量度,并定義了量度公式。對(duì)于客觀性的量度主要有兩種方法。一種是保真度測(cè)量,可以用式(3)表示:Fidelity(St,KFt)=maxDiff-d(St,KFt)(3)其中:maxDiff是幀與幀之間最大的差。另外一種是鏡頭重構(gòu)度(shotreconstructiondegree,SRD),如式(4)所示:SRD(St,KFt)=∑n=0γNF?1sim(F(t+n),F?(t+n))(4)一個(gè)理想的視頻摘要應(yīng)該能夠用最少的幀表示整個(gè)視頻流的內(nèi)容信息。文獻(xiàn)提出摘要壓縮率的問(wèn)題。視頻摘要的壓縮率可以表示為CRatio(St)=1-γNKF/γNF(5)其中:γNKF是視頻摘要中關(guān)鍵幀的數(shù)量;γNF是視頻序列所有幀的數(shù)量。一個(gè)好的視頻摘要應(yīng)該能夠反映視頻的主要內(nèi)容,并且具有較高的壓縮率。4典型視頻總結(jié)系統(tǒng)國(guó)外對(duì)于視頻摘要進(jìn)行了深入研究,開發(fā)出一些簡(jiǎn)單的視頻摘要系統(tǒng)。一個(gè)典型的視頻摘要系統(tǒng)如圖2所示。1頻信息生成最早開發(fā)出的系統(tǒng)是由卡內(nèi)基梅隆大學(xué)設(shè)計(jì)的Informedia工程,它可以生成縮略視頻摘要。系統(tǒng)是從視頻中抽取重要視頻信息生成能簡(jiǎn)潔表達(dá)原視頻內(nèi)容的短剪輯。設(shè)計(jì)者首先從視頻中抽取文字,然后提取與文本相關(guān)的音頻片斷生成音頻縮略。在此基礎(chǔ)上,又開發(fā)了Informedia-Ⅱ系統(tǒng)。它的目標(biāo)是生成自適應(yīng)的、可視化的視頻摘要,如允許用戶對(duì)視頻片斷進(jìn)行標(biāo)注,讓用戶調(diào)整視頻摘要的壓縮比。這樣可以對(duì)視頻中感興趣的內(nèi)容設(shè)置較小的壓縮率,不感興趣的內(nèi)容就設(shè)置相對(duì)較大的壓縮率。2特殊事件的視頻摘要提取文獻(xiàn)設(shè)計(jì)了MoCA系統(tǒng),其主要目的是從長(zhǎng)視頻中抽取出一段能夠保留原視頻主要內(nèi)容的動(dòng)態(tài)圖像序列。系統(tǒng)抽取電影片段中最有代表意義的場(chǎng)景來(lái)自動(dòng)生成預(yù)告片,通過(guò)探測(cè)特殊事件,如主要演員的特寫鏡頭、爆炸、槍響等確定重要的場(chǎng)景,以摘要形式展現(xiàn)給用戶。整個(gè)摘要提取過(guò)程分為三步:首先分割出重要對(duì)象,將視頻分為若干鏡頭和場(chǎng)景;然后選擇合適的場(chǎng)景作為摘要的內(nèi)容;最后剪輯組合成最終的表現(xiàn)形式。在生成視頻摘要時(shí),MoCA系統(tǒng)選取下列任一條件的視頻剪輯作為摘要的候選素材:重要的對(duì)象和人物;重要的情節(jié),如爆炸、槍響、汽車的追逐或暴力等;對(duì)話;扉頁(yè)上的文字與主旋律;故事的前80%,即刪除電影后面20%的剪輯,去除故事的結(jié)果,以保持觀眾的懸念。3視頻項(xiàng)目及其官方視頻摘要?jiǎng)討B(tài)采樣的縮略法首先將連續(xù)的視頻源分割成分鏡頭;對(duì)每個(gè)分鏡頭計(jì)算其運(yùn)動(dòng)強(qiáng)度并將之量化,不同的量化區(qū)間賦予不同的采樣率;最后根據(jù)指定的采樣率從每個(gè)分鏡頭中選取關(guān)鍵幀。德國(guó)西門子研究院Toklu使用視覺(jué)、聲音以及文本等融合來(lái)生成視頻摘要。Vidsum系統(tǒng)將底層特征映射到有意義的語(yǔ)義事件,從而生成摘要。Lienhart主要研究視覺(jué)對(duì)象的視頻摘要,它使用基于模型而不是基于內(nèi)容的方法。劉桂清等人提出了一種嶄新的實(shí)體—效用方法。其他的視頻摘要系統(tǒng)如文獻(xiàn)設(shè)計(jì)了一種專門針對(duì)該研究機(jī)構(gòu)每周例會(huì)的摘要提取系統(tǒng)。哥倫比亞大學(xué)的Sundaram提出了實(shí)用的方法,將視頻看做一個(gè)復(fù)合的實(shí)體,通過(guò)將實(shí)體與效用相關(guān)聯(lián),將問(wèn)題轉(zhuǎn)換為約束條件下保留用戶所需的最大效用問(wèn)題。4新聞的組成Huang等人設(shè)計(jì)了一個(gè)廣播新聞?wù)到y(tǒng)。新聞一般是由播音員、詳細(xì)報(bào)道和廣告組成。通常的新聞部分由一系列標(biāo)題新聞構(gòu)成,該系統(tǒng)把廣告穿插在不同的標(biāo)題新聞故事中。5聚類聚類的聚類及其重要度Alto實(shí)驗(yàn)室設(shè)計(jì)了一種能夠自動(dòng)生成漫畫書的VideoManga系統(tǒng),主要應(yīng)用于會(huì)議視頻。該系統(tǒng)先將鏡頭分割,然后將每組鏡頭中相似的關(guān)鍵幀聚集在一起。假設(shè)每個(gè)聚類的權(quán)重為ωi=|fi|/∑j=1kfj,定義了鏡頭的重要度為Ikj=Ljlog(1/ωk)。其中:Ikj表示了聚類k的情節(jié)j的重要程度;Lj是情節(jié)的持續(xù)時(shí)間。系統(tǒng)候選片斷的選取原則是重要度大于1/8。6體育視頻的總結(jié)系統(tǒng)視頻摘要一個(gè)主要的應(yīng)用是在體育方面,具體的有足球摘要系統(tǒng)、橄欖球事件檢測(cè)、網(wǎng)球比賽中網(wǎng)球運(yùn)動(dòng)軌跡判斷、棒球的檢測(cè)系統(tǒng)。5生物醫(yī)學(xué)視頻思維能力視頻摘要的技術(shù)綜上所述,視頻摘要已成為視頻處理領(lǐng)域中新的研究方向。但基于語(yǔ)義的視頻摘要研究還有很多理論和實(shí)際問(wèn)題需要進(jìn)一步探討。從低層次的圖像基本特征,如顏色、紋理、形狀和運(yùn)動(dòng)信息等,到人、海灘、日出等高層語(yǔ)義已有文獻(xiàn)進(jìn)行了報(bào)道,但是視頻摘要的研究目前主要還有以下瓶頸:a)