體育視頻標注和解析,本研究有大力支持本次體育視頻內容標注與分析技術研究的關鍵詞是內容、研究、體育、技術、視頻、

一、發展本研究的意義

近年來，數字視頻得到了廣泛應用，如視頻點播、數字電視、數字圖書館、視頻會議、遠程教育等。，這已經被越來越多的人所接受和熟悉。面對大量涌現的視頻數據，如何找到所需的視頻信息成為亟待解決的問題。

簡單的視頻名稱查詢和類似錄像機的播放功能已經不能滿足人們的需求。就像一本書通常有目錄和索引來幫忙人們快速瀏覽和查詢內容一樣，一個視頻也需要有效的目錄和索引。傳統的辦法需要人們對視頻內容進行標記，非常費時費勁，尤其是在視頻資源數量巨大或者處理速度接近實時的情況下。所有的手工辦法都會遇到難以克服的困難。為了解決這一問題，20世紀90年代以來，出現了基于內容的視頻分析與檢索[1][2][3]。其核心是通過計算機分析和理解視頻內容，建立結構和語義索引，方便用戶檢索。

巨大的商業前景和重要的學術價值吸引了來自不同行業和學術界的研究人員對這一問題進行研究。一些原型系統相繼提出，主要有IBM的QBIC/CueVideo[4][5]，Virage公司的視頻引擎體育視頻，即體育比賽的電視轉播，作為一個重要的應用領域，一直備受關注。體育比賽通常很長，但對于大多數觀眾來說，只有一小局部是真正關懷的，很可能會被反復觀看。示例，一場跳水比賽往往持續幾個小時，但其中令人興奮的局部——運發動跳入水中的過程只有幾分鐘。人們需要一種方便快捷的方式來獲取體育視頻的內容。，卡耐基梅隆大學的InforMedia與其他視頻相比，體育視頻有自己的特點。首先，體育視頻中有一些領域相關的語義事件，比方運發動在跳水比賽中的跳水、足球比賽中的射門等。這些語義事件通常是視頻中最有價值的局部，需要標記以便于檢索。其次，體育比賽一般都有很強的結構性，比方跳水比賽由幾個回合組成。每一輪由幾個玩家等組成。為了方便瀏覽視頻內容，需要根據這些結構對原始視頻數據進行分析，并組織成一個分層目錄。本課題的目標是研究體育視頻內容的語義標注和結構分析技術。，哥倫比亞大學的VideoQ雖然由于目前的技術水平，無法實現全自動、通用的視頻內容理解，但本課題的研究將證明局部解決計劃是可能的、有價值的，我們的研究也將為最終的全面解決計劃奠定根底。除了學術意義，本課題的研究還可以有下列直接應用:等。這些努力最終促成了國際規范MPEG-7(多媒體內容描述接口)的誕生。然而，隨著問題的深入，研究者面臨著更大的障礙:機器對視覺/聽覺內容的理解，即難以建立底層特征與高級語義之間的聯系。同樣的問題困擾人工智能領域多年。人們普遍認為，找到一個普遍的解決方法是極其困難的。因此，一些研究反而側重于解決特定領域的應用問題，如新聞、電影等。在這些特定領域中，通過結合相應的領域知識，可以在低級特征和高級語義之間建立某種聯系。

[6]

[7]

[8]

1.視頻數據庫:適用于各類體育專業人士或愛好者查詢、瀏覽、管理采集的體育比賽視頻數據。目前，我們已經應用于國家體育總局的研究工程——跳水訓練圖像分析軟件系統的開發。通過對跳水比賽視頻內容的標注和分析，可以方便快捷地實現典型動作的視頻數據庫。

2.Web多媒體發布:適用于新聞或體育網站在Web上及時發布體育多媒體信息。如今，越來越多的人習慣于從互聯網上獲取最新信息。基于我們的技術，我們可以第一時間編輯和發布包括綜合圖片、文本、視頻和音頻在內的體育多媒體信息。

3.個人移動效勞:適用于無線效勞提供商為個人提供定制的彩信效勞。我們的內容標注和解析技術可以為冗長的體育視頻生成摘要，從而可以根據用戶的個人喜好和終端能力將體育彩信發送到移動設備。

二、國內外研究現狀分析

國際上對體育視頻的研究始于20世紀90年代中期，屬于視頻檢索領域的一個子課題。與新聞視頻領域的成功[9][10][11]相比，體育視頻的研究相對較少，難度更大。這主要是因為新聞視頻具有根本一致的時域結構和場景語義，即首先是播音員的鏡頭，然后是新聞報道，最后回到播音員的鏡頭進行后面的新聞報道。然而，體育視頻并沒有這樣統一的結構和語義。目前，對體育視頻的研究還處于探索的初級階段，對其過程和辦法還沒有統一的結論，也沒有實用的系統可以投入使用。

1、鏡頭檢測

通常，在分析體育視頻之前，需要將其分成鏡頭。所謂鏡頭，是指攝像機連續拍攝的一組幀序列，通常被認為是視頻的最小結構單元。為了分割鏡頭，需要檢測鏡頭邊界。鏡頭之間有兩種邊界:突變和漸變。當突變發生時，鏡頭直接切換到下一個鏡頭；在漸變的過程中，從一個鏡頭到下一個鏡頭會有一個連續的多幀變化過程，主要包括淡出淡入、溶解、擦拭等。淡出是指視頻幀逐漸淡出，直到屏幕完全變黑，然后下一個鏡頭的幀圖像逐漸出現。溶解意味著前一個鏡頭的幀圖像逐漸含糊，而后一個鏡頭的幀圖像逐漸增強。

鏡頭檢測的關鍵問題是如何辨別鏡頭之間的切換和相機或物體移動引起的鏡頭變化。因此，漸變比突變更難發覺。早期的工作主要集中在突變檢測上，最近更多的研究集中在漸變的分析上。

鏡頭檢測辦法可以分為兩類:非壓縮域和壓縮域。在[12][13]中，實驗評估了未壓縮域中的各種鏡頭檢測算法。與未壓縮域的辦法相比，基于壓縮域的辦法不需要對視頻編碼流進行解碼，而是直接利用壓縮域的特征如DCT系數、運動矢量、宏塊信息等進行分析。從而提高處理速度[14][15][16][17]。如今，大量視頻數據以壓縮格式(如MPEG)存儲，因此基于壓縮域的辦法往往具有更大的實用價值。

2.語義標注

語義標注是指對體育視頻中的語義事件進行檢測和標注，其本質是根據預先定義的類別對視頻片段進行辨認。目前，國內外對體育視頻的研究實際上都集中在這方面，相關工作介紹如下。

Y.龔等人首先提出了對足球比賽視頻的分析[18]。他們結合足球比賽的現場知識，通過白線辨認、攝像頭運動檢測、足球和球員檢測等分析，推斷出視頻的內容，包括球場上的什么地方、投籃、角球等。比方場景靠近球門區，足球向球門移動，就可以推斷是射門。實驗結果說明，該系統能夠準確辨認球場位置，到達90%，但射門和角球的辨認率只有53%，這主要是由于高速運動和遮擋，使得足球的檢測更加困難。

哥倫比亞大學的徐鵬和其他人察看到，足球比賽可以分為兩種狀態:踢和暫停(示例，因為球出界或者裁判在試探性地踢)。他們開發了一個系統，可以檢測視頻中的足球比賽是在進行還是暫停[19]。系統分兩步分析足球視頻。首先，根據顏色分析，得到每幀的草色比。此功能用于將幀標記為三種類型:全局視圖、放大視圖和特寫視圖。在檢測過程中，該算法可以學習并自動調整草的顏色和分類決策。然后對視頻幀進行上述分類標記后，根據經驗總結出的規那么(示例，全景通常是游戲，特寫通常是游戲休息等。)來判斷游戲是進行中還是暫停。實驗中使用了4個來自不同足球比賽的5分鐘片段，檢測準確率最好為86.5%，最差為67.3%。

清華大學的羅鳴等人還以足球為例提出了一個體育視頻分析系統[21]。他們的系統根據視場顏色的比例和關鍵幀中物體的大小，將鏡頭分為遠攝和近攝。此外，對于長焦拍攝，他們察看到快速相機移動通常會在拍攝或長傳過程中含糊圖像，因此他們提出根據幀圖像的含糊程度來檢測足球比賽中的這些事件。實驗結果說明

DrewD.Saur等人直接利用基于MPEG壓縮域的特征實現了籃球視頻內容的自動分析和標注[22]。該算法首先基于壓縮域DC圖分割鏡頭，然后計算每個P幀的運動矢量大小。考慮到特寫鏡頭一般比廣角鏡頭變化更激烈，視頻分為廣角鏡頭和特寫鏡頭。對于廣角鏡頭，進行了進一步的分析。

Y.微軟研究院的芮等人提出了一種根據音頻特征檢測棒球比賽中精彩事件的辦法，計算量較小，適用于計算能力有限的環境[23]。他們的算法基于機器學習，即講述者的興奮語音辨認和棒球擊打聲檢測，然后將它們與概率混合來推斷最終的興奮片段。實驗說明，與人工標注的精彩片段相比，該算法的準確率可達75%。

類似地，對于棒球，張等人通過檢測和辨認比賽中得分和狀態的字幕顯示來分析語義事件[24][25]的發生，示例觸地得分和最后一投(投手被送出)。他們使用視頻文本檢測和辨認技術來分析游戲中的字幕信息。利用領域知識模型進一步提高了辨認結果。

一場體育比賽播出時，通常會在精彩事件發生后及時穿插慢動作重播，這也吸引了眾多研究者的關注迪。張試圖提出一個體育視頻分析的總體框架3、結構分析。為了兼顧效率和準確性，他認為事件檢測可以分為兩個步驟，即基于壓縮域分析的初級階段和基于對象級的驗證階段。首先，選擇壓縮域的一些特征，如顏色和運動，通過統計學習實現事件的初選。其次，根據總結的領域規那么對候選場景中的對象進行分割。比方網球比賽的發球擊球，圖像中應該有一個較大的場地區域，下方應該有一個較小的球員物體。J.Assfalg等人認為體育視頻鏡頭一般可以分為三類:場地、運發動和觀眾一個視頻通常包含數百個鏡頭，尤其是體育視頻。這主要是因為在電視轉播一場體育比賽時，會有多個攝像頭從不同的角度拍攝比賽，它們之間的頻繁切換就構成了鏡頭。為了更好地訪問視頻內容，除了語義標注，還需要對鏡頭進行有效的組織。結構分析的任務是通過鏡頭組織為視頻數據流建立一個類似于書目的分層瀏覽結構。。場館鏡頭聚焦于運動本身，由大塊一致的色彩區域和場館線條代表。在運發動的鏡頭中，運發動作為物體出現在前景中，而背景變得含糊。在觀眾鏡頭中，個體往往是不清晰的，觀眾作為一個整體可以看作是一種質感。基于這些理解，他們通過邊緣提取它們。本次體育視頻的內容標注與分析技術研究的關鍵詞是內容、研究、體育、技術、視頻、分析等。，可以有效辨認三種鏡頭。名詞〔noun的縮寫〕Babaguchi結合了文本和視覺特征來檢測體育視頻中的事件以圖1跳水比賽的樹形結構4.摘要為代表，一些研究者提出了一種通用的視頻結構分析辦法。他們通過時間約束聚類辦法將視覺上相似的鏡頭和時間上相鄰的鏡頭聚類在一起，然后基于聚類組構建場景轉換圖或高級場景。然后形成分層的瀏覽結構。但這種統一的結構組織(如[34]將視頻分為幀/鏡頭/組/場景四層)并不適合體育視頻的分析，主要是因為體育游戲有其特定的結構(如圖1所示)，對體育視頻的分析要結合這一領域知識。。文本信息來自電視信號中的隱藏字幕。首先，通過在文本中搜索與事件相關的關鍵詞，我們估計事件的可能時間段。然后，分析該時間段內鏡頭的視覺特征，計算與已有事件實例的匹配度，檢測與事件相關的鏡頭。。通過檢測重播事件，并在之前的視頻中找到內容相同的正常場景，可以為冗長的體育視頻生成令人稱心的精彩指數。

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

綜上所述，基于對國內外研究現狀的調查，我們得出下列結論:

(1)特征選擇要結合領域知識。領域知識包括游戲相關和制作相關。與游戲相關的領域特征波及特定的運動，示例足球比賽中的草和顏色的比例以及籃球比賽中快攻時攝像機的移動。制作相關的領域特征適用于大局部體育視頻的分析，主要來自于體育視頻制作的總結，比方精彩場景的回放、運發動和分數信息的字幕顯示等。結合這兩種領域知識，選擇適宜的特征進行分析是

(2)多模態融合分析代表了一種新的研究趨勢。除了視覺特征之外，整合體育視頻中包含的音頻特征和文本信息可以有效提高視頻分析的準確性。這也是近年來的研究熱點。在體育視頻中，一個語義事件往往是多模式的敘述，如運發動的跳水工程既有視覺運動，又有聽覺踏板聲和水輸入聲，因此僅分析其中一種模式是不完整的。因此，在體育視頻中，有必要對語義事件進行綜合分析。

(3)盡量考慮壓縮域的特征分析。一場體育比賽持續幾個小時，其視頻數據也非常龐大，因此提高處理速度是有意義的，這在一些需要實時應用的場合也是必要的。直接基于壓縮域的分析可以顯著提高處理速度，無需完全解碼。[22][31]說明，基于壓縮域的分析不僅可以大大減少計算量，而且可以得到更好的結果。

(4)基于統計的事件檢測辦法優于基于規那么的辦法。早期的研究大多使用基于規那么的辦法。然而，體育視頻中的事件檢測往往需要綜合各種特征分析辦法，適應不同的場景。這些都增加了直接設置規那么的難度。與統計算法相比，它易于混合各種特征，具有一定的學習能力，因此具有較大的實用價值。

(5)無視事件之間關系的研究。體育比賽中的各種語義事件不是孤立的，而是有一定的因果關系或概率相關性。因此，對各種事件及其關系的綜合分析對于提高分析的準確性和深度是有價值的。

(6)不足體育視頻內容的結構分析。雖然很多文章都提到了體育視頻的結構分析，但他們的結構分析主要集中在根本場景的分解上，如[20]將足球視頻分為比賽進行和暫停，[31]檢測網球比賽的發球場景。體育視頻的結構，如圖1所示，通常是多層目錄結構。在檢測根本場景的根底上，有必要進一步研究高層結構的分析。

(7)體育視頻內容分析沒有統一的框架。[31]提出了視頻分析的通用框架，但他們的系統主要實現語義事件的檢測，不足對視頻結構的充沛分析。根據體育視頻的特點和應用需求，我們認為視頻分析的過程應該有一個根本的框架，這對于進一步的研究無疑是有意義的。

三是研究目標、內容和需要解決的關鍵技術

本課題的目標是研究體育視頻內容的語義標注和結構分析技術。在實際研究中，我們主要選擇跳水比賽作為研究對象。跳水在中國極具欣賞性，是奧運優勢工程，深受人們喜愛。跳水比賽具有一般體育比賽的典型特征，如層次結構、領域相關語義事件等。通過對內容分析技術的研究，最終實現一個潛水視頻查詢系統。

如果把視頻看作一種語言敘述，則視頻分析在某種程度上與自然語言理解非常相似，其目的是使計算機能夠理解信息的內容，從而實現智能信息處理。自然語言理解作為人工智能的一個重要研究方向，已經有40多年的歷史。新興的視頻分析研究一定有很多值得借鑒的地方。自然語言理解一般以詞匯為根本處理對象，包括自動分詞、詞性標注、句法分析等階段。同樣，由于鏡頭是視頻中內容敘述完整的最小單元，我們將鏡頭作為體育視頻分析的根本單元，提出了如圖2所示的體育視頻內容分析框架。

圖2體育視頻內容分析框架

1、鏡頭檢測

與自動分詞類似，鏡頭檢測以鏡頭為根本單位分解視頻流。鏡頭檢測是視頻內容分析的根底步驟，對整個系統的性能影響很大。雖然鏡頭檢測是一個普遍問題，但在體育視頻中也有其特殊要求:

(1)針對大量的運動視頻數據，算法要能實現快速檢測；

(2)運動視頻中有大量的運動，算法要盡量防止運動帶來的誤判；

(3)作為后期分析的根底，算法要有較高的精度。

2.模式學習和語義標注

鏡頭檢測后的視頻流是一組鏡頭序列。在此根底上，語義標注通過事件檢測對鏡頭序列進行標記。我們使用基于統計的辦法來辨認語義事件。在辨認時，我們首先通過學習訓練樣本建立一個分類器，然后使用這個分類器來辨認鏡頭中的事件。需要解決下列問題:

(1)多模式提取和選擇領域相關特征來表示語義事件；

(2)應用壓縮域分析提高處理速度；

(3)設計好學習分類模型，實現高精度辨認；

(4)標記鏡片應有利于后續的結構分析。

3.語法描述和結構分析

語義標注后，結構分析的任務是通過分析視頻標注序列生成體育視頻的分層瀏覽結構。目前這個領域還沒有好的算法。為了解決這個問題，我們基于自然語言理解中的語法分析思想，使用語法來定義語法規那么。將語法描述引入結構分析具有下列優點:(1)根據語法描述，我們可以(2)實現領域知識和具體算法的別離。這樣，我們只需要引入相應的語法描述，就可以使用統一的解析器來分析不同類型的體育比賽。關鍵技術包括:

(1)自動生成體育視頻的分級瀏覽目錄；

(2)在實際應用中，視頻流可能不完整或標記不正確，解析器要有良好的容錯能力；

(3)對于數據量較大的體育視頻，對結構分析的效率要求較高。

第四，提出研究辦法、技術路線和可行性分析

1.基于壓縮域的鏡頭分割算法

體育視頻中常見的漸變主要有溶解和擦除，尤其是一些有特效的漸變，如圖3所示。這些特定的擦除模式通常出現在慢速鏡像回放的開始和結束，辨認這個鏡頭邊界非常有價值。現有的壓縮域算法主要成功地進行了剪切檢測，但對漸變的研究很少。我們將研究一種有效的漸變檢測辦法，該辦法綜合了壓縮域中的DCT系數、運動矢量和宏塊信息。

圖3體育視頻中特定圖案的擦除

2.體育視頻中語義事件的檢測

(1)通過地標邊界檢測辨認重放事件

[1]重播分為三種:重復播放的同一個鏡頭；同樣的鏡頭以慢動作模式重播；同一個場景是由不同的攝像機從不同的視角拍攝的。很難通過直接從內容中比擬重放事件和先前視頻鏡頭之間的相似性來準確辨認，尤其是對于最后的重放。

通過對體育比賽電視轉播的察看，我們可以發現，精彩片段的重播通常是以一個象征性的鏡頭切換引入，然后以類似的變化結束，如圖3所示。因此，重放事件的檢測實際上可以歸因于這個符號鏡頭邊界的檢測，從而簡化了問題。我們將主要研究這種辦法。

(2)使用視頻文本辨認來確定狀態事件

狀態性事件直接關系到體育競賽的狀態變化。通常比賽狀態變化時，電視轉播會給視頻添加相關字幕。比方跳水比賽運發動進入賽場，會有文字表明運發動的名字和要做的動作。在一輪結束時，將顯示該輪所有玩家的分數。

根據這一特點，我們提出通過檢測和辨認視頻中的文本來檢測狀態事件。這種辦法包括兩個層次。首先，我們可以通過檢測視頻文本[36][37][38][39][40]來初步確定狀態事件的發生。然后，我們通過關鍵詞匹配辨認檢測到的文本并辨認狀態事件的類別。比方運發動入場的字幕顯示中有“回合〞、“排名〞、“DD〞(難度)和“Total〞(總分)等關鍵詞。通過匹配這些關鍵詞，可以判斷當前鏡頭是運發動入場的狀態事件。

(3)結合視頻和音頻雙模的目標事件檢測。

在目標工程中，往往有明顯的運動和聽覺特征，如運發動的跳水工程，既有視覺運動又有聽覺踏板聲和入水聲。視頻和音頻融合的分析防止了僅利用視覺或聽覺特征無法完整描述語義事件的缺乏，能夠有效提高辨認準確率。

在辨認過程中，我們采用了混合隱馬爾可夫模型和支持向量機的辦法[41]。支持向量機通過結構風險最小化準那么，可以在小樣本條件下實現有效分類。然而，支持向量機只是一個靜態分類器，不能很好地模擬時間序列過程。相反，隱馬爾可夫模型可以更好地處理隨機時間序列數據的辨認。然而，它不能保證訓練好的模型能夠很好地對未知數據進行分類。這樣，通過將兩者混合，并將靜態數據辨認效果較好的支持向量機引入隱馬爾可夫模型，可以獲得最正確的視頻流數據辨認效果。

3、語法指導

本次體育視頻內容標注與分析技術研究的關鍵詞是內容、研究、體育、技術、視頻、結構分析。

為了分析輸入體育視頻數據的結構，我們首先需要描述這類體育游戲的語法規那么。喬姆斯基將語法分為四種類型，即0型語法(或短語語法)、1型語法(或高低文敏感語法)、2型語法(或高低文無關語法)和3型語法(或常規語法)。模型越高，施加的約束越多，語言的描述也越多。

我們用高低文無關語法來描述體育競賽的結構，主要是基于下列考慮:(1)高低文無關語法可以充沛描述體育競賽的樹形結構；(2)高低文無關語法廣泛應用于自然語言理解、句法模式辨認、編譯技術等領域，其技術相對成熟；(3)基于高低文無關語法的解析器不僅能有效生成視頻的分層瀏覽樹，而且具有很強的錯誤處理能力。

終結符r、b、e、u分別代表一輪比賽的結束、一名選手比賽的開始、一名選手比賽的結束和總桿，非終結符和和是結構單位，分別代表每一輪比賽和每一名選手的比賽。對于語義標注序列“buuuuuuuuuueeur〞，用語法分析器進行分析，得到其層次結構“[buuuuuuuue][buuuuuuuue]euR]〞。序列最后一個“r〞前的“EU〞是錯誤標記，可以通過錯誤恢復策略進行處理(示例，當發現終止符不匹配時，會彈出并給出警告)。因為基于統計的視頻序列語義標注存在一定的不確定性。如果錯誤標簽具有高度確實定性，那么可以認為錯誤發生在它之前。

以上，我們通過基于壓縮域的鏡頭分割、語義事件檢測和句法指導的結構分析，實現了體育視頻的內容標注和分析。雖然我們主要以跳水視頻為例進行分析，但該技術完全可以應用于其他類似的體育視頻，甚至是一般的視頻處理。我們的研究說明，盡管目前的技術水平，它是完全自動的。通用的視頻內容理解是不可能的，但通過有效的人機交互和應用相關模型，新技術將能夠面對大量視頻信息的挑戰，給人們帶來更豐盛、更便捷的體驗。

動詞〔verb的縮寫〕預期研究成果和創新

一種有效的壓縮域鏡頭邊界檢測算法

體育視頻中慢鏡像回放的檢測辦法

基于壓縮域的視頻文本檢測與分割

體育視頻中狀態事件的辨認

視音頻融合的事件檢測

基于語法的體育視頻結構分析

一種通用的體育視頻內容分析框架及其系統實現

第六，現有工作根底

1.現有資源:

4.96G潛水游戲視頻數據，總時長約8小時20分鐘；

5.33G足球比賽視頻數據，