多媒體信息檢索技術與方法基于內容的圖像檢索技術基于文本的信息檢索方法多媒體信息檢索技術與方法基于內容的圖像檢索技術1多媒體檢索概念理解多媒體檢索是一種基于內容特征的檢索（CBR：content-basedretrieval）。所謂基于內容的檢索是對媒體對象的內容及上下文語義環境進行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運動，聲音中的音調、響度、音色等。基于內容的檢索突破了傳統的基于文本檢索技術的局限，直接對圖像、視頻、音頻內容進行分析，抽取特征和語義，利用這些內容特征建立索引并進行檢索。在這一檢索過程中，它主要以圖像處理、模式識別、計算機視覺、圖像理解等學科中的一些方法為部分基礎技術，是多種技術的合成。多媒體檢索技術與方法多媒體檢索概念理解多媒體檢索是一種基于內容特征的檢索（CB2多媒體檢索的特點(1)相似性檢索：CBR采用一種近似匹配（或局部匹配）的方法和技術逐步求精來獲得查詢和檢索結果，摒棄了傳統的精確匹配技術，避免了因采用傳統檢索方法所帶來的不確定性。(2)直接從內容中提取信息線索：CBR直接對文本、圖像、視頻、音頻進行分析，從中抽取內容特征，然后利用這些內容特征建立索引并進行檢索。(3)滿足用戶多層次的檢索要求：CBR檢索系統通常由媒體庫、特征庫和知識庫組成。媒體庫包含多媒體數據，如文本、圖像、音頻、視頻等；特征庫包含用戶輸入的特征和預處理自動提取的內容特征；知識庫包含領域知識和通用知識，其中的知識表達可以更換，以適應各種不同領域的應用要求。(4)大型數據庫(集)的快速檢索：CBR往往擁有數量巨大、種類繁多的多媒體數據庫，能夠實現對多媒體信息的快速檢索。多媒體檢索技術與方法多媒體檢索的特點(1)相似性檢索：CBR采用一種近似匹配3基于內容的多媒體信息檢索體系結構媒體數據特征提取目標標識媒體庫特征庫知識庫知識輔助用戶查詢接口檢索引擎索引/過濾數據庫特征提取子系統數據庫查詢子系統多媒體檢索技術與方法基于內容的多媒體信息檢索體系結構媒體數據特征提取目標標識媒體4多媒體信息檢索過程用戶需求媒體資源內容查詢內容索引匹配多媒體檢索技術與方法多媒體信息檢索過程用戶需求媒體資源內容查詢內容索引匹配多媒體5多媒體信息檢索分類文本檢索多媒體檢索圖像檢索視頻檢索音頻檢索多媒體檢索技術與方法多媒體信息檢索分類文本檢索多媒體檢索圖像檢索視頻檢索音頻檢索6基于內容的圖像檢索--圖像檢索的過程就是圖像特征的提取、分析及匹配。特征提取：提取各種特征，如顏色，紋理，形狀等。根據提取的特征不同，采取不同的處理，比如提取形狀特征，就需要先進行圖像分割和邊緣提取等步驟。選擇合適的算法，并在效率和精確性方面加以改進，以適應檢索的需要，實現特征提取模塊。特征分析：對圖像的各種特征進行分析，選擇提取效率高、信息濃縮性好的特征，或者將幾種特征進行組合，用到檢索領域。特征匹配：選擇何種模型來衡量圖像特征間的相似度。多媒體檢索技術與方法基于內容的圖像檢索--圖像檢索的過程就是圖像特征的提取、分析7*基于內容的圖像檢索工作原理圖像特征庫數字圖像源用戶相關反饋圖像檢索特征提取圖像索引多媒體檢索技術與方法*基于內容的圖像檢索工作原理圖像特征庫數字圖像源用戶相關反饋8基于內容的圖像索引技術：圖像特征提取技術顏色特征紋理特征形狀特征圖像索引主要技術顏色直方圖、顏色矩顏色集、顏色聚合向量、顏色相關圖Tamura紋理特征自回歸紋理模型基于小波變換的紋理特征傅里葉性狀描述符形狀無關矩其他形狀特征空間關系特征基于圖像分割的方法基于圖像子塊方法多媒體檢索技術與方法基于內容的圖像索引技術：圖像特征顏色特征紋理特征形狀特征圖顏9圖像顏色特征顏色特征是在圖像檢索中應用最為廣泛的視覺特征，主要原因在于顏色往往和圖像中包含的物體或場景十分相關。此外，與其他特征相比，顏色特征計算簡單，同時對圖像本身的尺寸、方向、視角的依賴性較小，具有較好的緊致性。多媒體檢索技術與方法圖像顏色特征顏色特征是在圖像檢索中應用最為廣泛的視覺特征，主10，定義如下：其中ni為圖像中顏色取值為i的像素個數，N為像素總數，K為可能的顏色取值范圍。

這樣計算得到的顏色直方圖就是一個K維的特征向量。顏色直方圖所描述的是不同色彩在整幅圖像中所占的比例，而并不關心每種色彩所處的空間位置，所以特別適合描述那些不需要考慮特定物體空間位置的圖像內容。顏色特征——顏色直方圖多媒體檢索技術與方法，定義如下：顏色特征——顏色直方圖多媒體檢索技術與方法11顏色特征——顏色矩這種方法的數學基礎在于圖像中的任何顏色分布均可用他的矩來表示。由于顏色分布信息主要集中在低階矩中，所以只采用顏色的一階矩、二階矩和三階矩就可以表達圖像的顏色分布。與顏色直方圖比較，該方法的一個好處就是無需對于特征進行量化。設pij是圖像中第j個像素的第i個顏色分量，則該顏色分量上矩的計算如下：圖像的顏色矩一共有九個分量，每個顏色通道均有三個低階矩。顏色矩僅僅使用少數幾個矩，從而導致過多的虛警，因此顏色矩常和其他特征結合使用。多媒體檢索技術與方法顏色特征——顏色矩這種方法的數學基礎在于圖像中的任何顏色分布12顏色特征——顏色集

為了提高檢索的速度，Smith和Chang提出了用顏色集的方法，首先將RGB顏色空間轉換成視覺均衡的顏色空間（HSV），并將顏色空間量化成若干個bin，然后運用顏色自動分割技術將圖像分為若干個區域，每個區域用量化顏色空間的某個顏色分量來索引，從而將圖像表達成一個二進制的顏色索引表。在圖像匹配中，比較不同圖像顏色集之間的距離和顏色區域的空間關系。因為，顏色集表達為二進制的特征向量，可以構造二分查照樹來加快檢索速度，對大規模的圖象集合十分有力。多媒體檢索技術與方法顏色特征——顏色集

為了提高檢索的速度，Smith和Cha13顏色特征——顏色聚合向量針對顏色直方圖和顏色矩無法表達圖像色彩的空間位置的缺點，Pass提出了圖像的顏色聚合向量（colorcoherencevector）。它是顏色直方圖的一種演變，其核心思想是將屬于直方圖每一個bin的像素進行分為兩部分：如果該bin內的某些像素所占據的連續區域的面積大于給定的閾值，則該區域內的像素作為聚合像素，否則作為非聚合像素。由于包含了顏色分布的空間信息，顏色聚合向量相比顏色直方圖可以達到更好的檢索效果。

多媒體檢索技術與方法顏色特征——顏色聚合向量針對顏色直方圖和顏色矩無法表達圖像色14顏色特征——顏色相關圖顏色相關圖（colorcorrelogram）是圖像顏色分布的另一種表達方式。這種特征不但刻畫了某一種顏色的像素數量占整個圖像的比例，還反映了不同顏色對之間的空間相關性。實驗表明，顏色相關圖比顏色直方圖和顏色聚合向量具有更高的檢索效率，特別是查詢空間關系一致的圖像。

如果考慮到任何顏色之間的相關性，顏色相關圖會變得非常復雜和龐大(空間復雜度為O(N2d))。一種簡化的變種是顏色自動相關圖（colorauto-correlogram），它僅僅考察具有相同顏色的像素間的空間關系，因此空間復雜度降到O(Nd)。

多媒體檢索技術與方法顏色特征——顏色相關圖顏色相關圖（colorcorrelo15紋理特征紋理特征也是一種全局特征，它也描述了圖像或圖像區域所對應景物的表面性質。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內容的。與顏色特征不同，紋理特征不是基于像素點的特征，它需要在包含多個像素點的區域中進行統計計算。在模式匹配中，這種區域性的特征具有較大的優越性，不會由于局部的偏差而無法匹配成功。作為一種統計特征，紋理特征常具有旋轉不變性，并且對于噪聲有較強的抵抗能力。但是，紋理特征也有其缺點，一個很明顯的缺點是當圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。另外，由于有可能受到光照、反射情況的影響，從2-D圖像中反映出來的紋理不一定是3-D物體表面真實的紋理。多媒體檢索技術與方法紋理特征紋理特征也是一種全局特征，它也描述了圖像或圖像區域所16紋理特征——Tamura紋理特征基于對紋理的視覺感知心理學研究，Tamura等人提出了紋理特征的表達方法。Tamura紋理特征的6個分量對應于心理學角度的紋理特征的6種屬性，分別是粗糙度（coarseness）、對比度（contrast）、方向度（directionality）、線像度（linelikeness）、規整度（regularity）、粗略度（roughness），其中粗糙度、方向度和對比度在檢索中最為重要。在Tamura表示中的所有紋理性質都是有意義的，與人的主觀感受比較吻合，這使得Tamura紋理表示在圖象檢索中非常具有吸引力，而且可提供一個更有友好的用戶界面。多媒體檢索技術與方法紋理特征——Tamura紋理特征基于對紋理的視覺感知心理學研17形狀特征形狀是描述圖像內容的一個重要特征。它常與目標聯系在一起，又一定的語義含義，因而可以看作是比顏色或紋理要高層一些的特征。但另一方面，對形狀的表達比對顏色或紋理的表達從本質上要復雜得多，常需要先對圖像進行分割。由于當前的技術無法做到準確和通用的自動圖像分割，圖像檢索中的形狀特征只能在特定應用場合使用。在這些應用中，利用特定領域知識可以從圖像中分割獲得包含的目標（物體或區域）。多媒體檢索技術與方法形狀特征形狀是描述圖像內容的一個重要特征。它常與目標聯系在一18形狀特征 一般來說，形狀特征有兩種表示方法，一種是輪廓特征，一種是區域特征。前者適用于對形狀邊界的描述，而后者則適用于表達形狀包含的整個區域。這兩類形狀特征的最典型方法分別是傅立葉描述符（FourierDescriptor）和形狀無關矩（MomentInvariants）。多媒體檢索技術與方法形狀特征 一般來說，形狀特征有兩種表示方法，一種是輪廓特征，19形狀特征——傅立葉描述符傅立葉描述符的主要思想是將經過傅立葉變換后的邊界作為形狀特征。從輪廓上的任一點開始繞輪廓一周可以定義一個復數序列：對其進行離散傅立葉變換，就得到輪廓的傅立葉描述：在此基礎上，文獻提出了一種改進的傅立葉算法，這種算法不僅對噪音具有很好的魯棒性，而且對幾何變換具有不變性，更加適合圖像檢索的需要。多媒體檢索技術與方法形狀特征——傅立葉描述符傅立葉描述符的主要思想是將經過傅立葉20圖像空間關系特征 圖像空間關系特征主要用來描述圖像中的對象或者物體。在圖像處理過程中有時會出現上面的特征相似的情況，此時就需要利用空間關系來描述圖像圖像空間關系特征的提取通常有兩種方法：一種是現對圖像進行自動分割，劃分出圖像中所包含的對象或者顏色區域，然后根據這些顏色區域來對圖像進行索引；另一種是將圖像均勻的劃分若干個規則的子塊，然后針對每個圖像子塊分別提取特征并建立索引多媒體檢索技術與方法圖像空間關系特征 圖像空間關系特征主要用來描述圖像中的對象21基于內容的圖像檢索方法基于圖例的圖像檢索方法外部圖像查詢內部圖像查詢草圖查詢綜合檢索方法利用檢索系統外部圖像進行檢索查詢提問的圖像是檢索系統內部的圖像用戶先畫出一幅草圖，再根據草圖在系統中查詢自己想要的圖像現有的圖像檢索系統通常都是綜合利用上述方法多媒體檢索技術與方法基于內容的圖像檢索方法基于圖例的外部圖像查詢內部圖像查詢草圖22圖像綜合檢索方法示意圖草圖數字圖像抽象特征用戶輸入草圖檢索外部圖像檢索直接檢索瀏覽圖像綜合檢索示意圖圖像圖像圖像多媒體檢索技術與方法圖像綜合檢索方法示意圖草圖數字圖像抽象特征用戶輸入草圖檢索外23圖像相似度比較方法基于內容的圖像檢索是通過計算查詢與候選圖像之間視覺特征的相似度來完成。在對圖像內容進行描述的時候主要采用特征向量的方式，因此，常用的圖像相似度比較方法也是基于向量空間模型的，可以將向量特征看作是向量空間中的點，通過計算兩點之間的接近程度來衡量圖像之間的相似度。常用的圖像相似度比較方法如下：直方圖相交、二次距離、馬氏距離、歐拉距離、非幾何的相似度方法多媒體檢索技術與方法圖像相似度比較方法基于內容的圖像檢索是通過計算查詢與候選圖像24相關反饋相關反饋是一種查詢逐步求精技術，最初用于文本檢索系統中，主要特點是將用戶引入查詢過程，根據用戶的反饋信息調整查詢要求，從而進一步優化查詢結果，直到用戶滿意為止。用戶的參與使系統能更好地揣測用戶的意圖，也使得在低層可視特征和高層語義概念之間建立某種聯系成為可能。圖象檢索中的相關反饋方法大致可以分為兩種類型：參數調整方法和機器學習方法多媒體檢索技術與方法相關反饋相關反饋是一種查詢逐步求精技術，最初用于文本檢索系統25基于內容的圖像檢索系統舉例——IMEDIAIMEDIA按照數據庫的內容劃分為五個功能系統。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3Dretrieval多媒體檢索技術與方法基于內容的圖像檢索系統舉例——IMEDIAIMEDIA按照數26多媒體檢索技術與方法多媒體檢索技術與方法27IMEDIA之——VisualRetrieval圖像庫VisualRetrieval(generalistdatabases)和VisualRetrieval(biodiversitycollections)的界面是基本一致的，但是VisualRetrieval(biodiversitycollections)更加專業，主要是生物學圖像庫。下面以VisualRetrieval(biodiversitycollections)為例介紹一下該系統的界面操作。多媒體檢索技術與方法IMEDIA之——VisualRetrieval圖像庫Vi28VisualRetrieval(biodiversitycollections)界面示意圖多媒體檢索技術與方法VisualRetrieval(biodiversity29利用fadebackmode檢索的結果多媒體檢索技術與方法利用fadebackmode檢索的結果多媒體檢索技術與30該系統的最上角是settings系統設置按鈕，用來設置系統參數。點擊設置按鈕將進入一個設置面板，如下：多媒體檢索技術與方法該系統的最上角是settings系統設置按鈕，用來設置系統參31IMEDIA之—VisualRetrievalwithrelevancefeedback（satelliteimages）圖像庫在這個庫中存放的都是地圖衛星照片，可以進行地理圖像檢索多媒體檢索技術與方法IMEDIA之—VisualRetrievalwith32顯示與原圖之間的數值距離顯示的是圖片出自的數據庫顯示圖片名字多媒體檢索技術與方法顯示與原圖之間的數值距離顯示的是圖片出自的數據庫顯示圖片名字33IMEDIA之—partialvisualqueries(localdescriptors)圖像庫該數據庫支持點模式，選擇摸個圖像之后就可以啟動點模式，在點模式下，用戶可以進行圖像區域檢索。支持點模式檢索多媒體檢索技術與方法IMEDIA之—partialvisualqueries34IMEDIA之—3Dretrieval圖像庫該庫中主要存儲3D圖像。該庫不支持各種擴展檢索多媒體檢索技術與方法IMEDIA之—3Dretrieval圖像庫該庫中主要存儲35補充一點基于文本檢索的方法的小技巧—以Google為例Google用減號“-”表示邏輯“非”操作。“A–B”表示搜索包含A但沒有B的網頁。示例：“搜索引擎歷史-文化-中國歷史-世界歷史”多媒體檢索技術與方法補充一點基于文本檢索的方法的小技巧—以Google為例Goo36Google用大寫的“OR”表示邏輯“或”操作。搜索“AORB”，意思就是說，搜索的網頁中，要么有A，要么有B，要么同時有A和B。實例：“搜索引擎現狀百度OR蜘蛛OR北大天網-文化-歷史”多媒體檢索技術與方法Google用大寫的“OR”表示邏輯“或”操作。搜索“AO37Google對搜索的網站進行限制多媒體檢索技術與方法Google對搜索的網站進行限制多媒體檢索技術與方法38多媒體檢索技術與方法多媒體檢索技術與方法39Google在某一類文件中查找信息“filetype:”是Google開發的非常強大實用的一個搜索語法。也就是說，Google不僅能搜索一般的文字頁面，還能對某些二進制文檔進行檢索。目前，Google已經能檢索微軟的Office文檔如.xls、.ppt、.doc，.rtf，WordPerfect文檔，Lotus1-2-3文檔，Adobe的.pdf文檔，ShockWave的.swf文檔（Flash動畫）等。其中最實用的文檔搜索是PDF搜索。示例：搜索幾個資產負債表的Office文檔。搜索：“資產負債表filetype:docORfiletype:xlsORfiletype:ppt”多媒體檢索技術與方法Google在某一類文件中查找信息“filetype:”是40多媒體檢索技術與方法多媒體檢索技術與方法41Google搜索的關鍵字包含在URL鏈接中“inurl”語法返回的網頁鏈接中包含第一個關鍵字，后面的關鍵字則出現在鏈接中或者網頁文檔中。示例：查找MIDI曲“滄海一聲笑”。搜索：“inurl:midi“滄海一聲笑””注意：“inurl:”后面不能有空格，Google也不對URL符號如“/”進行搜索。例如，Google會把“cgi-bin/phf”中的“/”當成空格處理。多媒體檢索技術與方法Google搜索的關鍵字包含在URL鏈接中“inurl”語法42多媒體檢索技術與方法多媒體檢索技術與方法43Google搜索的關鍵字包含在網頁標題中“intitle”和“allintitle”的用法類似于上面的inurl和allinurl，只是后者對URL進行查詢，而前者對網頁的標題欄進行查詢。網頁標題，就是HTML標記語言title中之間的部分。網頁設計的一個原則就是要把主頁的關鍵內容用簡潔的語言表示在網頁標題中。因此，只查詢標題欄，通常也可以找到高相關率的專題頁面。示例：查找日本明星藤原紀香的照片集。搜索：“intitle:藤原紀香"寫真集"”多媒體檢索技術與方法Google搜索的關鍵字包含在網頁標題中“intitle”和44多媒體檢索技術與方法多媒體檢索技術與方法45ThankYou!ThankYou!46多媒體信息檢索技術與方法基于內容的圖像檢索技術基于文本的信息檢索方法多媒體信息檢索技術與方法基于內容的圖像檢索技術47多媒體檢索概念理解多媒體檢索是一種基于內容特征的檢索（CBR：content-basedretrieval）。所謂基于內容的檢索是對媒體對象的內容及上下文語義環境進行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運動，聲音中的音調、響度、音色等。基于內容的檢索突破了傳統的基于文本檢索技術的局限，直接對圖像、視頻、音頻內容進行分析，抽取特征和語義，利用這些內容特征建立索引并進行檢索。在這一檢索過程中，它主要以圖像處理、模式識別、計算機視覺、圖像理解等學科中的一些方法為部分基礎技術，是多種技術的合成。多媒體檢索技術與方法多媒體檢索概念理解多媒體檢索是一種基于內容特征的檢索（CB48多媒體檢索的特點(1)相似性檢索：CBR采用一種近似匹配（或局部匹配）的方法和技術逐步求精來獲得查詢和檢索結果，摒棄了傳統的精確匹配技術，避免了因采用傳統檢索方法所帶來的不確定性。(2)直接從內容中提取信息線索：CBR直接對文本、圖像、視頻、音頻進行分析，從中抽取內容特征，然后利用這些內容特征建立索引并進行檢索。(3)滿足用戶多層次的檢索要求：CBR檢索系統通常由媒體庫、特征庫和知識庫組成。媒體庫包含多媒體數據，如文本、圖像、音頻、視頻等；特征庫包含用戶輸入的特征和預處理自動提取的內容特征；知識庫包含領域知識和通用知識，其中的知識表達可以更換，以適應各種不同領域的應用要求。(4)大型數據庫(集)的快速檢索：CBR往往擁有數量巨大、種類繁多的多媒體數據庫，能夠實現對多媒體信息的快速檢索。多媒體檢索技術與方法多媒體檢索的特點(1)相似性檢索：CBR采用一種近似匹配49基于內容的多媒體信息檢索體系結構媒體數據特征提取目標標識媒體庫特征庫知識庫知識輔助用戶查詢接口檢索引擎索引/過濾數據庫特征提取子系統數據庫查詢子系統多媒體檢索技術與方法基于內容的多媒體信息檢索體系結構媒體數據特征提取目標標識媒體50多媒體信息檢索過程用戶需求媒體資源內容查詢內容索引匹配多媒體檢索技術與方法多媒體信息檢索過程用戶需求媒體資源內容查詢內容索引匹配多媒體51多媒體信息檢索分類文本檢索多媒體檢索圖像檢索視頻檢索音頻檢索多媒體檢索技術與方法多媒體信息檢索分類文本檢索多媒體檢索圖像檢索視頻檢索音頻檢索52基于內容的圖像檢索--圖像檢索的過程就是圖像特征的提取、分析及匹配。特征提取：提取各種特征，如顏色，紋理，形狀等。根據提取的特征不同，采取不同的處理，比如提取形狀特征，就需要先進行圖像分割和邊緣提取等步驟。選擇合適的算法，并在效率和精確性方面加以改進，以適應檢索的需要，實現特征提取模塊。特征分析：對圖像的各種特征進行分析，選擇提取效率高、信息濃縮性好的特征，或者將幾種特征進行組合，用到檢索領域。特征匹配：選擇何種模型來衡量圖像特征間的相似度。多媒體檢索技術與方法基于內容的圖像檢索--圖像檢索的過程就是圖像特征的提取、分析53*基于內容的圖像檢索工作原理圖像特征庫數字圖像源用戶相關反饋圖像檢索特征提取圖像索引多媒體檢索技術與方法*基于內容的圖像檢索工作原理圖像特征庫數字圖像源用戶相關反饋54基于內容的圖像索引技術：圖像特征提取技術顏色特征紋理特征形狀特征圖像索引主要技術顏色直方圖、顏色矩顏色集、顏色聚合向量、顏色相關圖Tamura紋理特征自回歸紋理模型基于小波變換的紋理特征傅里葉性狀描述符形狀無關矩其他形狀特征空間關系特征基于圖像分割的方法基于圖像子塊方法多媒體檢索技術與方法基于內容的圖像索引技術：圖像特征顏色特征紋理特征形狀特征圖顏55圖像顏色特征顏色特征是在圖像檢索中應用最為廣泛的視覺特征，主要原因在于顏色往往和圖像中包含的物體或場景十分相關。此外，與其他特征相比，顏色特征計算簡單，同時對圖像本身的尺寸、方向、視角的依賴性較小，具有較好的緊致性。多媒體檢索技術與方法圖像顏色特征顏色特征是在圖像檢索中應用最為廣泛的視覺特征，主56，定義如下：其中ni為圖像中顏色取值為i的像素個數，N為像素總數，K為可能的顏色取值范圍。

這樣計算得到的顏色直方圖就是一個K維的特征向量。顏色直方圖所描述的是不同色彩在整幅圖像中所占的比例，而并不關心每種色彩所處的空間位置，所以特別適合描述那些不需要考慮特定物體空間位置的圖像內容。顏色特征——顏色直方圖多媒體檢索技術與方法，定義如下：顏色特征——顏色直方圖多媒體檢索技術與方法57顏色特征——顏色矩這種方法的數學基礎在于圖像中的任何顏色分布均可用他的矩來表示。由于顏色分布信息主要集中在低階矩中，所以只采用顏色的一階矩、二階矩和三階矩就可以表達圖像的顏色分布。與顏色直方圖比較，該方法的一個好處就是無需對于特征進行量化。設pij是圖像中第j個像素的第i個顏色分量，則該顏色分量上矩的計算如下：圖像的顏色矩一共有九個分量，每個顏色通道均有三個低階矩。顏色矩僅僅使用少數幾個矩，從而導致過多的虛警，因此顏色矩常和其他特征結合使用。多媒體檢索技術與方法顏色特征——顏色矩這種方法的數學基礎在于圖像中的任何顏色分布58顏色特征——顏色集

為了提高檢索的速度，Smith和Chang提出了用顏色集的方法，首先將RGB顏色空間轉換成視覺均衡的顏色空間（HSV），并將顏色空間量化成若干個bin，然后運用顏色自動分割技術將圖像分為若干個區域，每個區域用量化顏色空間的某個顏色分量來索引，從而將圖像表達成一個二進制的顏色索引表。在圖像匹配中，比較不同圖像顏色集之間的距離和顏色區域的空間關系。因為，顏色集表達為二進制的特征向量，可以構造二分查照樹來加快檢索速度，對大規模的圖象集合十分有力。多媒體檢索技術與方法顏色特征——顏色集

為了提高檢索的速度，Smith和Cha59顏色特征——顏色聚合向量針對顏色直方圖和顏色矩無法表達圖像色彩的空間位置的缺點，Pass提出了圖像的顏色聚合向量（colorcoherencevector）。它是顏色直方圖的一種演變，其核心思想是將屬于直方圖每一個bin的像素進行分為兩部分：如果該bin內的某些像素所占據的連續區域的面積大于給定的閾值，則該區域內的像素作為聚合像素，否則作為非聚合像素。由于包含了顏色分布的空間信息，顏色聚合向量相比顏色直方圖可以達到更好的檢索效果。

多媒體檢索技術與方法顏色特征——顏色聚合向量針對顏色直方圖和顏色矩無法表達圖像色60顏色特征——顏色相關圖顏色相關圖（colorcorrelogram）是圖像顏色分布的另一種表達方式。這種特征不但刻畫了某一種顏色的像素數量占整個圖像的比例，還反映了不同顏色對之間的空間相關性。實驗表明，顏色相關圖比顏色直方圖和顏色聚合向量具有更高的檢索效率，特別是查詢空間關系一致的圖像。

如果考慮到任何顏色之間的相關性，顏色相關圖會變得非常復雜和龐大(空間復雜度為O(N2d))。一種簡化的變種是顏色自動相關圖（colorauto-correlogram），它僅僅考察具有相同顏色的像素間的空間關系，因此空間復雜度降到O(Nd)。

多媒體檢索技術與方法顏色特征——顏色相關圖顏色相關圖（colorcorrelo61紋理特征紋理特征也是一種全局特征，它也描述了圖像或圖像區域所對應景物的表面性質。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內容的。與顏色特征不同，紋理特征不是基于像素點的特征，它需要在包含多個像素點的區域中進行統計計算。在模式匹配中，這種區域性的特征具有較大的優越性，不會由于局部的偏差而無法匹配成功。作為一種統計特征，紋理特征常具有旋轉不變性，并且對于噪聲有較強的抵抗能力。但是，紋理特征也有其缺點，一個很明顯的缺點是當圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。另外，由于有可能受到光照、反射情況的影響，從2-D圖像中反映出來的紋理不一定是3-D物體表面真實的紋理。多媒體檢索技術與方法紋理特征紋理特征也是一種全局特征，它也描述了圖像或圖像區域所62紋理特征——Tamura紋理特征基于對紋理的視覺感知心理學研究，Tamura等人提出了紋理特征的表達方法。Tamura紋理特征的6個分量對應于心理學角度的紋理特征的6種屬性，分別是粗糙度（coarseness）、對比度（contrast）、方向度（directionality）、線像度（linelikeness）、規整度（regularity）、粗略度（roughness），其中粗糙度、方向度和對比度在檢索中最為重要。在Tamura表示中的所有紋理性質都是有意義的，與人的主觀感受比較吻合，這使得Tamura紋理表示在圖象檢索中非常具有吸引力，而且可提供一個更有友好的用戶界面。多媒體檢索技術與方法紋理特征——Tamura紋理特征基于對紋理的視覺感知心理學研63形狀特征形狀是描述圖像內容的一個重要特征。它常與目標聯系在一起，又一定的語義含義，因而可以看作是比顏色或紋理要高層一些的特征。但另一方面，對形狀的表達比對顏色或紋理的表達從本質上要復雜得多，常需要先對圖像進行分割。由于當前的技術無法做到準確和通用的自動圖像分割，圖像檢索中的形狀特征只能在特定應用場合使用。在這些應用中，利用特定領域知識可以從圖像中分割獲得包含的目標（物體或區域）。多媒體檢索技術與方法形狀特征形狀是描述圖像內容的一個重要特征。它常與目標聯系在一64形狀特征 一般來說，形狀特征有兩種表示方法，一種是輪廓特征，一種是區域特征。前者適用于對形狀邊界的描述，而后者則適用于表達形狀包含的整個區域。這兩類形狀特征的最典型方法分別是傅立葉描述符（FourierDescriptor）和形狀無關矩（MomentInvariants）。多媒體檢索技術與方法形狀特征 一般來說，形狀特征有兩種表示方法，一種是輪廓特征，65形狀特征——傅立葉描述符傅立葉描述符的主要思想是將經過傅立葉變換后的邊界作為形狀特征。從輪廓上的任一點開始繞輪廓一周可以定義一個復數序列：對其進行離散傅立葉變換，就得到輪廓的傅立葉描述：在此基礎上，文獻提出了一種改進的傅立葉算法，這種算法不僅對噪音具有很好的魯棒性，而且對幾何變換具有不變性，更加適合圖像檢索的需要。多媒體檢索技術與方法形狀特征——傅立葉描述符傅立葉描述符的主要思想是將經過傅立葉66圖像空間關系特征 圖像空間關系特征主要用來描述圖像中的對象或者物體。在圖像處理過程中有時會出現上面的特征相似的情況，此時就需要利用空間關系來描述圖像圖像空間關系特征的提取通常有兩種方法：一種是現對圖像進行自動分割，劃分出圖像中所包含的對象或者顏色區域，然后根據這些顏色區域來對圖像進行索引；另一種是將圖像均勻的劃分若干個規則的子塊，然后針對每個圖像子塊分別提取特征并建立索引多媒體檢索技術與方法圖像空間關系特征 圖像空間關系特征主要用來描述圖像中的對象67基于內容的圖像檢索方法基于圖例的圖像檢索方法外部圖像查詢內部圖像查詢草圖查詢綜合檢索方法利用檢索系統外部圖像進行檢索查詢提問的圖像是檢索系統內部的圖像用戶先畫出一幅草圖，再根據草圖在系統中查詢自己想要的圖像現有的圖像檢索系統通常都是綜合利用上述方法多媒體檢索技術與方法基于內容的圖像檢索方法基于圖例的外部圖像查詢內部圖像查詢草圖68圖像綜合檢索方法示意圖草圖數字圖像抽象特征用戶輸入草圖檢索外部圖像檢索直接檢索瀏覽圖像綜合檢索示意圖圖像圖像圖像多媒體檢索技術與方法圖像綜合檢索方法示意圖草圖數字圖像抽象特征用戶輸入草圖檢索外69圖像相似度比較方法基于內容的圖像檢索是通過計算查詢與候選圖像之間視覺特征的相似度來完成。在對圖像內容進行描述的時候主要采用特征向量的方式，因此，常用的圖像相似度比較方法也是基于向量空間模型的，可以將向量特征看作是向量空間中的點，通過計算兩點之間的接近程度來衡量圖像之間的相似度。常用的圖像相似度比較方法如下：直方圖相交、二次距離、馬氏距離、歐拉距離、非幾何的相似度方法多媒體檢索技術與方法圖像相似度比較方法基于內容的圖像檢索是通過計算查詢與候選圖像70相關反饋相關反饋是一種查詢逐步求精技術，最初用于文本檢索系統中，主要特點是將用戶引入查詢過程，根據用戶的反饋信息調整查詢要求，從而進一步優化查詢結果，直到用戶滿意為止。用戶的參與使系統能更好地揣測用戶的意圖，也使得在低層可視特征和高層語義概念之間建立某種聯系成為可能。圖象檢索中的相關反饋方法大致可以分為兩種類型：參數調整方法和機器學習方法多媒體檢索技術與方法相關反饋相關反饋是一種查詢逐步求精技術，最初用于文本檢索系統71基于內容的圖像檢索系統舉例——IMEDIAIMEDIA按照數據庫的內容劃分為五個功能系統。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3Dretrieval多媒體檢索技術與方法基于內容的圖像檢索系統舉例——IMEDIAIMEDIA按照數72多媒體檢索技術與方法多媒體檢索技術與方法73IMEDIA之——VisualRetrieval圖像庫VisualRetrieval(generalistdatabases)和VisualRetrieval(biodiversitycollections)的界面是基本一致的，但是VisualRetrieval(biodiversitycollections)更加專業，主要是生物學圖像庫。下面以VisualRetrieval(biodiversitycollections)為例介紹一下該系統的界面操作。多媒體檢索技術與方法IMEDIA之——VisualRetrieval圖像庫Vi74VisualRetrieval(biodiversitycollections)界面示意圖多媒體檢索技術與方法VisualRetrieval(biodiversity75利用fadebackmode檢索的結果多媒體檢索技術與方法利用fadebackmode檢索的結果多媒體檢索技術與76該系統的最上角是settings系統設置按鈕，用來設置系統參數。點擊設置按鈕將進入一個設置面板，如下：多媒體檢索技術與方法該系統的最上角是settings系統設置按鈕，用來設置系統參77IMEDIA之—VisualRetrievalwithrelevancefeedback（satelliteimages）圖像庫在這個庫中存放的都是地圖衛星照片，可以進行地理圖像檢索多媒體檢索技術與方法IMEDIA之—VisualRetrievalwith78顯示與原圖之間的數值距離顯示的是圖片出自的數據庫顯示圖片名字多媒體檢索技術與方法顯示與原圖之間的數值距離顯示的是圖片出自的數據庫顯示圖片名字79IMEDIA之—partialvisualqueries(loc