2023/7/221第八章圖像檢索技術8.1圖像檢索技術概述8.2基于圖像內容特征提取的檢索技術8.3基于多特征的圖像檢索技術8.4基于視覺特征的圖像檢索系統8.5典型的圖像檢索系統8.6圖像檢索技術的發展方向2023/7/222前言圖像檢索技術通常分為兩大類：基于文本的圖像檢索技術和基于內容的圖像檢索技術。隨著大規模數字圖像數據庫的出現，基于文本的圖像檢索技術依然落伍，基于內容的檢索技術自動提取每幅圖像的視覺內容特征作為其索引，如色彩、紋理、形狀等，它從一個新的視覺建立了圖像檢索的整體框架。2023/7/2238.1圖像檢索技術概述圖像的傳統管理方式是以文件系統為中心進行展開的，我們一直采用的是以文件管理圖像的方式。基于圖像內容的檢索技術提高了檢索精度。2023/7/224一、圖像檢索一般模型如下圖所示：2023/7/225主要包括以下幾個方面：2023/7/226二、基于文本方式的圖像檢索技術20世紀70年代TBIR（text-basedimageretrieval）基于文本的圖像檢索技術沿用了文本檢索技術，利用文本描述的方式表示圖像的特征2023/7/227早期的TBIR：手工對圖像進行注釋，工作量相當大，不可避免的會帶來主觀性和不準確性Internet環境下的TBIR：網頁信息的自動采集和標引技術索引方式：全文索引和關鍵詞索引Google、Yahoo和百度等搜索引擎所提供的圖像檢索服務，采用的都是TBIR技術2023/7/228TBIR的優點：使用成熟的文本檢索和搜索引擎技術，符合人們的檢索習慣，實現簡單2023/7/229TBIR的缺點:標注的準確性差，也不能滿足用戶對圖像原始特征信息的檢索2023/7/2210三、基于知識和視覺特征的圖像檢索技術將人工智能領域的基于知識的處理方法引入到圖像處理領域，通過對圖像理解、只是表達、機器學習，并結合專家和用戶的先驗知識，建立圖像知識庫實現對圖像數據庫的智能檢索。主要涉及地理信息系統、病人X照片的歸檔、檢索和診斷系統，以及人臉識別和指紋識別系統。2023/7/2211地理信息系統2023/7/2212人臉識別系統:看看我像那個明星2023/7/2213指紋識別系統2023/7/2214四、基于內容的圖像檢索技術對圖像的內容，主要的方法是根據圖像的色彩、紋理、圖像對象的形狀以及他們的空間關系等內容特征作為圖像的索引，計算查詢圖像和目標圖像的相似距離，按照相似度匹配進行檢索。2023/7/2215圖像內容的層次模型2023/7/2216基于內容的圖像檢索技術—（CBIR,Content-BasedImageRetrieval）更有效、更直接地反映圖像視覺信息必須基于圖像本身的屬性。現在基于內容圖像檢索已經融入了相關反饋技術，讓用戶參與到檢索過程中，從而獲得知覺、語義上更加有意義的檢索結果。2023/7/2217五、圖像內容描述的標準化國際標準化組織ISO／IEC制定的MPEG-7國際標準，該標準的正式名稱為“多媒體內容描述接口”（MultimediaContentDescriptionInterface），為各類多媒體信息提供一種標準化的描述，并將該描述與所描述的內容相關聯，極大地促進了對各種多媒體信息的快速查詢和訪問。

2023/7/2218MPEG-7標準化的范圍包括：一系列的描述子（描述子是特征的表示法，一個描述子就是定義特征的語法和語義學）；一系列的描述結構（詳細說明成員之間的結構和語義）；一種詳細說明描述結構的語言、描述定義語言（DDL）；一種或多種編碼描述方法。

2023/7/2219應用：教育、娛樂、調查服務、地里信息系統、醫療應用、電子購物、電影、視頻和無線廣播歸檔等。2023/7/22208.2基于圖像內容特征提取的檢索技術圖像的特征是人對圖像視覺感受的量化描述。圖像特征從各個方面描述了圖像的內在語義，從而可以作為圖像的抽象表示。圖像特征包括圖像的文本特征和圖像視覺特征。-視覺特征分為通用特征和領域相關特征，前者包括顏色、紋理和性轉特征；后者與具體的應用緊密相關，如人的面部特征和指紋特征。2023/7/2221一、基于顏色特征的圖像檢索基于顏色特征的圖像檢索需要解決兩個問題：顏色的表示以及顏色特征的提取。顏色的表示取決于色彩空間的選擇，不同的場合采用的方式也是不同，常見的有HSV、RGB和YUV模型等。在基于顏色特征的索引算法中通常用顏色直方圖、累加直方圖，顏色矩和顏色集來表示圖像的顏色特征。2023/7/2222顏色特征優勢和缺陷：是圖像物理特征中最直接的視覺特征，顏色特征非常穩定，而且計算簡單。不能很好的描述對象的空間特征對包含不同顏色集兩圖像之間的相似性判定仍然需要進一步研究。2023/7/2223不同特征的檢索結果2023/7/2224二、基于紋理特征的圖像檢索紋理特征是一種不依賴于顏色或亮度的反應圖像中同質現象的視覺特征。它是所有物體表面共有的內在特性。2023/7/2225通常利用以下四個特征量來表示圖像的紋理特征：反差能量2023/7/2226熵相關2023/7/2227三、基于形狀特征的圖像檢索技術基于形狀的檢索包括兩種：一是基于輪廓線的檢索，二是直接針對特定形狀的圖形進行檢索。基于邊界的表示：代表方法是傅里葉描述符。其基本思想是用對圖像進行傅里葉變換得到的邊界作為形狀描述.其中一個優點就是把二維問題簡化為一維問題。基于區域的表示：代表方法是形狀無關矩。問題：形狀邊界的自動提取困難。2023/7/22281、形狀特征提取的一般幾何原理(1).矩形度(2).圓形度致密度邊界能量2023/7/2229(3).球狀性(4).偏心率2023/7/22302、圖像形狀提取的的一般描述（1）.邊界鏈碼（2）.一階差分鏈碼2023/7/2231（3）.傅里葉描述傅里葉變換是個可逆線性變換，在變換過程中信息沒有任何增減。傅里葉變換的高頻分量對應一些圖像形狀細節，而低頻分量對應圖像總體形狀，因此用一些低頻分量的傅里葉系數足以近似描述邊界形狀。2023/7/2232四、基于空間特征的圖像檢索技術顏色、紋理和形狀等多種特征反映的都是圖像的整體特征，而無法體現圖像中所包含的對象或物體。比如藍色的天空或蔚藍的海洋。2023/7/2233圖像空間關系特征是指圖像中分割出來的多個目標之間的相互的空間位置或相對方向關系。空間位置信息可以分為兩類：相對空間位置信息和絕對空間位置信息。前一種關系強調的是目標之間的相對情況，如上下左右關系等。后一種關系強調的是目標之間的距離大小以及方位。主要問題：如何保證各種空間關系與圖像的旋轉無關，如何實現空間特征的相似度量從定性到定量的轉變。2023/7/22348.3基于多特征的圖像檢索技術鑒于利用圖像單個特征檢索的缺點，可以綜合利用圖像的顏色、紋理、形狀和空間特征的方法，計算特征提取向量。用戶可以根據需要調整各個特征之間的權重關系，以便滿足不同應用情況的查詢。2023/7/22351、綜合顏色和形狀特征用此方法，不僅克服了疊加噪聲的影響，而且提高了旋轉變化時的穩定性，可以減少誤匹配，從而提高檢索的精確度和準確率。2023/7/22362、綜合形狀和空間特征3、綜合形狀和紋理特征4、綜合顏色、形狀和空間其中，分別為顏色、形狀和空間的加權，分別為顏色、形狀和空間的相似度。2023/7/22378.4基于視覺特征的圖像檢索系統基于視覺特征的圖像檢索技術能夠自動提取每幅圖像的視覺特征作為其索引，如色彩、紋理和形狀等，查詢講根據圖像視覺特征進行相似性計算。它一般可以通過可視化界面和用戶進行頻繁的交互，便于用戶構造查詢、評估和改進檢索結果。2023/7/2238一、它的總體架構如下：2023/7/2239二、圖像分割技術圖像分割是把圖像中互不相交，具有特殊含義的區域區分出來。因為分割與人的主觀認識有密切聯系，因此，到目前為止還不存在一種通用的方法。分割算法有：1、基于特征空間的2、基于圖像域3、基于模糊理論4、基于特定理論工具2023/7/22401、基于特征空間的分割方法由于分割過程中考察的圖像像素總具有一定的特征，因而可以把這些像素映射為一定特征空間中的點，從而將圖像分割轉化為特征空間中點的分類問題。常用的手段包括特征閥值化技術和特征空間聚類技術。2023/7/22412、基于圖像域的分割方法根據采用的空間分組策略的不同，又可以細分為：分裂-合并技術、區域生長技術、基于區域邊緣檢測技術。由于邊緣檢測并不能直接得到圖像區域，還需要區域填充、裂縫彌合等復雜的后處理，并且在預處理過程中采取去噪措施，一般復雜度較大。2023/7/22423、基于模糊理論的分割方法Prewit最早提出在圖像分割中使用模糊集；Sugeno提出模糊測度和模糊積分的概念，模糊測度用于度量模糊程度，模糊積分可以理解為模糊期望。2023/7/22434、基于特定理論工具的分割方法主要有：基于數學形態學的、利用神經網絡的、基于小波分析和變換的、基于遺傳算法的分割方法等。2023/7/2244存在的不足：1、只考慮了圖像視覺特征的一致性，引入高層特征的兌現分割方法處于起步階段；2、準確性與通用性一般較差，分割精度有待提高；3、分割方法復雜度較高，分割所需的計算時間較長；4、缺乏通用有效的評價指標2023/7/22455、相似性度量公式1．Minkowsky距離公式2．直方圖相交距離公式3．直方圖二次距離4．Mahalanobis距離公式（馬氏距離）2023/7/22466、圖像索引大致可以分六類：高維索引方法、降維方法、近似最近鄰方法、單一維空間映射方法、多重空間填充曲線方法和基于過濾的方法。2023/7/22478.5典型的圖像檢索系統簡介IBM的QBIC(QueryByImageContent)是第一個商業性的CBIR系統。目前QBIC系統的基于內容檢索技術已經在IBM數字圖書館中得到了應用，實現了自動索引、歸并、對比、特征抽取和翻譯功能。還有哥倫比亞大學開發的Visual-SEEK，MIT多媒體實驗室開發的PhotoBook，UCBerkeley開發的Blobword系統等。2023/7/22488.6圖像檢索技術的研究熱點1.綜合特征檢索技術考慮到顏色、紋理、形狀和空間關系等特征各有特點，它們各自反映圖像某一方面的內容，如果進行綜合利用則有可能提高檢索性能。2.相關反饋檢索技術實現了人機交互，用戶根據先前檢索結果借助權重調整已有的查詢要求以給檢索系統提供更多更直接的信息，從而使系統能更好地滿足用戶的需求。2023/7/22493.基于語義的檢索技術人對圖像的理解主要是在語義層次