第8章

多媒體數(shù)據(jù)庫技術(shù)概述1第8章

多媒體數(shù)據(jù)庫技術(shù)概述8.1多媒體數(shù)據(jù)管理的問題28.1多媒體數(shù)據(jù)管理的問題計算機的世界真實世界設(shè)計者的映射表示法傳統(tǒng)數(shù)據(jù)庫38.1多媒體數(shù)據(jù)管理的問題(續(xù))計算機的世界真實世界投影表示法多媒體數(shù)據(jù)庫圖像聲音視頻48.1多媒體數(shù)據(jù)管理的問題(續(xù))多媒體數(shù)據(jù)與多媒體數(shù)據(jù)管理：靜態(tài)與動態(tài)數(shù)據(jù)

字符數(shù)據(jù)：同關(guān)系數(shù)據(jù)庫中的字符數(shù)據(jù)。多媒體數(shù)據(jù)庫仍然需要對其進行管理。文本數(shù)據(jù)：書籍、文獻、檔案等。聲音數(shù)據(jù)：音樂、語音等。圖形數(shù)據(jù)：GIS/CAD等。通常是用符號或特定的數(shù)據(jù)結(jié)構(gòu)表示的。圖像數(shù)據(jù)：照片、圖片等。指位圖式圖像。視頻數(shù)據(jù)：引入了時間屬性，在時間空間上進行管理。58.1多媒體數(shù)據(jù)管理的問題(續(xù))多媒體帶來的問題

數(shù)據(jù)量大（量的差異也大）媒體種類多

多解查尋(非精確匹配/相似性查詢)用戶接口的支持(操作與表示技術(shù))多媒體信息分布(WWW網(wǎng)絡(luò)信息空間)處理時間長(長事務(wù))服務(wù)質(zhì)量的要求(及時、逼真或滿意)版本控制問題(歷史版本/選擇版本)6第8章

多媒體數(shù)據(jù)庫技術(shù)概述8.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)78.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)多媒體數(shù)據(jù)庫的一般結(jié)構(gòu)形式

聯(lián)邦型集中統(tǒng)一型客戶/服務(wù)器型超媒體型88.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))聯(lián)邦型結(jié)構(gòu)每一種媒體的數(shù)據(jù)庫都有自己獨立的數(shù)據(jù)庫管理系統(tǒng)：每一種媒體數(shù)據(jù)庫的設(shè)計不必考慮與其他媒體的匹配和協(xié)調(diào)。對多媒體的聯(lián)合操作交給用戶去完成用戶有靈活性。但是，對多種媒體的聯(lián)合操作、合成處理和概念查詢等都比較難以實現(xiàn)，為此要求較高的標(biāo)準(zhǔn)化程度。98.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))用戶圖像數(shù)據(jù)庫圖像DBMS視頻數(shù)據(jù)庫視頻DBMS聲音數(shù)據(jù)庫聲音DBMS文本數(shù)據(jù)庫文本DBMS用戶應(yīng)用程序聯(lián)邦型結(jié)構(gòu)108.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))集中統(tǒng)一型結(jié)構(gòu)單一的多媒體數(shù)據(jù)庫和單一的多媒體數(shù)據(jù)庫管理系統(tǒng)：各種媒體被統(tǒng)一地建模，對各種媒體的管理與操縱被集中到一個數(shù)據(jù)庫管理系統(tǒng)之中，各種用戶的需求被統(tǒng)一到一個多媒體用戶接口上，多媒體的查詢檢索結(jié)果可以統(tǒng)一地表現(xiàn)。實際上，這種多媒體數(shù)據(jù)庫系統(tǒng)是很難實現(xiàn)的，目前還沒有一個比較恰當(dāng)而且效率比較高的方法來管理所有的多媒體數(shù)據(jù)。面向?qū)ο蠓椒榻⑦@樣的系統(tǒng)帶來了一線曙光。118.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))用戶聲音數(shù)據(jù)文本數(shù)據(jù)多媒體數(shù)據(jù)庫管理系統(tǒng)視頻數(shù)據(jù)圖像數(shù)據(jù)其它媒體數(shù)據(jù)集中統(tǒng)一型結(jié)構(gòu)128.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))客戶/服務(wù)型結(jié)構(gòu)各種單媒體數(shù)據(jù)仍然相對獨立，系統(tǒng)將每一種媒體的管理與操縱各用一個服務(wù)器來實現(xiàn)，所有服務(wù)器的綜合和操作也用一個服務(wù)器完成，與用戶的接口采用客戶進程實現(xiàn)，客戶與服務(wù)器之間通過特定的中件系統(tǒng)連接。這種體系結(jié)構(gòu)必須采用標(biāo)準(zhǔn)化的和開放的接口界面，否則，對多種媒體的聯(lián)合操作、合成處理和概念查詢等都比較難以實現(xiàn)。138.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))客戶/服務(wù)型結(jié)構(gòu)用戶圖像數(shù)據(jù)庫圖像服務(wù)器視頻數(shù)據(jù)庫視頻服務(wù)器聲音數(shù)據(jù)庫聲音服務(wù)器文本數(shù)據(jù)庫文本服務(wù)器用戶接口客戶進程用戶用戶接口客戶進程用戶接口客戶進程用戶多媒體數(shù)據(jù)庫服務(wù)器及中間件148.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))超媒體型結(jié)構(gòu)強調(diào)對數(shù)據(jù)時空索引的組織。依據(jù)如下：數(shù)據(jù)庫分散在網(wǎng)絡(luò)上（信息空間）,沒有必要建立一個統(tǒng)一多媒體數(shù)據(jù)庫系統(tǒng),能夠通過超鏈建立起各種數(shù)據(jù)的時空關(guān)系.目前的WWW使我們看到了這種數(shù)據(jù)庫的雛形.158.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫的層次結(jié)構(gòu)168.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫的層次結(jié)構(gòu)傳統(tǒng)數(shù)據(jù)庫的層次對抽象化的字符和數(shù)值進行比較、排序、查找和增刪改等操作數(shù)據(jù)庫物理模式概念模式外部模式外部模式外部模式用戶用戶用戶178.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫的層次結(jié)構(gòu)多媒體數(shù)據(jù)庫的層次劃分（示例）.最高層支持多媒體的綜合表現(xiàn)和用戶的查詢描述：多媒體用戶接口層：完成查詢描述和結(jié)果描述。中間增加對多媒體數(shù)據(jù)的關(guān)聯(lián)和超鏈的處理。（建立數(shù)據(jù)模型）概念數(shù)據(jù)模型層：對現(xiàn)實世界用多媒體數(shù)據(jù)信息進行的描述。是在全局概念下的一個整體視圖通過概念數(shù)據(jù)模型為上層的用戶接口、下層的多媒體數(shù)據(jù)存儲和存取建立起一個在邏輯上統(tǒng)一的通道。存取與存儲數(shù)據(jù)模型層：通過存取與存儲數(shù)據(jù)模型，描述媒體數(shù)據(jù)的邏輯位置安排、相互的內(nèi)容關(guān)聯(lián)、特征與數(shù)據(jù)的關(guān)系以及超鏈的建立等。完成多媒體數(shù)據(jù)的邏輯存儲與存取。底層增加對多媒體數(shù)據(jù)的控制與支持:媒體支持層:建立在多媒體操作系統(tǒng)之上,對不同性質(zhì)媒體分別進行相應(yīng)的分割、識別、變換等操作。188.2多媒體數(shù)據(jù)庫體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫的層次結(jié)構(gòu)多媒體數(shù)據(jù)庫的層次劃分（示例）

.多媒體用戶接口層用戶第4層概念數(shù)據(jù)模型層第3層存取與存儲數(shù)據(jù)模型層第2層媒體支持層第1層19第8章

多媒體數(shù)據(jù)庫技術(shù)概述8.3多媒體數(shù)據(jù)模型20數(shù)據(jù)模型：計算機所能接受的-----對現(xiàn)實世界中所要研究對象相關(guān)被操作特性的抽象描述。21數(shù)據(jù)模型：數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)操縱完整性約束規(guī)則228.3多媒體數(shù)據(jù)模型(續(xù))對關(guān)系數(shù)據(jù)庫的要求：第一范式（1NF）：在關(guān)系模式R中的每一個具體關(guān)系r中，如果每個屬性值都是不可再分的最小數(shù)據(jù)單位，則稱R是第一范式的關(guān)系。（不允許表中表）238.3多媒體數(shù)據(jù)模型(續(xù))NF2

(NonFirstNormalForm)數(shù)據(jù)模型:在關(guān)系模型的基礎(chǔ)上通過擴展來提高關(guān)系數(shù)據(jù)庫處理多媒體數(shù)據(jù)的能力----打破關(guān)系數(shù)據(jù)庫中關(guān)于1NF的要求，允許在表中可以有表。248.3多媒體數(shù)據(jù)模型(續(xù))主要手段：在關(guān)系數(shù)據(jù)庫中引人抽象數(shù)據(jù)類型（如，標(biāo)準(zhǔn)的擴展字段），能夠定義和表示多媒體信息對象。258.3多媒體數(shù)據(jù)模型(續(xù))主要特點：優(yōu)點：利用關(guān)系數(shù)據(jù)庫特有的優(yōu)勢。缺點：建模能力不強，在反映多媒體數(shù)據(jù)各成分間的空間關(guān)系、時間關(guān)系和媒體對象的處理方法方面仍有困難。在特殊媒體的基于內(nèi)容查詢方面、存儲效率方面等，都有很大的困難。268.3多媒體數(shù)據(jù)模型(續(xù))NF2數(shù)據(jù)模型(NonFirstNormalForm)屬性CGeneral屬性A屬性B帶結(jié)構(gòu)數(shù)據(jù)對關(guān)系進行擴展可以利用標(biāo)準(zhǔn)的擴展字段，例如：FoxproinGeneral字段；Paradoxforwindows的動態(tài)注釋，格式注釋，圖形，BLOB（大二進制對象,BinaryLargeObject）等278.3多媒體數(shù)據(jù)模型(續(xù))超媒體數(shù)據(jù)模型：網(wǎng)狀結(jié)構(gòu)，由節(jié)點和鏈組成的有向圖。節(jié)點：信息單位（信息元）。鏈：用來表示媒體間的時空關(guān)系。支持開放性信息建模，支持瀏覽和搜索等新型操作。288.3多媒體數(shù)據(jù)模型(續(xù))文獻模型：層次狀樹形結(jié)構(gòu)。

例如：邏輯結(jié)構(gòu)：教科書、章、節(jié)、小節(jié)、段落段落一般為頁塊對象。非頁塊對象須定義一個屬性，用來說明該對象與它的下層子對象之間的從屬關(guān)系布局結(jié)構(gòu)：頁、框架和塊等298.3多媒體數(shù)據(jù)模型(續(xù))文獻模型： 嚴(yán)格地說，文獻不是一種數(shù)據(jù)庫，而更像一個實際的應(yīng)用。此結(jié)構(gòu)符合一般的文獻或文章的組織。308.3多媒體數(shù)據(jù)模型(續(xù))專有媒體數(shù)據(jù)模型：針對特定領(lǐng)域的多媒體數(shù)據(jù)庫建立符合自己特性的數(shù)據(jù)模型，以完成特定的任務(wù)。例如，如下為5級模式和4級映射的體系結(jié)構(gòu)：模式及映射用戶視圖語意特征視圖圖像特征視圖特征表示視圖特征組織任務(wù)空間推理圖像知識形成結(jié)構(gòu)圖像理解圖像數(shù)據(jù)形成結(jié)構(gòu)圖像數(shù)據(jù)存儲檢索查尋的例子查尋帶輪子的物體查尋(image-object,wheel)查尋(image-object,circle)查尋(image-object,color-of-circle)查尋(image-object,color-data-structure)318.3多媒體數(shù)據(jù)模型(續(xù))多媒體對象：十分復(fù)雜面向?qū)ο髷?shù)據(jù)模型：理想的多媒體數(shù)據(jù)模型表示方法面向?qū)ο髷?shù)據(jù)模型328.3多媒體數(shù)據(jù)模型(續(xù))面向?qū)ο髷?shù)據(jù)模型

對象、屬性、方法、消息

對象類、類層次和繼承性

語意關(guān)聯(lián)的描述：聚集、概括、相互作用關(guān)聯(lián)、示例關(guān)聯(lián)、has_method/has_rule關(guān)聯(lián)等。

運算體系：類和對象的定義、查詢和操縱。338.3多媒體數(shù)據(jù)模型(續(xù))面向?qū)ο蠖嗝襟w數(shù)據(jù)模型的可以實現(xiàn)如下功能：聚集層次：不同媒體信息的有機組合關(guān)系建模設(shè)施：進行復(fù)雜交叉關(guān)系的建模方法管理：通過具體媒體技術(shù)實現(xiàn)多媒體數(shù)據(jù)的存取多種屬性的支持和語義信息的維護：構(gòu)造包含語義信息的類屬性及操作方法的結(jié)構(gòu)支持特性傳播：通過自動繼承超類的內(nèi)容，實現(xiàn)特性傳播支持模式的演進：動態(tài)修改層次各節(jié)點的模式(如產(chǎn)品結(jié)構(gòu)更改)版本管理：支持版本的創(chuàng)建和控制、版本變化的通知并發(fā)控制和數(shù)據(jù)恢復(fù)：多用戶訪問數(shù)據(jù)共享：進行靈活的讀寫控制快速存儲和靈活交付：實現(xiàn)物理表示與邏輯表示的映射348.3多媒體數(shù)據(jù)模型(續(xù))面向?qū)ο髷?shù)據(jù)模型：人規(guī)則1姓名出生年月相片求年齡課程名課程學(xué)生學(xué)號選修選修教師工資選用擁有連環(huán)畫頁插圖頁號文字聲音說明教材書名稱價錢作者h(yuǎn)as_rulehas_method35第8章

多媒體數(shù)據(jù)庫技術(shù)概述8.4基于內(nèi)容檢索36web上出現(xiàn)大量多媒體信息例如:遙感、醫(yī)療、安全、商業(yè)等部門，都會產(chǎn)生大量信息。37基于內(nèi)容檢索所謂基于內(nèi)容的檢索（ContentBasedRetrieval，CBR)就是指根據(jù)媒體和媒體對象的內(nèi)容語義及上下文聯(lián)系進行檢索。

多媒體數(shù)據(jù)庫特征/屬性多媒體數(shù)據(jù)提取匹配38多媒體特征音頻靜態(tài)圖像視頻文本圖形難以用文字描述，但可以進行關(guān)鍵字屬性描述39多媒體特征（續(xù)）提取關(guān)鍵字屬性的方式手工方式

簡單方便；人員要求高；工作量大；不確定性高自動方式混合方式自動提取是人們研究和應(yīng)用的目標(biāo)40基本方法格式化數(shù)據(jù)的內(nèi)容檢索基于關(guān)鍵字的檢索全文本檢索基于文件模型等方法非格式化數(shù)據(jù)的檢索依據(jù)實例檢索,分為:準(zhǔn)確實例檢索準(zhǔn)確查詢實例模糊實例檢索依照例子查找與它相似的圖像描繪示例檢索給出所需圖像的粗略結(jié)構(gòu)41系統(tǒng)實例IBM公司開發(fā)的QBIC通過友好的界面為用戶提供顏色、紋理、草圖、形狀等多種檢索方法。系統(tǒng)以示例方式進行查詢，查找物體的移動，攝影機的操作。42系統(tǒng)實例美國加州大學(xué)伯克利分校與加州水資源部合作Chabot計劃對水利資源部大量圖像提供基于內(nèi)容的有效檢索手段43系統(tǒng)實例麻省理工學(xué)院Photobook可以利用人臉Face(臉)、shape(形狀)、texture(紋理)進行基于內(nèi)容的檢索。Virage系統(tǒng)又進一步發(fā)展了將多種檢索特征的融合。44系統(tǒng)實例澳大利亞NewSouthWales的NUTTAB系統(tǒng)用于食品成分?jǐn)?shù)據(jù)庫的檢索458.4基于內(nèi)容檢索多媒體數(shù)據(jù)的用戶接口46多媒體用戶接口層用戶第4層概念數(shù)據(jù)模式層第3層存取與存儲數(shù)據(jù)模型層第2層媒體支持層第1層所處層次478.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口字符數(shù)值型接口示例型接口用戶表現(xiàn)接口488.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口字符數(shù)值型接口KeywordAttr1日出海邊海燕SELECTimagetoWin1:segFROMimageDBWHEREkeyword=“日出”498.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口示例型接口示例圖像結(jié)果圖像示例圖像的查尋508.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口示例型接口語意結(jié)構(gòu)示例518.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口示例型接口結(jié)構(gòu)示例的舉例——查詢居民建筑物528.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口示例型接口圖像數(shù)據(jù)庫特征數(shù)據(jù)庫示例查詢模塊查詢格式化圖像數(shù)據(jù)庫的示例接口知識輔助模塊插入模塊用戶示例圖像新圖像圖像處理模塊538.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口用戶表現(xiàn)接口查詢結(jié)果