1、多媒體技術原理及應用 第1頁，共62頁，2022年，5月20日，13點51分，星期二6.1 多媒體數據管理環境 多媒體應用系統關鍵問題就是對系統中數據進行有效地管理：對多媒體數據的有效管理能盡量減少開發費用；便于綜合利用、數據共享，降低成本、提高效益；對提高多媒體應用程序的執行效率和運行質量也具有十分重要的意義。第2頁，共62頁，2022年，5月20日，13點51分，星期二1.多媒體數據的存儲環境對多媒體數據的存儲環境總的要求是： 容量大、質量好、存取速度快、價格合適。主要有4類存儲介質： (1)可更換的硬盤； (2)磁帶備份介質； (3)光盤檔案介質； (4)磁盤陣列。第3頁，共62頁，20

2、22年，5月20日，13點51分，星期二2.多媒體數據的傳輸環境 一般有3種傳輸方法：(1)使用可更換的介質進行人工傳輸。使用軟盤、磁帶、光盤、可更換硬盤等工具；(2)使用串行端口實行點對點傳輸。成本低， 但難以實現多臺計算機之間數據傳輸；(3)使用網絡系統，實現計算機之間傳輸。第4頁，共62頁，2022年，5月20日，13點51分，星期二3.多媒體數據管理的軟件環境 對多媒體數據資源的有效管理方法：(1)文件管理系統 。(2)建立特定的邏輯目錄。 (3)傳統的字符、數值數據庫管理系統。(4)多媒體數據庫管理系統 。(5)超文本和超媒體 。第5頁，共62頁，2022年，5月20日，13點51分

3、，星期二圖6.1 用傳統的DBMS管理多媒體數據第6頁，共62頁，2022年，5月20日，13點51分，星期二6.2 多媒體數據庫管理系統 6.2.1 多媒體數據庫管理系統特點 依據獨立性原則， DBMS按層次劃分為3種模式： 物理模式、概念模式和外部模式。物理模式定義數據存儲組織方法， 如數據庫文件的格式、索引文件組織方法、數據庫在網絡上的分布方法等(存儲模式)。概念模式借助數據模型來描述，它定義抽象現實世界的方法。數據庫模型先后經歷了網狀模型、關系模型和面向對象模型等階段。外部模式又叫視圖，它是概念模式對用戶有用的那一部分。 第7頁，共62頁，2022年，5月20日，13點51分，星期二圖

4、6.2 DBMS的3層模式 數據庫物理模式概念模式外部模式用戶用戶用戶第8頁，共62頁，2022年，5月20日，13點51分，星期二多媒體數據對數據庫的影響(1)數據量大且媒體之間差異也極大，從而影響數據庫中的組織和存儲方法。(2)媒體種類增多增加了數據處理困難。 (3)多媒體不僅改變了數據庫的接口，使其聲、文、圖并茂，而且也改變了數據庫的操作形式，其中最重要的是查詢機制和查詢方法。(4)傳統的事務一般都是短小精悍，在多媒體數據庫管理系統中也應盡可能采用短事務。為保證播放不致中斷，MDBMS應增加這種處理長事務的能力。(5)多媒體數據庫管理還有考慮版本控制的問題。第9頁，共62頁，2022年，

5、5月20日，13點51分，星期二6.2.2 MDBMS的功能要求 (1) MDBMS必須能表示和處理各種媒體數據，重點是不規則數據如圖形、圖像、聲音的表示方法。 (2) MDBMS必須能反映和管理各種媒體數據的特性，或各種媒體數據之間的空間或時間的關聯。 (3) MDBMS除必須滿足物理數據獨立性和邏輯數據獨立性外，還應滿足媒體數據獨立性。 物理數據獨立性指當物理數據組織改變時，不影響概念數據組織。 邏輯數據獨立性指概念數據組織改變時，不影響用戶程序使用的視圖。第10頁，共62頁，2022年，5月20日，13點51分，星期二媒體數據獨立性指在MDBMS的設計和實現時，要求系統能保持各種媒體獨立

6、性和透明性。(4) MDBMS的數據操作功能。(5) MDBMS的網絡功能。應解決分布在網絡上的多媒體數據庫中數據的定義、存儲、操作問題，并對數據一致性、安全性、并發性進行管理。(6)MDBMS應具有開放功能，提供MDB的應用程序接口API，并提供獨立于外設和格式的接口。(7) MDBMS還應提供事務和版本管理功能。 第11頁，共62頁，2022年，5月20日，13點51分，星期二6.2.3 MDBMS的組織結構 MDBMS的組織結構一般可分為3種：集中型。主從型。協作型 。第12頁，共62頁，2022年，5月20日，13點51分，星期二1. 集中型MDBMS由單獨一個MDBMS來管理和建立不

7、同媒體的數據庫，并由這個MDBMS來管理對象空間及目的數據的集成。MDBMS 圖像數據庫 圖形數據庫 音頻數據庫 文本數據庫 視頻數據庫圖6.4 集中型MDBMS的組織結構第13頁，共62頁，2022年，5月20日，13點51分，星期二2. 主從型MDBMS 每個數據庫都有自己的管理系統， 稱為從數據庫管理系統，它們各自管理自己的數據庫。這些從數據庫管理系統又受一個稱為主數據庫管理系統的控制和管理 。第14頁，共62頁，2022年，5月20日，13點51分，星期二從MDBMS從MDBMS從MDBMS從MDBMSMDBMSMDBMS某種MDB某種MDB某種MDB某種MDB多媒體數據庫圖6.5 主

8、從型MDBMS的組織結構 第15頁，共62頁，2022年，5月20日，13點51分，星期二3. 協作型MDBMS 協作型MDBMS也是由多個數據庫管理系統來組成， 每個數據庫管理系統之間沒有主從之分。要求系統中每個數據庫管理系統(稱為成員MDBMS)能協調地工作，但因每一成員MDBMS彼此有差異， 所以在通信中必須首先解決這個問題。 第16頁，共62頁，2022年，5月20日，13點51分，星期二 成員 MDBMS 成員 MDBMS 成員 MDBMSMDBMS 某種MDB 某種MDB 某種MDB 附加軟件 附加軟件 附加軟件 多媒體數據庫圖6.6 協作型MDBMS的組織結構第17頁，共62頁，

9、2022年，5月20日，13點51分，星期二6.2.4 MDBMS的數據模型 數據模型的概念擴充的關系數據模型應用實例第18頁，共62頁，2022年，5月20日，13點51分，星期二1. 數據模型的概念 數據模型通常由數據結構、數據操作和完整性約束三部分組成， 也稱數據模型三要素。數據結構是對數據庫系統靜態特性的描述，是所研究的對象類型的集合。這些對象是數據庫的組成成分。數據庫系統通常按數據結構的類型來命名數據類型， 如層次模型、網狀模型、關系模型和面向對象模型。 第19頁，共62頁，2022年，5月20日，13點51分，星期二 數據操作是對數據庫系統動態特性的描述，如數據庫中各種對象的實例、

10、允許執行的操作集合。數據的約束條件是實現數據庫完整性規則的集合，所謂完整性規則是指給定的數據模型中數據及它們之間關聯所具有的制約和依存規則，用以限定符合數據模型的數據庫狀態以及狀態的變化， 以保證數據庫數據的正確、有效、相容和一致。數據模型應該提供定義數據完整性約束條件的機制，以反映數據必須遵守的特定的語義約束條件。 第20頁，共62頁，2022年，5月20日，13點51分，星期二 2.常用的數據模型 早期DBMS采用層次模型，它利用樹型結構來表示實體及實體之間聯系。模型中節點為記錄型，表示某種類型的實體；節點之間的連線表示它們之間的關系。 層次模型構造簡單，易于實現。典型的應用如公司、大學的

11、行政架構表示。 基于層次模型的數據庫稱為層次數據庫，它支持用戶以瀏覽方式完成對數據訪問，對子節點記錄的訪問需經過父節點。 層次模型的限制是：任何非根節點的節點有且僅有一個父節點； 父子節點只能是1：n關系， 不能表示兩類實體間的m：n關系。第21頁，共62頁，2022年，5月20日，13點51分，星期二 利用網狀結構來表示實體與實體之間聯系的數據模型稱為網狀模型， 其節點為記錄型， 用于表示某類實體。允許節點有多個父節點， 比層次模型更通用。基于網狀模型的網狀數據庫管理系統也主要支持用戶以瀏覽的方式完成對數據記錄的訪問，但由于節點可有多個父節點， 對網狀數據庫中某節點的訪問路徑可以有多條。第2

12、2頁，共62頁，2022年，5月20日，13點51分，星期二 層次和網狀數據庫管理系統均不支持數據獨立性。數據庫結構的調整將使應用隨之變化，這就限制了數據庫系統及其應用的可擴展性、可重用性及可移植性。關系模型克服了上述兩種模型的缺陷， 利用二維的表來表示實體及實體之間的關系， 每張二維表又稱為一個關系。二維表每一列代表實體以及實體之間關系的某種屬性。屬性名的集合如C1， C2， ， Cn表示某種記錄類型。每一列除了具有屬性名外， 還具有類型特征， 該特征決定了屬性的取值范圍，稱為域。這種表可直接描述兩個實體類型間的m： n關系。第23頁，共62頁，2022年，5月20日，13點51分，星期二

13、關系模型可通過關系代數嚴格定義。一張二維表可定義為一組域的笛卡兒積的子積。域D1， D2， ， Dn的笛卡兒積定義為： D1D2Dn=(C1，C2， ， Cn)|CiDi， i=1，2，n關系R可表示為： R D1D2Dn， n為關系的度。一個關系的結構可表示為 R：(C1：D1， C2：D2，Cn：Dn) 其中Ci(i=1，2，n)為屬性名。第24頁，共62頁，2022年，5月20日，13點51分，星期二 RDBMS對數據的各種操作歸結為各種集合運算。除了支持傳統的集合運算之外， 還定義了專門的關系運算，如投影、選擇、連接等。它還利用一階謂詞邏輯來判斷表中元組是否滿足用戶定義的條件。用戶定義

14、的條件由邏輯運算符(and)、(or)、(not)連接各算術表達式組成。關系代數和一階謂詞演算構成了RDBMS支持的數據庫接口語言SQL的基礎 第25頁，共62頁，2022年，5月20日，13點51分，星期二擴充的原因： 傳統的關系模型結構簡單，是單一的二維表， 數據類型和長度也被局限在一個較小的子集中，又不支持新的數據類型和數據結構， 很難實現空間數據和時態數據，缺乏演繹和推理操作， 因此表達數據特性的能力受到限制。在MDBMS中使用關系模型， 必須對現有的關系模型進行擴充，使它不但能支持格式化數據，也能處理非格式化數據。 第26頁，共62頁，2022年，5月20日，13點51分，星期二模型

15、擴充主要有3種策略：(1)使關系數據庫管理技術和操作系統中文件系統功能相結合， 實現對非格式化數據的管理。其主要方法是以存放非格式化數據的文件名代替。 (2)將關系元組中格式化數據和非格式化數據裝在一起形成一個完整的元組，存放在數據頁面或數據頁面組中，統一管理(大系統采用)。 (3)將元組中非格式化數據分成兩部分，一部分是格式化數據本身，另一部分是對非格式化數據的引用(小系統采用)。3種策略的關鍵是要擴充數據類型， 解決非格式化數據的語義解釋。 第27頁，共62頁，2022年，5月20日，13點51分，星期二 Paradox是由Borland公司開發的，Paradox增加了4種數據類型： 動態

16、注釋、格式注釋、圖形和大二進制對象(Blob)。 OLE類型是Blob的一種特殊格式， 可使Paradox用作一個OLE主機。 FoxPro是Microsoft公司的產品，它是在DBase基礎上發展起來的。為了處理多媒體數據，FoxPro2.5引入一個新的屬性類型General，它可以容納任何一種多媒體數據，包括文本、圖形、圖像或聲音數據。在Windows中， FoxPro相當于一個OLE客戶，通過在表中定義一個類型為General的字段，可以為鏈接或嵌入任何對象預留空間。 第28頁，共62頁，2022年，5月20日，13點51分，星期二 關系型多媒體數據庫的應用 某公司需要用數據庫管理雇員資

17、料， 雇員信息包括工號、年齡、性別、月工資、所在部門、該部門經理、雇員的免冠照片等屬性。 對這樣比較復雜結構的實體(雇員)，關系數據庫需要把它分解成最簡單實用的關系(雇員和部門)表示，實體的結構語義隱性地包含在兩個關系的相同屬性中， 只有通過聯結、投影等操作才能體現出結構語義 。此例中雇員照片屬性的存儲可利用Oracle數據庫提供的LOB屬性類型實現的。LOB (Large Object)就是存儲大對象的屬性類型， 當數據量過大不能直接存入數據庫中時， 可以使用LOB屬性類型。 第29頁，共62頁，2022年，5月20日，13點51分，星期二圖6.9 關系實例 工號姓名年齡性別月工資部門編號雇

18、員照片001張三28男1500001ZHANG部門編號部門名稱部門經理001銷售科004關系雇員關系部門第30頁，共62頁，2022年，5月20日，13點51分，星期二6.3 面向對象技術與MDBMS 面向對象的基本概念面向對象的數據庫模型 面向對象數據庫系統的實現方法 第31頁，共62頁，2022年，5月20日，13點51分，星期二6.3.1 面向對象的基本概念(1)對象 是問題領域中的事物的表示或描述，世界上任何事物都是對象。對象具有名字標識，并具有自身的狀態和功能。(2)屬性 組成對象的數據稱為對象的屬性。對象的屬性可以是系統或用戶定義的數據類型，也可以是抽象數據類型。狀態由屬性描述。(

19、3)方法 定義在對象屬性上的一組操作稱為對象的方法，方法體現了對象的行為功能。(4)對象類 類描述的是具有相似性質(屬性)的一組對象， 這組對象具有一般行為(操作)， 一般關系(對象之間的)及一般語義.第32頁，共62頁，2022年，5月20日，13點51分，星期二 (5)子類和超類 類可以分成若干子類，這個被分成若干子類的類稱為超類，子類和超類在層次上可理解為“被概括”與“概括”的關系。(6)消息 在面向對象系統中，對象間的通訊和請求對象完成某種處理工作是通過消息傳遞實現的，消息傳遞相當于一個間接的過程調用。(7)繼承性 子類不僅可以繼承超類對象的部分或全部屬性和方法， 還可以擁有自己的屬性

20、和方法。繼承性具有雙重作用，一是可以減少代碼冗余； 二是可以通過協調性來減少相互之間的接口。 第33頁，共62頁，2022年，5月20日，13點51分，星期二6.3.2 面向對象的數據庫模型 (1)面向對象模型支持“聚合”與“概括”的概念，從而更好地處理多媒體數據等復雜對象的結構語義。(2)而向對象模型支持抽象數據類型和用戶定義的方法，便于系統支持定義新的數據類型和操作。(3)面向對象系統的數據抽象、功能抽象與消息傳遞的特點使對象在系統中是獨立的， 具有良好的封閉性， 封閉了多媒體數據之間的類型及其他方面的巨大差異， 并且容易實現并行處理， 也便于系統模式的擴充和修改。第34頁，共62頁，20

21、22年，5月20日，13點51分，星期二 (4)面向對象系統的對象類、類層次和繼承性的特點，不僅減少了冗余和由此引起的一系列問題，還非常有利于版本控制。(5)面向對象系統中實體是獨立于值存在的，因而避免了關系數據庫中討論的各種異常。(6)面向對象系統的查詢語言通常是沿著系統提供的內部固有聯系進行的，避免了大量的查詢優化工作。第35頁，共62頁，2022年，5月20日，13點51分，星期二6.3.3 面向對象數據庫系統的實現方法 面向對象數據庫和擴展關系數據庫系統不同，它傾向于以數據模型入手，重新考慮不同于傳統DBMS的系統整體結構、對象類層次的存儲結構、存取方法和繼承性的實現方法、用戶定義的數

22、據類型和方法的處理策略、必要的版本控制和友好的用戶界面，建立一個全新的 DBMS。第36頁，共62頁，2022年，5月20日，13點51分，星期二1. 對象類型的建立 圖6.10 多媒體類型系統第37頁，共62頁，2022年，5月20日，13點51分，星期二2. 面向對象數據庫系統結構 根據系統模型的功能，設計適當的系統結構是面向對象的DBMS實現的重要環節。 由MCC公司研制的ORION系統由4個子系統構成：(1)消息處理子系統 ；(2)對象子系統 ；(3)存儲子系統 ；(4)事務管理子系統。 2. 面向對象數據庫系統結構 第38頁，共62頁，2022年，5月20日，13點51分，星期二圖6

23、.11 ORION系統結構圖 消息處理子系統對象子系統事務子系統 存儲子系統第39頁，共62頁，2022年，5月20日，13點51分，星期二ORION ORION-1SX是一個客戶機/服務器數據庫系統，它有一個專用的服務器管理整個數據庫系統，而應用系統運行的所有其他節點(客戶)同這個服務器進行通信來存取數據庫。對象子系統和消息子系統完全放置在客戶機上。另一方面，通訊子系統以及部分事務和存儲子系統既放置于客戶機又放置于服務器中，通訊子系統負責打開、關閉和控制連接， 接收和傳遞客戶機和服務器之間的消息。 ORION-2是一個基于網絡的分布式數據庫系統， 它由一個以上的節點進行管理，使得數據庫的物理

24、布局對用戶來說是透明的。第40頁，共62頁，2022年，5月20日，13點51分，星期二圖6.12 ORION系統的功能單元 消息處理子系統 對象子系統 事務子系統 存儲子系統通信子系統服務器事務子系統服務器存儲子系統服務器客戶機第41頁，共62頁，2022年，5月20日，13點51分，星期二面向對象系統Iris除了一般的數據永久性、控制共享、后緩和恢復的需求之外，新需求的功能包括：豐富的數據建模結構、對推理的直接數據庫支持、新的數據類型、長事務處理以及數據的多版本。數據共享必須在對象級別上以并行共享和串行共享兩者的意義上實現，允許一個給定的對象能夠由用不同的面向對象的編程語言編寫的應用來操作

25、。Iris正是面向上述需要進行設計。 第42頁，共62頁，2022年，5月20日，13點51分，星期二圖6.13 Iris系統結構 對象 SQL 圖形編輯器C對象CirisLisp對象LispIris對象管理器存儲管理器結構化數據非結構化數據第43頁，共62頁，2022年，5月20日，13點51分，星期二3.面向對象的數據庫系統的存儲結構和存取方法 (1) 基于關系系統的方法。 (2) 更適合多媒體數據特點的存儲結構和存取方法 。比較適合多媒體數據特點的存儲結構和存取方法有EXODUS系統的B+樹索引結構、適合多維空間對象的R+樹索引結構等。 第44頁，共62頁，2022年，5月20日，13點

26、51分，星期二6.4 基于內容的檢索技術 6.4.1 相關概念 數據庫系統中，數據檢索是一種頻繁使用的任務。多媒體數據庫數據量大，數據種類多，給數據檢索帶來了新的問題。多媒體數據庫包含大量的圖像、聲音、視頻等非格式化數據，對它們的查詢或檢索比較復雜，往往要根據媒體中表達的情節內容進行檢索。基于內容的檢索(CBR)就是針對多媒體信息檢索使用的一種重要技術 。第45頁，共62頁，2022年，5月20日，13點51分，星期二1.基于內容的檢索技術的特點 (1) 從媒體內容中提取信息線索， 直接對媒體進行分析， 抽取特征(如基于表達式)。(2) 提取特征方法多種多樣。如圖像特征有形狀、顏色、紋理、輪廓

27、等特征。(3) 人機交互。人能迅速分辨要查找的信息， 但難以記住信息， 人工大量查詢費時、重復， 而這正是計算機的長處， 人機交互檢索可大大提高多媒體數據檢索的效率。(4) 基于內容的檢索采用一種近似的匹配技術。提取媒體對象內容屬性的方式一般有手工方式、自動方式和混合方式。第46頁，共62頁，2022年，5月20日，13點51分，星期二2. 媒體特征音頻 常利用的音頻特征包括基音，共振峰，線性預測倒譜系數、Mel倒譜系數(基于高斯混合模型的語音識別)等音頻低層特征，和聲紋、關鍵詞等高層特征。靜態圖像 其底層特征包括顏色，紋理，幾何形狀，灰度統計特征； 高層特征包括人臉部特征，表情特征，物體和景

28、物特征。視頻 包含的信息最豐富復雜，其底層特征包括鏡頭切換類型，特技效果，攝像機運動，物體運動軌跡，代表幀，全景圖等；高層特征包括描述鏡頭內容的事件等。文本 關鍵詞常被選為文本對象的內容屬性。圖形 幾何體各種形狀特征、周長、面積、位置、幾何體間空間關系的類型等，常被選為圖形內容屬性。第47頁，共62頁，2022年，5月20日，13點51分，星期二6.4.2 基于內容的檢索實現方法 一是基于傳統的數據庫檢索方法，即采用人工方法將多媒體信息內容并表達為屬性(關鍵詞)集合，再在傳統的數據庫管理系統框架內處理。這種方法對信息采用了高度抽象，留給用戶選擇余地小，查詢方式和范圍有所限制。二是基于信號處理理

29、論， 即采用特征抽取和模式識別的方法來克服基于數據庫方法的局限性，但全自動地抽取特征和識別時間開銷太大，并且過分依賴于領域知識，識別難度大。 第48頁，共62頁，2022年，5月20日，13點51分，星期二系統實現 在CRB系統中采用的有效方法包括相似性、模糊值、分段化等技術，下面以視覺信息管理系統(VIMS)為例介紹CRB系統的實現 。第49頁，共62頁，2022年，5月20日，13點51分，星期二圖6.14 基于內容的檢索系統結構交互查詢 模塊 查詢 格式化新的圖像插入模塊數據（圖像） 處理模塊知識模塊圖像DB特征DB用戶第50頁，共62頁，2022年，5月20日，13點51分，星期二圖6

30、.15 檢索方法 視覺例程圖像插入查詢圖像被存儲的特征值查詢特征 計算相似性第51頁，共62頁，2022年，5月20日，13點51分，星期二圖6.16 基于內容的檢索過程第52頁，共62頁，2022年，5月20日，13點51分，星期二6.4.3 圖像內容分析及其檢索 基于顏色直方圖檢索 基于輪廓的檢索 基于紋理的檢索 視頻檢索第53頁，共62頁，2022年，5月20日，13點51分，星期二6.4.4 MPEG-7標準MPEG-1，2，4解決在多媒體高效存儲、傳輸和處理聲音圖像信息問題。但還沒有能解決多媒體信息檢索問題的工具。MPEG-7標準即“多媒體內容描述接口”。其目標就是產生一種描述多媒體

31、信息的標準， 滿足實時、非實時以及推-拉應用的需求。并將該描述與所描述的內容相聯系， 以實現快速有效的檢索。 MPEG-7標準可獨立于其他MPEG標準使用，但MPEG-4所定義的音頻、視頻對象的描述適用于MPEG-7。MPEG-7適用范圍廣泛， 既可應用于存儲，也可用于流式應用。可在實時或非實時環境應用。第54頁，共62頁，2022年，5月20日，13點51分，星期二1. MPEG-7的相關概念數據(Data) MPEG-7描述的多媒體信息， 包含圖形、靜止圖像、視頻、音樂、語音、文本和其他相關的媒體。特征(Feature) 指數據的特性。特征本身不能比較，而要用有意義的特征表示(描述子)和它

32、的實例(描述值)。如圖像的顏色、語音的聲調、音頻的旋律等。 描述子(Descriptor，D) 是特征的表示。它定義特征表示的句法和語義，可以賦予描述值。一個特征可能有多個描述子，如顏色特征可能的描述子有：顏色直方圖、頻率分量的平均值、運動的場描述、標題文本等。 描述值(Descriptor Value) 是描述子的實例。描述值與描述模式結合， 形成描述。 第55頁，共62頁，2022年，5月20日，13點51分，星期二 描述模式(Description Scheme，DS) 說明其成員之間的關系結構和語義。成員可以是描述子和描述模式。DS和D的區別是：D僅僅包含基本的數據類型，不引用其他D或DS。如影片從時間上結構化為場景和鏡頭，在場景級包括一些文本描述子，在鏡頭級包含顏色、運動和一些音頻描述子。 描述(Description) 由一個描述模式和一組描述值組成。 編碼的描述(Coded Description) 是對已完成編碼的描述，滿足諸如壓縮效率、差錯恢復和隨機存取的相關要求。