1、第二講第二講 多媒體處置實際及共性技術根底多媒體處置實際及共性技術根底 信號的數字化實際 主要媒體方式引見 信號的線性變換技術 信號的統計編碼技術 多媒體系統特點Why Digital?Universal storage, transmission format CD, internetPrecision (Range of values, number of bits, floating point)Lossless transmission/storageBUT:sampling rate distorts informationsize requirements may be large

2、 compared to analogDigitization Process Sampling from an analog signal Sampling Errors relate to signal frequencies Quantization ErrorsSampling: Nyquist sampling theorem目的目的 用最少的時間離散信號樣本來準確表示用最少的時間離散信號樣本來準確表示原來的延續信號。原來的延續信號。Nyquist采樣規范采樣規范 采樣頻率至少為延續信號帶采樣頻率至少為延續信號帶寬的兩倍。寬的兩倍。假設采樣頻率小于這個規范，就會產生假設采樣頻率小于這

3、個規范，就會產生“混疊混疊景象，即采樣后離散信號不能重構原延續信號。景象，即采樣后離散信號不能重構原延續信號。2/or 2TTffssNyquist System:Quantization: Linear and Non-linearLinear quantization: 均勻量化均勻量化Non-linear quantization: 非均勻量化非均勻量化(大信號采大信號采用大間隔用大間隔, 小信號用小間隔小信號用小間隔) 舉例：圖象非均勻量化Types of multimedia dataTextGraphicsPicture/imageAudioSpeechVideoGenerated

4、 mediaText ASCII, Unicode Formatted Text, Rich Text Document Formats: Structured: Tex, HTML Page Descriptions: Postscript, PDFGraphics Objects circles, splines, rectangles, lines Editable resize, reshape, move, colorize Synthetic Images (Pictures) Fixed digitized representation bitmap, colors per pi

5、xel Editable in limited ways retouch, cut and paste, remap colors, filter Photoshop tools no model of the thing Captured not just from real life, clip art, screen dumpAudio Sounds hear 15 Hz to 20 kHz Speech is 50 Hz to 10 kHz Speech Recognition It is hard to wreck a nice beach Ice cream I scream Sy

6、nthesis Speech Music MIDI for 127 instruments, 47 percussion sounds Notes, timingSpeech Recognition Issues Continuous vs Discrete Vocabulary Size Channel (Microphone) Environment (Location of mike and Speaker) Speaker Dependent/Speaker Independent Context (Language Model) Interactivity (Dialog Model

7、)Acoustic ModelingDescribes the sounds thatmake up speechLexiconDescribes which sequences of speechsounds make upvalid wordsLanguage ModelDescribes the likelihoodof various sequences ofwords being spokenSpeech RecognitionSpeech Recognition Knowledge SourcesSpeech VariationsStyle Variationscareful, c

8、lear, articulated, formal, casualspontaneous, normal, read,dictated, intimateVoice Qualitybreathy, creaky,whispery, tense,lax, modalContextsport, professional,interview, free conversation,man-machine dialogueSpeaking Ratenormal, slow, fast,very fastStress in noise, with increased vocaleffort (Lombar

9、d reflex),emotional factors (e.g. angry),under cognitive loadVideo Frames comprise the video Frame rate = delay between successive frames minimal change between frames Sequencing creates the illusion of movement 16 fps is “smooth Standards: 29.97 is NTSC, 25 is PAL, 60 is HDTV Interlacing Display sc

10、an rate is different monitor refresh rate 60 - 70 Hz (= 1/s)Orthogonal Transforms 從實際上講正交變換本身不能對信號產生從實際上講正交變換本身不能對信號產生任何影響任何影響,但正交變換改動了信號的表現域或表但正交變換改動了信號的表現域或表現方式現方式,為某些信號處置和分析如緊縮提供了另為某些信號處置和分析如緊縮提供了另一種能夠更方便的手段一種能夠更方便的手段.1010210102/ )(2exp),(1),( / )(2exp),(1),( )(2exp),(),( )(2exp),(),( NiNkNmNnNnk

11、mijkiFNnmfNnkmijnmfNkiFdudvvyuxjvuFyxfdxdyvyuxjyxfvuFDiscrete Fourier Transform (DFT). 1, , 2/1, 2/1 ),( 0, 0)1,1(0, 0)1,(0, 0),1(0, 0),(),( : .,; , 4, DCT., ),( )(2sin)(2cos)(2exp )(2sin)(2cos)(2exp :TransformFourier NNkjkikifkikifkikifkikifkikifkifNNNNyxfvyuxjvyuxvyuxjvyuxjvyuxvyuxjss這個虛擬點的對稱是對偶對稱

12、擴展稱為奇對稱素如果折疊時重疊一個像稱為偶對稱塊個形成對折將其沿水平和垂直邊界的二維圖象對于可導出則變換域中只有余弦項對稱于原點如果圖象中在Discrete Cosine Transform (DCT) 1010101010111/ )2/1(cos/ )2/1(cos),(2),(/ )2/1(cos/ )2/1(cos),(2),( ),( /)2/1()2/1(2exp),(1),(:),(),(FT2/)2/1()2/1(2exp),(21),(:NuNvNiNkssNiNNksssNNiNNkssNkvNjuvuFNkifNkvNjukifNvuFkifNkviujkifNvuFvu

13、FvuFNkviujkifNvuF是實對稱函數由于因此具有共軛對稱性由于偶對稱余弦變換)()(),( )()(),( )()(),( )()(),( WTldimensiona-Two )()(2)2,21)( 0)( )()( )()(),)( 321,2/2/1yxyxyxyxyxyxyxyxdxxxfkfWdttabtatdtttfbafWkjjjjababWavelet Transform (WT)Coding從信息論角度看從信息論角度看: 描畫信源的數據由有效信息和描畫信源的數據由有效信息和冗余量兩部分組成冗余量兩部分組成,去除冗余量可以節省存儲去除冗余量可以節省存儲和傳輸中的開銷和

14、傳輸中的開銷,同時又不損失信源的有效信同時又不損失信源的有效信息量息量.從生理角度看從生理角度看: 一定限制的失真是允許的一定限制的失真是允許的,如人眼如人眼對圖象灰度分辨率的局限性對圖象灰度分辨率的局限性,監視器顯示分辨監視器顯示分辨率的限制率的限制,因此可以對圖象信源做一定的甚至因此可以對圖象信源做一定的甚至很大程度的緊縮很大程度的緊縮.編碼緊縮的分類編碼緊縮的分類: 1) 冗余度緊縮冗余度緊縮: 基于統計模型基于統計模型,減少或完全去減少或完全去除數據流中的冗余除數據流中的冗余,同時堅持信息不變同時堅持信息不變. (Statistical Coding). 2) 熵熵(entropy)緊

15、縮緊縮: 以犧牲部分信息量為代以犧牲部分信息量為代價而換取縮短平均碼長的方法價而換取縮短平均碼長的方法,即有損緊縮即有損緊縮.Statistical Coding統計編碼是根據信源的概率分布特性統計編碼是根據信源的概率分布特性,分配可變分配可變長碼字長碼字(其具有獨一可譯性其具有獨一可譯性),降低平均碼字長度降低平均碼字長度.Shannon CodingHuffman CodingArithmetic CodingShannon Coding Log2(1/pi) 表示包含在表示包含在 si 中的信息量中的信息量,即編碼即編碼所需的位數所需的位數,假設信息出現的概率不同假設信息出現的概率不同,

16、那么用非一致位表示那么用非一致位表示不同的信不同的信息比用同一位表示更有效率息比用同一位表示更有效率.Shannon and Fano 提出由上到下的編碼方法提出由上到下的編碼方法:圖象灰度級圖象灰度級 xi 按概率遞減排序按概率遞減排序.將將 xi 分成分成2組組,每組的概率和相等或類似每組的概率和相等或類似,對第一對第一組分配代碼組分配代碼“0,對第二組分配對第二組分配“1.執行步驟執行步驟2后后,假設每組還是由假設每組還是由2個或個或2個以上灰度個以上灰度級組成級組成,就反復上述步驟就反復上述步驟,知道每組只需一個知道每組只需一個灰度級灰度級.iiippsH)/1 (log)(2Huff

17、man Coding與與Shannon Coding相反相反,它是一種從下到上的它是一種從下到上的編碼方法編碼方法:將灰度等級按概率從大到小排序將灰度等級按概率從大到小排序.取兩個最小概率相加之和取代這兩個概率取兩個最小概率相加之和取代這兩個概率,然后然后一切概率構成一個新的概率集合一切概率構成一個新的概率集合(新概率集合新概率集合的元素個數比執行前少的元素個數比執行前少1個個),新概率元素在集新概率元素在集合中還是遵照由大到小規那么確定本人所處合中還是遵照由大到小規那么確定本人所處的位置的位置.被相加的被相加的2個最小概率所對應的灰度級成為個最小概率所對應的灰度級成為Huffman樹的一個葉

18、節點樹的一個葉節點,這這2個節點構造一個節點構造一個父節點個父節點.反復反復2,3步驟直到只需步驟直到只需2個概率為止個概率為止,這時這時Huffman樹到達了根節點樹到達了根節點.設一切節點的左后代為設一切節點的左后代為“0,右后代為右后代為“1,那那么從根開場經各中間節點到葉節點的途徑代么從根開場經各中間節點到葉節點的途徑代碼就是葉節點的碼就是葉節點的Huffman碼碼. Huffman coding的效率優于其它統計編碼,是一種最正確變長碼. 當數據成分復雜時,碼表生成困難,編碼速度較慢. (排序復雜) Huffman碼無錯誤維護功能. (error propagation) Huffm

19、an和Shannon都自含同步碼,無需添加標志符號.Arithmetic Coding 經過把信息轉換為經過把信息轉換為0,1實數實現編碼實數實現編碼,知參知參數包括每個符號的概率和它的編碼間隔數包括每個符號的概率和它的編碼間隔. ; ; ; ; ; where:)0 . 1 , 7 . 0)7 . 0 , 5 . 0)5 . 0 , 1 . 0) 1 . 0 , 0 . 0: 0,1) ,3 . 0 , 2 . 0 , 4 . 0 , 1 . 0 , 為當前子區間長度當前符號的區間右端當前符號的區間左端為前子區間的起始位置為新子區間的結束位置為新子區間的起始位置關系式為方便討論再給出一組內的賦值范圍設定為數區間那么各符號在半封閉實它們的概率分別為令信源符號為LCCFNNLCFNLCFNdcbadcbaflagrflaglareasareaeareasflagrareasareaeflaglareasareas. ., 514402. 0 ,5143876. 05146. 0006. 07 . 0