主講：蔣志迪寧波大學信息科學與工程學院辦公室：曹光彪信息樓424電話：665929計劃課時：51課程情況及要求：本課程幫助學生了解多媒體通信的概念、特點，熟悉多媒體通信系統的基本構成以及相關的國際標準與協議，掌握多媒體體信息處理的原理和方法，理解多媒體通信中的關鍵技術，如音頻數據壓縮技術、視頻數據壓縮技術、組網技術、多點控制技術(MCU)，達到對多媒體通信理論和應用較為全面的綜合理解，能掌握多媒體通信基本技術并了解其發展趨勢。教學方法：課堂講授為主，輔以完成作業，并閱讀相關文獻。課程講授內容安排—共分21講1.多媒體通信技術概述2.圖像技術基礎(視覺特性和電視技術)3.數據壓縮的基本理論4.預測編碼及變換編碼5.子帶編碼及量化6.熵編碼及壓縮性能評價7.視頻編碼及速率控制8.視頻壓縮編碼國際標準簡介9.音頻編碼技術10.多媒體數據及時域特征課程講授內容安排—共分21講11.同步模型及分布式多媒體系統同步12.連續媒體內部同步及流間同步13.多媒體網絡通信14.IP網絡對多媒體傳輸的支持15.多媒體傳輸協議16.多媒體流式應用系統與終端17.流媒體技術18.視頻數據的分組傳輸及QoS保障19.多媒體傳輸擁塞控制及傳輸層差錯控制20.多媒體傳輸的編碼層差錯控制21.異構網絡中的視頻傳輸技術課程要求課堂： 1.按時上課，不交頭接耳 2.有問題直接課堂討論或課后反映 3.有事，按規定請假作業： 按時完成考核方式與成績評定成績總評＝平時×30％+期末考試×70％平時：包括上課情況及出勤、作業情況期末：閉卷考試第01講多媒體通信技術概述1-1概述原本各自獨立的3個領域相互滲透、相互融合，形成多媒體技術多媒體技術的應用與發展，又反過來加速這3個領域的融合計算機通信廣播電視多媒體技術計算機通信廣播電視1-2多媒體的概念和含義“多媒體”概念難建立的原因：3個領域技術復雜，融合后形成多媒體技術覆蓋面更廣、更復雜有些商家追求經濟、商業利益，亂用概念新聞報道的不準確用詞，起了誤導作用什么是媒體?“媒體”(medium)一詞本身來自于拉丁文“medius”，意為中介、中間的意思，是信息表示和傳輸的載體。人類大腦中的信息90%是通過眼睛獲取CCITT(目前已被ITU取代)對媒體分類：

感覺媒體表示媒體表現媒體存儲媒體傳輸媒體感覺媒體直接作用于感官，產生感覺語言、聲音、圖像、圖形、文字等等氣味、觸覺、痛覺？？？11表現媒體感覺媒體與用于通信的電信號之間轉換用的媒體輸入媒體，如鍵盤、話筒輸出媒體，如顯示器、擴音器、打印機12表示媒體為了加工、處理和傳輸感覺媒體而人為研究構造出來的一種媒體各種編碼方式，如文本編碼、語言編碼、圖像編碼感覺媒體數字化的代碼13存儲媒體用于存放表示媒體的媒體硬盤、磁帶、光盤、RAM等等14傳輸媒體將媒體從一處傳送到另一處的物理載體通信的信息載體電纜、雙絞線、光纖、無線電波15常見感覺媒體聲音、文字、圖形、圖像、視頻和動畫文本指各種文字，包括各種字體、尺寸、格式及色彩的文本音頻音頻包括音樂、語音和各種音響效果。圖形圖形是指從點、線、面到三維空間的黑白或彩色幾何圖圖像圖像是由像素點陣組成的畫面。視頻是圖像數據的一種，若干有聯系的圖像數據連續播放便形成了視頻。動畫是利用了人眼的視覺暫留特性，快速播放一連串靜態圖像，在人的視覺上產生平滑流暢的動態效果就是動畫。16圖形——是指由外部輪廓線條構成的矢量圖，即由計算機繪制的直線、圓、矩形、曲線、圖表等。由幾何圖形構成的矢量圖。圖像——是由掃描儀、攝像機等輸入設備捕捉實際畫面產生的數字圖像。由像素點陣構成的位圖。圖形與圖像17存儲方式的區別：-圖形存儲的是畫圖的函數；-圖像存儲的則是像素的位置信息和顏色信息以及灰度信息。縮放的區別:-圖形在進行縮放時不會失真，可以適應不同的分辨率；-圖像放大時會失真，可以看到整個圖像是由很多像素組合而成的。處理方式的區別：-對圖形，我們可以旋轉、扭曲、拉伸等等；-而對圖像，我們可以進行對比度增強、邊緣檢測等等。算法的區別:-對圖形，我們可以用幾何算法來處理；-對圖像，我們可以用濾波、統計的算法。其他：-圖形不是主觀存在的，是我們根據客觀事物而主觀形成的；-圖像則是對客觀事物的真實描述。圖形與圖像的區別動畫——每一幀圖像是由人工或計算機生成的圖形若每幀圖像為計算機產生的具有真實感的圖像，則稱為三維真實感動畫。視頻——每幀圖像為實時獲取的自然景物圖像。幀速在10～16幀/秒時會感到畫面抖動。電影：24幀/秒

NTSC制式電視：30幀/秒

PAL制式電視：25幀/秒動畫與視頻19多媒體是英文“multimedia”一詞的譯文，是由“multi”和“media”復合而成，直譯即為多媒體。在多媒體技術中，媒體是指表達信息的手段。 1）融合兩種以上媒體的人機交互式信息交流與傳播的媒體 2）傳統的計算媒體——文字、圖形、圖像以及邏輯分析方法等與視頻、音頻以及為了知識創建和表達的交互式應用的綜合體

例:浸數字電顏視的數菜據量電視圖像族的數字化診：數據量晶龐大我國彩電琴制式為P驢AL-D尾，場頻5惠0Hz(拔幀頻25拆Hz)、罵625行組，屏幕寬路高比為4磁/3，采紡用隔行掃幟描。有效側像素點為立767×回575，簽彩色像素違點經過抽韻樣量化為域24位，詠則1幅靜虜止畫面的代數據量為胃：蠅767筍×575完×24=墳10.6膚Mb這時傳韻送數據險的速度領可高達10.6趙×25=姜265M沸bps1-3字多媒體產肅生的技術梅背景多媒體檢技術是汗信息技解術發展鏡的必然得結果。蝕促進多滿媒體技渠術趨于維成熟的邀技術很伍多，其撞中最關訊鍵的技因術是：各種多魂媒體壓喉縮算法韻使得多址媒體信孔息巨大妄的數據萌量得有墊效的壓燙縮、從袋而是多有媒體的悅有效存槳儲、屆傳輸、歇數據戴庫管理寬成為可勇能.人機交互換和分布式歇處理系統瞇等使得多惹媒體系統被的產生成唱為可能。CD-R卡OM解決瞞了多媒體模信息的存態儲問題；高速計智算機網鍵絡可以請傳送多卸媒體信窯息；高速位杏處理技伍術、專盾用集成肺電路技糾術和亞宜微米集敢成電路豪技術的其發展，齡為多媒南體技術趣提供了合高速處壩理的硬述件環境舉；1）集成性：一方路面是媒狡體信息頓的集成讓,另一糧方面是兩顯示或肉表現媒副體設備參的集成師；2）實時性：聲音、妖視頻、動彼畫等媒體態是強實時嬸的，多媒太體系統提丹供了對這谷些時基媒體實時處理蹲的能力；3）交互性：多媒體鈔計算機與壓其它家用殃聲像電器份有所差別哭的關鍵特符征，普通板家用聲像戒電器無交驢互性，即項用戶只能層被動收看癢，而不能碼介入到媒退體的加工抵和處理之寺中。多媒體技浸術的特點23多媒體技耀術是一門看綜合的高咬新技術,容是多個吸相關學科著綜合發展凱的產物微電子燥技術計算機技寒術通信技富術等多媒體浮技術的蒸特點24從應用角勁度來看,嫌人們對多文媒體系統裝的認識一禿是來自電頑視,一是諒來自計算手機。It’此sa崖PC禾,It缺’s憑aT象V,I顏t’s猶a榜Mul澤tim之edi轎a。【電視】20世頓界20奧年代的括發明，榮一直沿迷著模擬曉信號處廢理技術寺的方向邊發展，鋒70年日代才開揀發數字褲電視。【計算機維】20世麻界40喪年代的盯發明，弓60年克代文字挑進入計憑算機，基70年扯代圖像眠、聲音旅進入計庭算機，膊80年辣代電視睜進入計峰算機，租90年挽代已經余能夠實接時處理殲大量的金聲音和話影視圖迫像信息茶。多媒體現技術的稼特點25多媒體的維研究開發宇途徑：京-電視計坦算機（tel挨eput孝er）王家電判制造廠商快研制的，李把CPU卸放到家電末中，通過差編程控制紀管理電視芬機、音響賺，又稱絹Smar劣tTV-計算機電瞞視（co帥mpu早vis粥ion見）計算機制找造廠商研影制的，采歉用微處理堪器作為C抬PU，其局它設備還容有VGA慢卡、CD算-ROM碧、音響設壩備以及擴窮展的多窗銹口系統，尸其發展方泊向是TV歲-Kil蔬ler家電希望言有計算機枯的功能計算機具繼有綜合處或理聲、文賴、圖信息姜的能力代替電視26多媒體技鍛術最簡單牢的表現形嚼式：多媒體嚴計算機——增加征了對活動搞圖像（包柱括伴音）鄭的處理、絲式存儲和顯戒示。多媒體蟲通信數據庫用戶多媒體計算機圖像伴音通信網絡多媒體通信多媒體妨技術、什計算機在技術、載通信技盤術和網件絡技術頌等相互談結合和利發展的手產物。多媒體知通信多媒體摧通信系慎統多媒體服務器多媒體通信終端多媒體通信終端多媒體通信終端同步性！！多媒體碌技術的劃發展歷暑程啟蒙發展股階段標準化階捐段29起源于八騰十年代中弟期1984羽，App控leM個acin巧tosh話，使用了為位映射(疾bitm厚ap)、瓦窗口(w拍indo闊w)、圖紙符(ic爽on)等巷技術,押構成圖形用損戶界面維(GU測I),同時括鼠標作為熟交互設備只配合GU軌I使用。198淡5，M墓icr疊oso籠ft推牢出Wi震ndo濁ws，納多任務筐的圖形暗操作環怒境，使廣用鼠標社驅動的古圖形菜漆單。1985忍，美國C糕ommo茂dore敘公司首先拾推出世界步上第一臺多媒體計柏算機Am汁iga系奪統，多任悶務的，準能處理泳圖形音芹響視頻府，具有繩下拉菜踏單、多梳窗口、渠圖符等翠。啟蒙發拿展階段30198挖6，荷副蘭Ph危ili彈ps和鼠日本S癥ony徐聯合推劉出

C持D-I未（co涼mpa栗ct慰dis鑰ci芬nte俱rac柏tiv步e,技交互式皇緊湊光刻盤系統曉），公層布了所似采用的CD-蚊ROM呆光盤的數據格束式1989產，Int漲el將D軟VI（D滿igit抹alV幅ideo榮Int透erac輩tive恒，交互式柔數字視頻披系統）技評術開發成弊一種可普及的遙商品。1989矮，Int丸el與I柱BM合作襯，在Co閘mdex前/Fal恒l’89戲上推出A居ctio愈nMe種dia睬750多媒體近開發平狠臺。19孟91改思進為A峽cti飲on標Med廢iaⅡ辭,在作擴展性訪、可移年植性、筒視頻處益理能力屯等方面聽有大的喬改善。啟蒙發健展階段3120世紀明90年代極逐漸成熟尺，由研究孩開發轉向疾應用1990員年10月嚴，在微商軟公司召監開多媒體載開發工作嘉者會議上爹提出MP辱C1.0胳標準（基壘于286檢－386社）。199婦3年由埋IBM雖，I蓋nte辨l等數牧十家軟絲式硬件公徹司組成閃的多媒攤體個人肥計算機堪市場協哨會(M儉PMC攜)發布碼了多媒顫體個人這機的性廣能標準繼MPC握2.0途（48稍6）。1995茅年6月，問MPM蚊C又宣布挪了新的多服媒體個人孟機技術規虛范MPC嗚3.0（頭586）內。199乎6年以藝后,圈新的個復人機均蠟支持基屢本多媒組體功能標準化階蓮段32技術的熔標準化關鍵技兵術——罷多媒體訓數據的句壓縮與礙解壓縮靜態圖羽像運動圖像音頻（嚼語音）國際標巧準化組購織哪IS色O國際電信軋聯盟盜ITU標準化惠階段33數字化圖千象壓縮標昌準JPEG浪標準MPEG微標準ITU狐H.糧26X上標準數字化悠音頻壓唱縮標準MPE篇G-1狗,2,似4音頻姐標準16K膝bps再IT昨U標春準化方迎案G.摸72832Kb曾psI支TU標準椒化方案G規.721返標準64K銜bps宿IT荷U標準市化方案饑G.7慈22標準化階默段34光盤存儲技系統的標遵準CD-傍ROMCD-D肚ACD-球IVCDDVD藍光標準化犧階段351-4遍多媒體通下信中的關罩鍵技術多媒體噸數據壓刮縮/解鋼壓縮算堤法多媒體諒數據的冠獲取與挺顯示技悉術多媒體信叼息存儲技斷術多媒體數罵據庫與基襲于內容的叉檢索技術多媒體通擾信網絡技煎術超文本和凝Web技上術36多媒體褲信息數屈據量巨摧大Ex1份：一路簽以分量貧編碼的半數字電姓視信號踢，數據潤率達2自16M醋bit隔/s，斷存儲1糟小時這拳樣的電誓視節目預需要近億80G幅B的存曾儲空間失；若要充實現遠錘距離傳元送，則火需要占握用10墊8～2箭16M川Hz的尼信道帶歡寬。多媒體械數據壓宇縮技術多媒體數五據壓縮技刑術Ex2辭：以一壞幅彩色浙靜態圖復像（R悠GB）孫為例設分辨率群為512學*512每一種顏揭色用8b碑it表示R用8b喂it2莫56級表贈示G用8劇bit把25勾6級表侮示B用8撤bit其25悼6級表派示RGBEx2：斗以一幅彩襯色靜態圖溫像（RG惹B）為例則一幅麻彩色靜燒態圖像蟻的數據量親為：512縱*51飼2*3透*8物bi語t以PA煉L制2織5幀/寇秒為例悶，視頻嚷每秒鐘暖的數據量賣：51泊2*5器12*涉3*8謊*25宅＝18框0Mb贈psISA郵總線乓150頓KB/蔬s－>賓150怪*8＝桿1.2牙Mbp慘s差不多要滔壓縮近2拆00倍RGB多媒體扎數據壓燥縮技術音頻信號使壓縮編碼餐技術（一第維）圖像壓好縮編碼難發展過擾程（二撥維）圖像壓稿縮編碼愧國際標責準J舍PEG詞、H.姻26X守、MP藍EG-賊X所以，宰必須進蠻行壓縮丹！多媒體數撤據壓縮技號術人機交猛互信息輸安入：文字識悲別、聯噴機手寫荒識別、糕手寫識返別（？桌）、語刷音識別圖像理解……多媒體數蜜據的獲取召與顯示技柜術基于內裙容的查熄詢多媒體補數據庫袍及檢索疤技術網絡應有脾足夠的帶裝寬100涂Mbi聾t/s救以上網絡應提倦供服務質田量的保證滿足實仆時性、夏可靠性網絡需滿卸足媒體同括步的要求媒體間捉（內）幣同步目前的電綠信網絡、租計算機通掃信網絡、筍有線電視掌網絡都不春是最理想枕的多媒體界通信解決損方案。－I職Pv6丸協議－組播孔技術多媒體通液信網絡技率術海量的華多媒體井信息數賣據量決器定了其日存儲設隆備必須晃容量大纖、速度淘快、帶坡寬高。磁帶－欠大容量張數據存輛儲，速續度慢硬盤－讀婚取速度快柱、可即時箏讀寫、多旁用戶同時疑訪問光盤－存遍儲量大、蓄可共享、迎成本低多媒體蔥信息存自儲技術分布式多額媒體系統把－涉及計萌算機領域弄及通信領動域流媒體技鍬術多媒體數粒據的分布坐式處理技則術1-5瞇多媒芬體通信年終端多媒體計倦算機融入了損處理與燥顯示彩互色電視關信號的嚴功能多媒體婆通信終菌端是在用決戶一端陡用來完吉成多媒短體通信龍業務的蚊設備1.以紫多媒體計悶算機為平銜臺的終端附加上與規通信網對滔應的通信懂接口重要要萄素：能餐夠進行若語音和涼包括活母動圖像輔在內的挨多媒體免通信業隸務2.以壓彩色電視渣機為平臺炒的終端附加上駁機頂盒變(ST耗B),堅集成了悠與通信疊網對應哨的通信奇接口進行VO喪D業務1-6溜多媒即體通信雅系統的有類型、跪特點及慘其相關梯業務多媒體技馬術真正的芬意義在于腳與網絡的緒結合，在皆于通過網塑絡為用戶攔以多媒體偷的方式提蠶供信息服虛務。到目聾前為止，從多媒體系晶統及其相亦關業務可歪分為5大生類：獨立商弟亭式業踐務多媒體信罰息檢索與姨查詢多媒體筍會議與役協同工貌作點播電堪視多媒體挑信件獨立商亭提式業務商場入寫口的商容品介紹醫院等機恩構的介紹竹系統多媒體胳信息檢辭索與查痛詢在房地產垂、商品購若物等方面獲的導向應判用系統圖書、餐資料的鋪異地查戀詢發展趨歪勢：系核統具有白活動圖晴像和聲濕音查詢勤能力多媒體會宣議與協同潛工作直接利套用廣播衛電視的訊電視會艦議可視電悅話視聽會議設系統會議電視旨系統桌面會議富電視系統點播電負視VO杯D2方面渠：節目庫存代于電視中煩心用戶可搞以異地柴調用節婚目并能樹實現傳草統錄像依機功能VOD引春起了全世輛界的關注凍，但其實音現比較困搏難，出現類了各種不乞是真正意智義上的V送OD系統虜，稱其為隆準VOD脈系統(N脅-VOD垮)。簡化VO世D系統最稍昂貴的視柏頻服務器暗：不提供被錄像機式蘋的操作功速能將用戶相堪同點的請潤求合并節省線路爸改造費用蒜：上行通跡道是電話貍線，下行傲通道是寬城帶未來的異開放式蚊VOD泳系統，職應遵循晴以下原蛛則服務器的仔吞吐能力定能夠模塊鴉化地發展能夠從謝多種信猾源向系裙統輸入獄信號具備層次頑化存儲結章構與多媒葉體信息姜檢索和奮查詢業晝務融合對不同抗終端的栽兼容性1-7多媒體是技術在殘我國的哈發展我國多媒恒體技術和拜應用的發桿展起于2俘0世紀8終0年代末稅，大致分曾為以下幾獻個階段：(1)叨19涼89年掌開始，甘主要工邊作集中追在多媒頂體應用攔系統的邊開發上偷，從國鉗外引進值了一些欺類似于礙后來被陵稱作聲篩霸卡和遼視霸卡程的聲頻板卡和視凍頻卡，院在計算廉機上開攔發多媒多體的應撒用系統個。(2)隙人們開始孔注意創建偏自己的開功發平臺、滑著作工具嘗和編輯軟奸件等以提讀高開發應百用系統的貢效率和質罪量；有的危更進一步獄引入國外艱的器件和閉部分技術拍，開發聲就頻卡和視煉頻卡之類穩的硬件產茅品。除了床開發者自涂用之外，啟其中的某撫些產品還采被進一步磁產品化，槍作為正規應產品銷售鑄。(3)嗚從1損992荒年初開幸始，我沿國的多斑媒體研抽究逐漸朗升溫。雅人們除凝了看到艘種種應塞用實例挖而受到之啟發之筐外，也弊開始可喝以從市哥場上買胖到支持洞多媒體報板卡級奸產品，徒如聲霸伐卡和視筆霸卡。究人們發我現，板攔卡廠商笨所提供休的驅動謝程序和偉庫函數要之