人工智能通識教育模塊1初識人工智能目

錄模塊2人工智能支撐運作平臺模塊3人工智能關鍵技術模塊4人工智能應用（一）模塊5人工智能應用（二）模塊6人工智能前沿模塊7人工智能與社會模塊3結構：單元1自然語言處理技術單元2機器學習技術單元3深度學習技術單元4機器視覺與機器聽覺單元5跨媒體分析與推理技術單元6虛擬現實與增強現實技術

模塊3人工智能關鍵技術學習目標：了解人工智能的基本概念和發展歷程。理解人工智能的基本概念和原理。了解人工智能的關鍵技術。培養具有人工智能思維解決實際問題的能力

模塊3人工智能關鍵技術學習重點：理解自然語言處理的含義及常見應用；2.了解機器學習、深度學習之間的關系；3.理解機器視覺與機器聽覺的原理和應用場景；4.了解跨媒體（模態）技術應用；5.了解虛擬現實技術與增強現實技術的區別及應用。單元1自然語言處理技術模塊3人工智能關鍵技術3.1.1什么是自然語言處理自然語言處理是將人類交流溝通所用的語言經過處理轉化，成為機器所能理解的機器語言，是一種研究語言能力的模型和算法框架，是語言學和計算機科學的交叉學科。其研究可分為自然語言理解（讓機器讀懂我們日常的表達）和自然語言生成（讓機器生成我們所能懂的話）。單元1自然語言處理技術模塊3人工智能關鍵技術3.1.2自然語言處理的典型應用自然語言處理正在人們的日常生活中扮演著越來越重要的角色。機器翻譯是指利用計算機將一種自然語言轉換為另一種自然語言的過程，是自然語言處理的一個分支。聊天機器人是一個用來模擬人類對話或聊天的程序，它能夠與人類進行對話和交流。聊天機器人利用自然語言處理技術來理解人類的語言輸入，并生成相應的回復。單元1自然語言處理技術模塊3人工智能關鍵技術3.1.3自然語言處理的發展趨勢自然語言處理（NLP）技術的快速進步和應用擴展，預示著它在未來將繼續發揮重要作用。從更強大的預訓練模型到普及的個性化應用，NLP正在成為推動智能化和自動化發展的關鍵技術之一。自然語言處理的發展趨勢有以下幾個方面：1.更強大的預訓練模型2.多模態學習3.實時和高效的NLP4.個人化和情境感知5.普及和民主化單元2機器學習技術模塊3人工智能關鍵技術3.2.1監督學習的流程和框架監督并不是指人站在機器旁邊看機器做的對不對，而是上面的流程：選擇一個適合目標任務的數學模型、先把一部分已知的“問題和答案”（訓練集）給機器去學習、機器總結出了自己的“方法論”、人類把“新的問題”（測試集）給機器，讓他去解答。單元2機器學習技術模塊3人工智能關鍵技術3.2.2監督學習的案例隨著計算機技術的飛速發展，機器學習和人工智能領域取得了令人矚目的成就。其中，手寫數字識別技術作為一種重要的人工智能技術，已經廣泛應用于圖像處理、語音識別、自然語言處理等領域。而MNIST手寫數字識別是機器學習和深度學習領域中的一個經典問題，也是機器學習和人工智能領域的入門級問題之一。單元2機器學習技術模塊3人工智能關鍵技術3.2.3數據集與損失函數如何判斷所學的目標函數好還是不好呢?要回答這個問題，我們首先需要制定一個評價機制。簡單來說，根據數據給出的xi，yi的組合，我們希望所學的函數f盡可能滿足f（xi）=yi，或者至少f（xi）≈yi。根據這一原則，我們可以定義一個距離函數，用以表示f（X）和Y的距離有多遠。在機器學習領域，這樣的距離函數叫做損失函數（lossfunction）。單元2機器學習技術模塊3人工智能關鍵技術3.2.4無監督學習的主要任務無監督學習則不同。這里的數據沒有預先標注，換句話說，機器不知道哪些數據代表什么。它的任務是通過分析這些沒有標簽的數據，自己去發現其中的模式、結構或關系。我們可以把無監督學習比作一個偵探的任務。想象你是一個偵探，被放在一個陌生的城市，沒有任何提示。你要通過觀察這座城市的建筑、街道、居民活動等，去自己發現這座城市的規則和結構。比如，你可能會發現城市的不同區域有著不同風格的建筑，人們的衣著也有所不同，或者某些特定區域在特定時間會變得特別繁忙。這些發現都是基于你自己對環境的觀察，而沒有人告訴你哪里是商業區，哪里是住宅區。單元3深度學習技術模塊3人工智能關鍵技術3.3.1深度學習的發展歷程深度學習?是一種機器學習方法，它是機器學習領域中的一個重要分支，旨在讓機器能夠像人一樣思考和行動。深度學習的核心在于使用多層人工神經網絡（由算法建模而成，能夠像人的大腦一樣工作）來模擬人腦的學習過程，通過學習大量數據中的內在規律和表示層次，從而實現對圖像、語音、文本等復雜數據的處理和分析。模塊3人工智能關鍵技術單元3深度學習技術模塊3人工智能關鍵技術3.3.2深度學習的工作原理深度學習使用多層人工神經網絡，這是由輸入和輸出之間節點的幾個“隱藏層”組成的網絡。人工神經網絡通過將非線性函數應用于輸入值的加權求和，以此轉換輸入數據。該轉換稱為神經層，該函數則稱為神經元。層的中間輸出稱為特征，會用作下一層的輸入。神經網絡會通過重復轉換來學習多層非線性特征（比如邊緣和形狀），之后會在最后一層匯總這些特征以生成（對更復雜物體的）預測。

模塊3人工智能關鍵技術單元3深度學習技術模塊3人工智能關鍵技術3.3.3深度學習的關鍵—GPU先進的深度學習神經網絡可能有數百萬乃至十億以上的參數需要通過反向傳播進行調整。此外，它們需要大量的訓練數據才能實現較高的準確度，這意味著成千上萬乃至數百萬的輸入樣本必須同時進行向前和向后傳輸。由于神經網絡由大量相同的神經元構建而成，因此本質上具有高度并行性。這種并行性自然而然地映射到了GPU上，與只用CPU的訓練相比，計算速度大大提升，使其成為訓練大型復雜神經網絡系統的首選平臺。推理運算的并行性質也使其十分宜于在GPU上執行模塊3人工智能關鍵技術單元3深度學習技術模塊3人工智能關鍵技術3.3.4深度學習案例深度學習算法有許多不同的變體，比如以下幾種：只將信息從一層向前饋送至下一層的人工神經網絡稱為前饋人工神經網絡。多層感知器是一種前饋ANN，由至少三層節點組成：輸入層、隱藏層和輸出層。MLP擅長使用已標記的輸入進行分類預測。它們是可應用于各種場景的靈活網絡。卷積神經網絡是識別物體的圖像處理器。在某些情況下，CNN圖像識別表現優于人類，包括識別貓、血液中的癌癥跡象以及MRI掃描影像中的腫瘤。CNN已成為當今自動駕駛汽車的點睛之筆。在醫療健康方面，它們可以加快醫學成像發現疾病的速度，并且更快速地挽救生命。時間遞歸神經網絡是解析語言模式和序列數據的數學工具并為企業提供能夠實現聽力和語音的自然語言處理的大腦。RNN應用程序不僅限于自然語言處理和語音識別。其還可用于語言翻譯、股票預測和程序化交易。模塊3人工智能關鍵技術單元4機器視覺與機器聽覺模塊3人工智能關鍵技術3.4.1機器視覺計算機視覺是一個研究領域，旨在助力計算機使用復雜算法（可以是傳統算法，也可以是基于深度學習的算法等）來理解數字圖像和視頻并提取有用的信息。作為人工智能技術應用最廣泛的領域，視覺智能的核心是用“機器眼”來代替人眼，過去的計算機視覺還主要停留在圖像信息表達和物體識別階段，而現在進人人工智能階更強調推理、決策和應用。模塊3人工智能關鍵技術單元3深度學習技術模塊3人工智能關鍵技術3.4.2機器視覺的原理機器視覺是一種讓計算機“看見”并理解物體和環境的技術，其目的是通過圖像處理技術和模式識別算法來模擬人類的視覺功能。通俗地講，機器視覺就像是計算機的“眼睛”和“大腦”協同工作，以從圖像或視頻中提取有用的信息，來做出某種決定或操作。它的應用領域非常廣泛，包括工業自動化、智能家居、機器人導航、醫療影像處理等。模塊3人工智能關鍵技術單元3深度學習技術模塊3人工智能關鍵技術3.4.3機器聽覺語言是人與人之間交流的工具，也是人與機器之問交流的阻礙，人通過用外耳道收集外界的聲波，將其傳到鼓膜，引起了鼓膜的震動，再由聽小骨傳到內耳，刺激耳蝸內對聲波敏感的聽覺細胞，這些細胞就將聲音的信息通過聽覺神經在傳給大腦皮層的一定區域，這樣就產生了聽覺，人能夠聽到聲音了。那么能否讓人工智能充當人與人之間的翻譯，甚至讓人與機器流暢對話呢？答案是肯定的。語音識別，作為人機交互的第一人口，已讓這一夢想成為現實：可以與人對話的智能音箱，聽得懂指令的智能家居設備，能懂多國語言的智能翻譯，電話客服機器人…都已走進了我們的生活。模塊3人工智能關鍵技術單元3深度學習技術模塊3人工智能關鍵技術3.4.4語音識別技術的應用智能語音識別主要應用于以下三個領域，這也是語音識別商業化發展的主要方向。①語音輸入系統將語音識別成文字，提升用戶的效率，如微信語音轉換文字、訊飛輸入法等。②語音控制系統通過語音控制設備進行相關操作，徹底解放雙手，如智能音箱智能汽車系統（見圖3-22）等。③語音對話系統與語音輸入系統和語音控制系統相比，語音對話系統更為復雜代表著語音識別的未來方向。模塊3人工智能關鍵技術單元3深度學習技術模塊3人工智能關鍵技術3.4.5聲紋識別與語音識別相比，聲紋識別的最大特點在于智能系統不僅會捕捉語音內容，還會根據聲波特點、說話人的生理特征等參數，自動識別說話人的身份。因為每個人發出的聲紋圖譜會與其他人不同，聲紋識別正式通過比對說話人在相同音素上的發聲來判斷是否為同一個人，從而實現“聞聲識人”的功能。模塊3人工智能關鍵技術單元5跨媒體分析與推理技術模塊3人工智能關鍵技術3.5.1跨媒體分析與推理技術概述當前，以網絡數據為代表的跨媒體數據呈現爆炸式增長的趨勢，呈現出了跨模態、跨數據源的復雜關聯及動態演化特性，跨媒體分析與推理技術針對多模態信息理解、交互、內容管理等需求，通過構建跨模態、跨平臺的語義貫通與統一表征機制，進一步實現分析和推理以及對復雜認知目標的不斷逼近，建立語義層級的邏輯推理機制，最終實現跨媒體類人智能推理。模塊3人工智能關鍵技術單元5跨媒體分析與推理技術模塊3人工智能關鍵技術3.5.2跨媒體分析推理技術研究框架跨媒體信息包含不同的模態（Modality）信息，如圖像、視頻、文本、語音等。多模態深度學習（ModalityDeepLearning）通過深度學習實現對多個模態信息的統一表征、轉換及深層理解，是跨媒體分析推理任務涉及到的基礎技術。人工智能的目的是讓機器實現類人智能，因此讓機器具有像人一樣處理跨媒體信息的能力，是人工智能領域中重要的發展方向之一。其中，涉及到圖像、視頻和文本的圖文理解任務是跨媒體分析領域主要的研究方向，旨在用文字輔助對視覺內容的理解，或以視覺內容刻畫文字所表達的語義。模塊3人工智能關鍵技術單元5跨媒體分析與推理技術模塊3人工智能關鍵技術3.5.3圖文轉換圖文轉換也可以稱為圖文映射，負責將一個模態的信息轉換至另一模態，常見的應用包括圖像視頻概述（基于輸入圖像或視頻，輸出描述該視覺內容的文本）、文本生成圖像（基于文本內容生成對應語義的圖像）等。模塊3人工智能關鍵技術單元5跨媒體分析與推理技術模塊3人工智能關鍵技術3.5.4應用舉例人類在信息獲取、環境感知、知識學習與表達等方面都是采用多模態的輸人、輸出方式。例如，如果一個人要在一片草坪上找到一朵盛開的花朵，既可以用眼睛看，也可以用鼻子聞，還可以用手觸摸。這種跨媒體（多模態）的輸人、輸出方式也是人類智慧的重要體現之一。多模態AI則將視覺、語言、聽覺等多種信息進行融合，其優勢在于它能夠超越單模態數據的限制，并提供對復雜情況更全面的理解，為計算機提供更接近于人類感知的場景。模塊3人工智能關鍵技術單元5跨媒體分析與推理技術模塊3人工智能關鍵技術3.5.5跨模態檢索圖文匹配和檢索是多模態分析的基本任務，目標是學習一種多模態的相似性度量，對于給定的查詢詞，返回另一模態最相似的樣本，該任務可分為全局匹配與局部檢索兩大類。跨模態檢索任務的難點主要有不同模態特征具有異構性、底層內容和高層語義之間存在語義鴻溝、模態間信息不對齊等。模塊3人工智能關鍵技術單元5跨媒體分析與推理技術模塊3人工智能關鍵技術3.5.6基于知識圖譜的視覺問答系統視覺問答系統是讓計算機根據視覺信息回答用戶所提出的問題，是跨媒體內容服務的一種高級形式。不同于現有的搜索引擎，問答系統返回的不再是基于關鍵詞匹配的相關排序，而是精確的自然語言形式的答案信息。模塊3人工智能關鍵技術單元5跨媒體分析與推理技術模塊3人工智能關鍵技術3.5.7挑戰與展望1.主要挑戰雖然跨媒體分析推理目前已經取得了一定的進展，但仍存在一定的局限性：模型的處理準確率較低。雖然計算機視覺、自然語言處理和語音識別等領域的發展促進了跨媒體分析任務準確率的不斷提高，但距離實現高水平人工智能還有很大差距。模型的推理能力較弱。現有模型實現了多模態信息在同一語義空間的映射，但缺乏高層邏輯推理能力，無法實現對未知信息的預測。2.未來展望基于深度學習的跨媒體分析與推理技術雖然取得了一定的進展，但還未達到人類的預期水平，在未來還可從以下幾個方面對該任務進行深入探索：獲取跨媒體信息更全面的高維序列表征，對聲音、文本、圖像特征使用更合理的融合方式進行表征。進行模型與技術的創新，重點提升文本信息的語義準確性和視覺一致性，尤其是長視頻中多事件的順序、聯系，以進行更詳盡的表達。模塊3人工智能關鍵技術單元6虛擬現實與增強現實技術模塊3人工智能關鍵技術3.6.1VR、AR的定義虛擬現實（virtualreality，VR）技術是一種利用計算機技術模擬生成三維空間虛擬環境，并為用戶提供多種逼真的感官體驗（包括視覺、聽覺、觸覺等）的真實感模擬技術。虛擬現實技術作為仿真技術的一個重要分支，綜合了多種現代科學技術，包括計算機圖形學、互聯網技術、人機接口技術、多媒體技術等。增強現實（augmentedreality，AR）技術是一種實時地計算攝像機的位置及姿態并在攝像機捕捉到的真實場景的畫面上疊加相應虛擬信息的技術。它將虛擬信息（包括計算機生成的圖形、文字、聲音、動畫等）實時地疊加到由相機捕捉到的現實畫面之上，以達到對真實世界進行增強的目的。模塊3人工智能關鍵技術單元6虛擬現實與增強現實技術模塊3人工智能關鍵技術3.6.2VR與AR的發展簡史1.探索階段（20世紀30年代-60年代）2.萌芽階段（20世紀70年代-80年代）3.發展階段（20世紀90年代-21世紀初）4.成熟階段（21世紀初至今）模塊3人工智能關鍵技術單元6虛擬現實與增強現實技術模塊3人工智能關鍵技術3.6.3VR和AR的研究現狀虛擬現實技術仍然是目前的研究熱點，國內外高校和公司都在關注虛擬現實技術的發展。總體來說，美國、德國、日本等國家在虛擬現實技術方面發展較早，而我國在虛擬現實技術方面起步較晚，但發展很快，在某些領域，大有后來居上之勢，研究單位主要以北京航空航天大學、浙江大學、清華大學等院校為主。模塊3人工智能關鍵技術單元6虛擬現實與增強現實技術模塊3人工智能關鍵技術3.6.4VR與AR的聯系與區別虛擬現實與增強現實聯系十分緊密，存在諸多相似之處。均需繪制虛擬信息：均需用戶使用顯示設備：均需進行實時交互：雖然二者有著不可分割的聯系，但是虛擬現實與增強現實之間的區別也很明顯。對于沉浸感的要求不同：對系統算力和資源的需求不同：側重的應用領域不同：模塊3人工智能關鍵技術單元6虛擬