高職高專人工智能通識課規劃教材人工智能概論本章學習目標第7章自然語言處理【素養目標】通過學習自然語言處理，培養學生不怕困難、勇于攻關、自強不息的科學精神；通過學習百度、科大訊飛、搜狗等公司在機器翻譯、語音識別等領域的科技成果案例，培養學生愛國情懷，增強民族自信心、自豪感；通過學習自然語言處理系統的應用，培養學生追求真理，勇攀科學高峰的責任感和使命感。本章學習目標第7章自然語言處理【知識目標】了解自然語言處理的概念、發展歷程和應用；掌握自然語言處理的構成；熟悉自然語言處理的一般流程：語料獲取、語料預處理、特征工程、模型訓練和模型評價；熟悉自然語言理解的層次：語音分析、詞法分析、句法分析、語義分析和語用分析；了解機器翻譯的基本原理、方法及應用；了解語音識別的定義、發展歷程及應用；了解語音合成的概念及應用。本章學習目標第7章自然語言處理【能力目標】能夠針對自然語言處理具體應用功能，闡述其實現原理；能夠針對工作生活場景中的具體需求，提出自然語言處理技術解決思路；會使用百度在線翻譯、科大訊飛AI等工具。本章學習目標第7章自然語言處理【思維導圖】第七章自然語言處理高職高專人工智能通識課規劃教材7.1

自然語言處理概述7.2自然語言理解7.3機器翻譯7.4語音識別7.5語音合成7.6本章實訓7.7拓展知識7.1

自然語言處理概述第7章自然語言處理7.1.1自然語言處理的定義自然語言是指漢語、英語、法語等人們日常使用的語言，是自然而然地隨著人類社會發展演變而來的語言，是人類溝通和交流的重要工具，也是人類區別于其他動物的根本標志，沒有語言，人類的思維就無從談起。在整個人類發展歷史中，以語言文字形式記載和流傳的知識占到知識總量的80%以上。自然語言處理是指用計算機來處理、理解及運用人類語言（如中文、英文），其技術目標就是使機器（計算機）能夠“聽懂”人類的語言，并進行翻譯，實現人和機器的相互交流。用自然語言與計算機進行通信，這是人們長期以來所追求的目標。因為，這一目標既有明顯的實際意義，同時也有重要的理論意義：人們可以用自己最習慣的語言來使用計算機，而無須再花大量的時間和精力去學習不自然和不習慣的各種機器（計算機）語言；人們也可通過它進一步了解人類的語言能力和智能的機制。7.1

自然語言處理概述第7章自然語言處理7.1.1自然語言處理的定義自然語言處理是涉及計算機科學、人工智能和語言學的一門交叉學科，如圖所示，主要研究如何讓計算機能夠理解、處理、生成和模擬人類語言的能力，從而實現與人類進行自然對話的能力。通過自然語言處理技術，可以實現機器翻譯、問答系統、情感分析、文本摘要等多種應用。隨著深度學習技術的發展，人工神經網絡和其他機器學習方法已經在自然語言處理領域取得了重要的進展。自然語言處理的發展方向包括更深入的語義理解、更好的對話系統、更廣泛的跨語言處理和更強大的遷移學習技術。7.1

自然語言處理概述第7章自然語言處理7.1.2自然語言處理的發展歷程自然語言處理的發展經歷了三個階段：基于規則的階段、基于統計的階段和基于深度學習的階段。1.基于規則的階段最早的自然語言處理方面的研究工作是機器翻譯。1949年，美國的瓦倫·威弗（WarrenWeaver）首先提出了機器翻譯設計方案。1952年，第一次機器翻譯會議在美國麻省理工學院召開。1954年，第一次機器翻譯試驗取得了成功，并第一次向人們展示了機器翻譯的可行性，同時激發了政府資助機器翻譯的興趣。20世紀50年代—70年代，自然語言處理的研究主要采用基于規則的技術，研究人員認為自然語言處理的過程就是人類認知一門語言的過程。基于規則的技術利用人類的知識，不依賴數據，可以快速起步，但其具有不可避免的缺點：①

規則不可能覆蓋所有語句；②

對研究人員的要求較高，要求研究人員既要熟悉計算機，又要熟悉語言學，因此該階段雖然解決了一些簡單的問題，但無法從根本上解決實際問題并得到應用。7.1

自然語言處理概述第7章自然語言處理7.1.2自然語言處理的發展歷程2.基于統計的階段自20世紀70年代以來，隨著互聯網的快速發展及硬件的不斷完善，基于統計的方法代替了基于規則的方法。20世紀70年代，基于隱馬爾可夫模型（HiddenMarkovModel，HMM）的統計方法在語音識別領域獲得成功。20世紀80年代初，話語分析取得了重大進展。20世紀90年代以后，隨著計算機性能的不斷提升，語音和語言處理的商品化開發成為可能。網絡技術的發展和Internet的商業化，使信息檢索和信息抽取的需求變得更加迫切。基于統計、實例及規則的語料庫技術在該時期得到蓬勃發展，各種處理技術開始融合，自然語言處理的研究又開始興旺起來。在該階段，自然語言處理基于數學模型和統計的方法取得了實質性突破，從實驗室走向實際應用。7.1

自然語言處理概述第7章自然語言處理7.1.2自然語言處理的發展歷程3.基于深度學習的階段從2008年到現在，深度學習開始在語音識別和圖像識別領域發揮威力，自然語言處理研究者開始用深度學習的方法進行研究，在機器翻譯、閱讀理解、問答系統等領域取得了一定成功。深度學習是一個多層的神經網絡，從輸入層開始，經過逐層非線性的變化得到輸出。深度學習從輸入層到輸出層做端到端的訓練，準備輸入層到輸出層的數據，設計并訓練一個神經網絡，即可執行預想的任務。目前，循環神經網絡是自然語言處理最常用的方法之一。在深度學習時代，神經網絡能夠自動從數據中挖掘特征，人們得以從復雜的特征中脫離出來，專注于模型算法本身的創新及理論的突破，深度學習已經從一開始的機器翻譯領域，逐漸擴展到其他領域。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用自然語言處理在機器翻譯、垃圾郵件分類、信息抽取、文本情感分析、智能問答、個性化推薦等方面都有廣泛的應用。1.機器翻譯機器翻譯，又稱自動翻譯，是利用計算機將一種自然語言（源語言）轉換為另一種自然語言（目標語言）的過程。機器翻譯是計算語言學的一個分支，是人工智能的終極目標之一，具有重要的科學研究價值。機器翻譯是一門涉及計算語言學、人工智能和數理邏輯的交叉學科。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用1.機器翻譯目前，文本翻譯最為主流的工作方式依然是以傳統的機器翻譯和神經網絡翻譯為主。Google、Microsoft、百度、有道等公司都為用戶提供了免費的在線多語言翻譯系統。速度快、成本低是文本翻譯的主要特點，而且文本翻譯應用廣泛，不同行業都可以選用相應的專業的文本翻譯。但是，這一翻譯過程是機械的和僵硬的，在翻譯過程中會出現很多語義和語境上的問題，仍然需要人工翻譯來進行補充。用語法規則和詞匯對照表實現的俄語和英語互譯的機器翻譯系統笑話百出，曾把“心有余而力不足”（thespiritiswilingbutthefleshisweak）這句英文翻譯到俄語，然后再翻譯回英語的時候，卻變成了“伏特加不錯而肉都爛掉了”（thevodkaisgoodbutthemeatisroten）。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用1.機器翻譯語音翻譯可能是目前機器翻譯中比較富有創新意識的領域，目前百度、科大訊飛、搜狗等公司推出的機器同聲傳譯技術主要在會議場景出現，演講者的語音實時轉換成文本，并且進行同步翻譯，翻譯結果低延遲顯示。希望在將來，機器同聲傳譯技術能夠取代人工同聲傳譯，使人們以較低成本實現不同語言之間的有效交流。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用2.垃圾郵件分類當前，垃圾郵件過濾器已成為抵御垃圾郵件問題的第一道防線。判斷一封郵件是否是垃圾郵件，首先用到的方法是“關鍵詞過濾”，如果郵件存在常見的垃圾郵件關鍵詞，就判定為垃圾郵件。但這種方法的效果很不理想，首先是正常郵件中也可能有這些關鍵詞，因此非常容易產生誤判；其次是垃圾郵件也會進化，通過將關鍵詞進行變形，很容易規避關鍵詞過濾。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用2.垃圾郵件分類自然語言處理通過分析郵件中的文本內容，能夠相對準確地判斷郵件是否為垃圾郵件。目前，貝葉斯(Bayesian)垃圾郵件過濾是備受關注的技術之一，該技術通過學習大量的垃圾郵件和非垃圾郵件，收集郵件中的特征詞，生成垃圾詞庫和非垃圾詞庫，然后根據這些詞庫的統計頻數計算郵件屬于垃圾郵件的概率，以此來進行垃圾郵件的判定。P(A|B)是已知B發生后A的條件概率7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用3.信息抽取信息抽取(InformationExtraction，IE)是把文本里包含的信息進行結構化處理，變成表格一樣的組織形式。信息抽取系統輸入的是原始文本，輸出的是固定格式的信息點。信息點從各種各樣的文檔中被抽取出來，然后以統一的形式集成在一起，這就是信息抽取的主要任務。信息以統一的形式集成在一起的好處是方便檢查和比較。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用3.信息抽取互聯網是一個特殊的文檔庫，同一主題的信息通常被分別存放在不同的網站上，表現的形式也各不相同。利用信息抽取技術，可以從大量的文檔中抽取需要的特定信息，并采用結構化形式儲存。優秀的信息抽取系統將把互聯網變成巨大的數據庫。例如，在金融市場上，許多重要決策正逐漸脫離人類的監督和控制，基于算法的交易變得越來越流行，這是一種完全由技術控制的金融投資形式。由于很多決策都受到公告的影響，因此需要用自然語言處理技術來獲取這些明文公告，并以一種可被納入算法交易決策的格式提取相關信息。例如，公司之間合并的消息可能會對交易決策產生重大影響，將合并細節（包括參與者、收購價格）納入交易算法中，可以給決策者帶來巨大的利潤影響。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用4.文本情感分析文本情感分析又稱意見挖掘、傾向性分析等。簡單而言，文本情感分析是對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程。互聯網(如博客和論壇以及社會服務網絡，如大眾點評)上產生了大量的用戶參與的，對于諸如人物、事件、產品等有價值的評論信息。這些評論信息表達了人們的各種情感色彩和情感傾向性，如喜、怒、哀、樂，或批評、贊揚等。基于這些因素，網絡管理員可以通過瀏覽這些主觀色彩的評論來了解大眾輿論對于某一事件的看法；企業可以分析消費者對產品的反饋信息，或者檢測在線評論中的差評信息等。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用5.智能問答隨著互聯網的快速發展，網絡信息量不斷增加，人們需要獲取更加精確的信息。傳統的搜索引擎技術已經不能滿足人們越來越高的需求，而智能問答技術已經成為了解決這一問題的有效手段。智能問答系統以一問一答形式，精確地定位網站用戶提問時所需要的知識，通過與網站用戶進行交互，為網站用戶提供個性化的信息服務。智能問答系統在回答用戶問題時，首先要正確理解用戶所提出的問題，抽取其中的關鍵信息，在已有的語料庫或者知識庫中進行檢索、匹配，將獲取的答案反饋給用戶。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用5.智能問答智能問答過程涉及詞法、句法、語義分析的基礎技術，以及信息檢索、知識工程、文本生成等多項技術。根據目標數據源的不同，問答技術大致可以分為檢索式問答、社區問答及知識庫問答三種。檢索式問答和社區問答的核心是淺層語義分析和關鍵詞匹配，而知識庫問答則正在逐步實現知識的深層邏輯推理。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用6.個性化推薦個性化推薦是指根據用戶的興趣特點和購買行為，向用戶推薦用戶感興趣的信息和商品。個性化推薦的應用領域較為廣泛，如今日頭條的新聞推薦、購物平臺的商品推薦、直播平臺的主播推薦、知乎平臺上的話題推薦等。在電子商務方面，個性化推薦系統首先依據大數據和歷史行為記錄，提取用戶的興趣愛好，預測用戶對給定物品的評分或偏好，實現對用戶意圖的精準理解，同時對語言進行匹配計算，實現精準匹配。然后，個性化推薦系統利用電子商務網站，向用戶提供商品信息和建議，幫助用戶決定應該購買什么產品，模擬銷售人員幫助用戶完成購買過程。在新聞服務領域，通過用戶閱讀的內容、時長、評論等偏好，以及用戶所使用的社交網絡，甚至移動設備型號等，對用戶所關注的信息源及核心詞匯進行專業的細化分析，以進行新聞推送，實現新聞的個人定制服務，最終提升用戶黏性。7.1

自然語言處理概述第7章自然語言處理7.1.3自然語言處理的應用6.個性化推薦個性化推薦是根據用戶的興趣特點和購買行為，向用戶推薦用戶感興趣的信息和商品。7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程計算機處理自然語言的一般流程可以分為：語料獲取、語料預處理、特征工程、模型訓練和模型評價。語料預處理數據集模型訓練模型評價特征工程語料獲取數據補充特征挖掘參數調優7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程計算機處理自然語言的一般流程可以分為：語料獲取、語料預處理、特征工程、模型訓練和模型評價。1.語料獲取語料，即語言材料。語料是語言學研究的內容，是構成語料庫的基本單元。所以，人們簡單地用文本作為語料的替代品，并把文本中的上下文關系作為現實世界中語言的上下文關系的替代品。一個文本集合稱為語料庫(Corpus)，多個文本集合稱為語料庫集合(Corpora)。按語料來源，可以將語料分為以下兩種。(1)已有語料。很多業務部門、公司等組織隨著業務發展，都會積累大量的紙質或者電子文本資料。在條件允許的情況下，對這些資料稍加整合，把紙質的文本全部電子化就可以作為語料庫了。(2)網上下載、抓取語料。在缺乏相關數據時，可以選擇獲取國內外標準開放數據集，如國內的中文漢語數據集（搜狗語料、人民日報語料等）；也可以借助爬蟲工具，從網上抓取特定數據，以準備模型訓練。7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程2.語料預處理語料預處理即對輸入的語料進行預處理。在一個完整的中文自然語言處理工程應用中，語料預處理通常會占到整個工作量的50%—70%，所以開發人員的大部分時間就在進行語料預處理。語料預處理主要包括以下4個步驟。(1)語料清洗，即保留有用的數據，刪除噪聲數據。對于原始文本提取標題、摘要、正文等信息，對于爬取的網頁內容，去除廣告、標簽、HTML、JS等代碼和注釋等。常見的清洗方式有人工去重、對齊（按照相同的格式、順序和維度對齊）、刪除、標注等。(2)分詞，即將文本切分成詞語，如通過基于字符串匹配的分詞方法、基于理解的分詞方法、基于規則的分詞方法、基于統計的分詞方法進行分詞。當前中文分詞算法的主要難點有歧義識別和新詞識別，如“羽毛球拍賣完了”，這句話可以被切分成“羽毛/球拍/賣/完/了”，也可以被切分成“羽毛球/拍賣/完/了”，如果不依賴上下文中的其他句子，恐怕很難知道如何去理解。7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程2.語料預處理(3)詞性標注，即給每個詞或者詞語標上詞性標簽，如名詞、動詞、形容詞等。這樣做可以讓文本在后面的處理過程中融入更多有用的語言信息。常用的詞性標注方法有基于規則的方法、基于統計的方法，如基于最大熵的詞性標注、基于統計最大概率輸出詞性標注和基于HMM的詞性標注。(4)去停用詞，即去掉對文本特征沒有任何貢獻作用的符號、字和詞語，如標點符號、語氣詞、人稱代詞、助詞等。在一般性的文本處理中，分詞之后就是去停用詞。但是對于中文來講，去停用詞操作不是一成不變的，停用詞詞典是根據具體場景來決定的。例如，在情感分析中，語氣詞、感嘆號等是應該保留的，因為這些對表示語氣程度、感情色彩有一定的貢獻和意義。7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程3.特征工程做完語料預處理之后，接下來需要考慮如何把分詞之后的字和詞語表示成為計算機能夠計算的類型。顯然，如果需要計算，則至少需要把中文分詞的字符串轉換為數字，確切地講就是數學中的向量。詞袋模型和詞向量是兩種常用的表示模型。(1)詞袋模型。詞袋模型(BagOfWord，BOW)，即不考慮詞語原本在句子中的順序，直接將每一個詞語或者符號統一放置在一個集合（如list）中，然后按照計數的方式對詞語出現的次數進行統計。統計詞頻只是最基本的方式，詞頻-逆向文件頻率(TermFrequency-InverseDocumentFrequency，TF-IDF)是詞袋模型的一個經典用法。7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程

7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程3.特征工程如果在同一份文件中，“是”這個詞出現了10次，那么“是”的詞頻為10/100＝0.1。如果只考慮詞頻這一個參數，那么“是”這個詞語在這份文件中明顯比“奶牛”這個詞語更重要。但是還需要考慮逆向文件頻率，假設“是”這個詞語在全部的10000000份文件中都出現過了，那么“是”這個詞語的逆向文件頻率為lg(10000000/10000000)＝0，則“是”這個詞語的TF-IDF值為0.1×0＝0，遠不及“奶牛”這個詞語重要。對于這份文件，“奶牛”這個詞語比出現更多次的“是”這個詞語更重要。諸如此類，出現很多次，但實際上并不包含文件特征信息的詞語還有很多，比如“這”“也”“就”“的”“了”等。7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程3.特征工程(2)詞向量。詞向量是將字、詞語轉換成向量矩陣的計算模型。目前常用的詞向量技術是獨熱編碼（One-HotEncoding），這種技術把每一個字或詞語表示為一個很長的向量。這個向量的維度是詞表大小，其中絕大多數元素為0，只有一個維度的值為1，這個維度就代表了當前的字或詞語。假設只分析“我和你”這個句子，共有“我”“和”“你”3個字（詞語），現在將“我”“和”“你”這3個字（詞語）分別對應x、y、z軸，則“我”可以向量化為[1,0,0]，“和”可以向量化為[0,1,0]，“你”可以向量化為[0,0,1]。這3個詞向量都是正交的，可以理解為3個字（詞語）之間沒有關系。但是根據人們對語言的理解，“你”與“我”這兩個字（詞語）應該還是有關系的，比如它們都是人稱。目前的獨熱編碼顯然無法解決此類詞義關聯的問題。7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程4.模型訓練選擇好特征后，接下來要做的事情就是模型訓練。對于不同的應用需求，可選擇不同的模型，傳統的方法是監督機器學習模型和無監督機器學習模型，如KNN、SVM、決策樹、k-means等模型，深度學習模型有CNN、RNN、LSTM、TextCNN等。選擇好模型后，就要進行模型訓練，其中包括參數的微調等。在模型訓練的過程中有可能出現模型在訓練集中表現很好，但在測試集中表現很差的問題（過擬合）。7.1

自然語言處理概述第7章自然語言處理7.1.4自然語言處理的一般流程5.模型評價模型訓練好后，在上線使用之前要對模型進行必要的評價，目的是讓模型對語料具備較好的泛化能力。對于二分類問題，根據真實類別與學習器預測類別的組合，可把樣例劃分為真正例(TruePositive，TP)、假正例(FalsePositive，FP)、真反例(TrueNegative，TN)、假反例(FalseNegative，FN)四種情形，令TP、FP、TN、FN分別表示其對應的樣例數，顯然TP＋FP＋TN＋FN＝樣例總數。分類結果的“混淆矩陣”(ConfusionMatrix)如下表所示。真實情況預測結果正例反例正例TP(真正例)FN(假反例)反例FP(假正例)TN(真反例)7.1自然語言處理概述第7章自然語言處理7.1.5自然語言處理的構成依據自然語言是處理系統的輸入還是輸出，自然語言處理完成的功能也有所不同，因此，可以將自然語言處理技術劃分自然語言理解技術(NaturalLanguageUnderstanding，NLU)和自然語言生成技術(NaturalLanguageGeneration，NLG)，如下圖所示。7.1自然語言處理概述第7章自然語言處理7.1.5自然語言處理的構成自然語言理解技術使計算機能夠理解自然語言，也就是輸入是自然語言，輸出是計算機內部表示的語意。自然語言理解又包括詞法、語法、語義、語用等內容。而自然語言生成技術則使計算機能夠生成自然語言，即輸入是計算機內部表示的語意，輸出是自然語言。無論是輸入還是輸出，自然語言的表示可使用文本或語音這兩種形式。自然語言處理在解決具體問題時，通常既需要自然語言理解技術，也需要自然語言生成技術。例如，常見的語音助手、智能音箱等產品，為了支持用戶使用自然語言(語音)調用機器的各種功能，產品不僅需要理解用戶在說什么，而且還需要做出特定的動作以滿足用戶的需求，如回答“您要找的資料在這個列表中”。在理解用戶話語和意圖時，機器需要使用自然語言理解技術；在以文本或語言的形式回應用戶時，機器需要使用自然語言生成技術。第七章自然語言處理7.1自然語言處理概述7.2自然語言理解高職高專人工智能通識課規劃教材7.3機器翻譯7.4語音識別7.5語音合成7.6本章實訓7.7拓展知識7.2自然語言理解第7章自然語言處理7.2.1自然語言理解的難點比爾·蓋茨認為“自然語言理解是人工智能皇冠上的明珠”。對自然語言的準確理解是很困難的，造成困難的根本原因是自然語言的文本和對話中廣泛存在的歧義性（或多義性）。而消除歧義需要大量的知識，包括語言學知識（如詞法、句法、語義、語用等）和世界知識（與語言無關）。將這些知識較完整地加以收集和整理，再找到合適的形式，將它們存入計算機系統中，以及有效地利用它們來消除歧義……這些都是工作量極大且十分困難的工作。這不是少數人短時期內就可以完成的，還有待長期的、系統的工作。一個中文文本或一個漢字串(含標點符號等)可能有多個含義，它是自然語言理解中的主要困難和障礙。反過來，一個相同或相近的意義同樣可以用多個中文文本或多個漢字串來表示。因此，自然語言的形式(字符串)與其意義之間是一種多對多的關系，這也正是自然語言的魅力所在。但從計算機處理的角度看，必須消除歧義，即要把帶有潛在歧義的自然語言輸入并轉換成某種無歧義的計算機內部表示，這正是自然語言理解中的中心問題。7.2自然語言理解第7章自然語言處理7.2.1自然語言理解的難點自然語言中有很多含糊的詞句，比如“開刀的是他父親”，有“接受開刀的是他父親”和“主持開刀的是他父親”兩種理解，這是由語義不明確造成的歧義，通常需要在上下文中提供更多的相關知識，才能消除歧義。消除歧義是目前自然語言處理面臨的最大困難，它的根源是人類語言的復雜性和語言描述的外部世界的復雜性。人類語言承擔著人類表達情感、交流思想、傳播知識等重要功能，因此需要具備強大的靈活性和表達能力，而理解語言所需要的知識又是無止境的。自然語言理解一直是一個深奧的課題。雖然語言只是人工智能的一部分(人工智能還包括計算機視覺等)，但它非常獨特。目前，有許多生物擁有超過人類的視覺系統，但只有人類才擁有高級語言。完全理解和表達語言是極其困難的，完美的語言理解等價于實現人工智能。7.2自然語言理解第7章自然語言處理7.2.2自然語言理解的層次自然語言的理解是層次化的過程，許多語言學家把這一過程分為5個層次以更好地體現語言本身的構成。這5個層次分別是語音分析、詞法分析、句法分析、語義分析和語用分析，如下圖所示。7.2自然語言理解第7章自然語言處理7.2.2自然語言理解的層次1.語音分析在有聲語言中，最小的、可獨立的聲音單元是音素。音素是一個或一組音。音素分為元音與輔音兩大類。音節在語音學上是指由一個或數個音素組成的語音結構基本單位。如漢語音節啊（ā）只有一個音素，愛（ài）有兩個音素，代（dài）有三個音素等。語音分析就是要根據音位規則，從語音流中區分出一個個獨立的音素，再根據音位形態規則查找出音節及其對應的詞素或詞，進而由詞到句，識別出一句話的完整信息，然后再將其轉換為文字。因此，語音分析是自然語言理解的核心。7.2自然語言理解第7章自然語言處理7.2.2自然語言理解的層次2.詞法分析詞法分析是找出詞匯的各個詞素，從中獲得語言學的信息。詞法分析的性能直接影響句法分析和語義分析的成果。詞語是漢語中能夠獨立的最小語言單位，但是不同于英語，漢語的書面語中并沒有將單個的詞語用空格符號隔開，因此漢語的自然語言理解的第一步便是從句子中切分出單詞（詞語）。正確的分詞取決于對文本語義的正確理解，而分詞又是理解語言的第一道工序。這樣的一個“雞生蛋，蛋生雞”的問題自然成為漢語的自然語言理解的第一個攔路虎。7.2自然語言理解第7章自然語言處理7.2.2自然語言理解的層次2.詞法分析例如，“臺州市長潭水庫”這一短語進行分詞后可能會得到“臺州市/長潭水庫”和“臺州市長/潭水庫”兩種不同的結果，不同的分詞方法將導致短語有不同的含義。如果不依賴上下文中其他的句子，很難理解該短語的含義。分詞后需要對詞語進行詞性標注。詞性標注是指為給定句子中的每個詞語賦予正確的詞法標記。給定一個分詞后的句子，詞性標注的目的是為句子中的每一個詞語賦予一個類別，這個類別稱為詞性標記，例如名詞(Noun)、動詞(Verb)、形容詞(Adjective)等。例如，對語句“就讀清華大學”進行分詞，得到“就讀”和“清華大學”這兩個詞語，通過詞性標注模塊處理，可以得到詞語“就讀”的詞性標記為動詞，得到詞語“清華大學”的詞性標記為專有名詞。7.2自然語言理解第7章自然語言處理7.2.2自然語言理解的層次3.句法分析句法分析是對句子和短語的結構進行分析，目的是找出詞語、短語等的相互關系及各自在句中的作用。舉例如下。“反對/的/是/少數人”可能存在歧義，即到底是少數人提出反對，還是少數人被反對。“咬死了/獵人/的/狗”可能存在歧義,即到底是咬死了屬于獵人的一只狗,還是一只咬死了獵人的狗。7.2自然語言理解第7章自然語言處理7.2.2自然語言理解的層次4.語義分析語義分析是找出詞義、結構意義及其結合意義，從而確定語言所表達的真正含義或概念。例如“你約我吃飯”和“我約你吃飯”雖然字完全相同，但意思是完全不同的，這叫做語義分析。語義分析是一個非常困難的研究領域，近幾年有很大進展。7.2自然語言理解第7章自然語言處理7.2.2自然語言理解的層次5.語用分析語用分析主要研究語言所存在的外界環境對語言使用者所產生的影響。例如，“我要一個冰淇淋”，語義上似乎明確，但其在不同的上下文中會有不同的含義。如果是一個小孩子和媽媽說要吃一個冰淇淋，這叫請求；如果是顧客到店里，這可能是一個交易行為的發起。所以，語義上似乎明確的一句話，在不同的上下文中也可能會有不同的含義。第七章自然語言處理高職高專人工智能通識課規劃教材7.1自然語言處理概述7.3機器翻譯7.2自然語言理解7.4語音識別7.5語音合成7.6本章實訓7.7拓展知識7.3機器翻譯第7章自然語言處理什么是機器翻譯機器翻譯，又稱自動翻譯，是利用計算機把一種語言翻譯成另外一種語言的過程。源語言用Source標記，目標語言用Target標記，把中文翻譯成英文的例子如圖所示。機器翻譯任務就是把源語言的句子翻譯成目標語言的句子。機器翻譯是人工智能的終極目標之一。7.3機器翻譯第7章自然語言處理7.3.1機器翻譯的基本原理機器翻譯時，需要解決如下兩個問題。（1）譯文選擇。在翻譯一個句子時，會面臨很多選詞的問題，因為語言中一詞多義的現象比較普遍。例如，下圖中，源語言句子中的“看”，可以翻譯成look、watch、read和see等詞，如果不考慮后面的賓語“書”，那么這幾個譯詞都是可以使用的。在這個句子中，只有機器翻譯系統知道“看”的賓語“書”，才能做出正確的譯文選擇，把“看(書)”翻譯為read(readabook)。（2）譯文順序的調整。由于文化習慣及語言發展上的差異，不同語言在表述時，詞語的排列順序是不一樣的。下圖中，中文“在周日”放在句子前面，而“onSunday”這樣的時間狀語在英語中經常被放在句子后面。7.3機器翻譯第7章自然語言處理7.3.2機器翻譯的方法機器翻譯的方法主要有基于規則的翻譯方法、基于統計的翻譯方法和基于神經網絡的翻譯方法等三種。1.基于規則的翻譯方法基于規則的翻譯方法的翻譯知識來自人類專家。人類語言學家撰寫翻譯規則，如將一個詞語翻譯成另外一個詞語、詞語在句子中出現在什么位置等，都用規則表示出來。這種方法的優點是直接使用語言學專家知識，準確率較高。缺點是成本較高。例如，要開發中文和英文的翻譯系統，則需要同時會中文和英文的語言學家進行技術支持。而若要開發另外一種語言的翻譯系統，就需要會另外一種語言的語言學家進行技術支持。因此，基于規則的翻譯系統開發周期長，且開發成本高。7.3機器翻譯第7章自然語言處理7.3.2機器翻譯的方法1.基于規則的翻譯方法此外，該系統還面臨規則沖突的問題。隨著規則數量的增多，規則之間互相制約并互相影響。有時，為了解決一個問題而寫的一個規則，可能會給其他句子的翻譯帶來一系列問題。而為了解決這一系列問題，不得不引入更多的規則，從而形成惡性循環。7.3機器翻譯第7章自然語言處理7.3.2機器翻譯的方法2.基于統計的翻譯方法基于統計的翻譯方法需要使用語料庫，其翻譯知識來自大數據的自動訓練。翻譯知識主要來自兩類訓練數據：①

平行語料，也稱雙語語料，例如，一句中文對應一句英文，并且中文和英文是互為對應關系的；②

單語語料，如只有英文，沒有中文。7.3機器翻譯第7章自然語言處理7.3.2機器翻譯的方法2.基于統計的翻譯方法翻譯模型從平行語料中能學到類似詞典的一個表，一般稱為“短語表”。例如，“在周日”可以翻譯成“onSunday”。“短語表”中還有一個概率值，用來衡量兩個詞語或短語對應的可能性。這樣，“短語表”就建立起兩種語言之間的橋梁關系。7.3機器翻譯第7章自然語言處理7.3.2機器翻譯的方法2.基于統計的翻譯方法單語語料也可用來訓練語言模型。語言模型用來衡量一個句子在目標語言中是不是地道，是不是流利。例如，“readabook”這個表述是沒有問題的，“reada”后面跟一個“book”這個詞的概率可能是0.5，而“readaTV”的概率就很低，只有0.001，因為這不符合目標語言的語法。所以，翻譯模型建立起兩種語言的橋梁，語言模型是衡量一個句子在目標語言中是不是流利和地道。這兩種模型結合起來，加上其他的一些特征，形成了一個基于統計的翻譯方法。7.3機器翻譯第7章自然語言處理7.3.2機器翻譯的方法3.基于神經網絡的翻譯方法基于神經網絡的翻譯近年來迅速崛起。相比于基于統計的翻譯，基于神經網絡的翻譯從模型上來講相對簡單，它主要包含兩個部分：一個部分是編碼器，另一個部分是解碼器。編碼器負責把源語言經過一系列的神經網絡的變換后，表示為一個高維向量。解碼器負責把這個高維向量再重新解碼（翻譯）為目標語言，如圖所示。7.3機器翻譯第7章自然語言處理7.3.2機器翻譯的方法3.基于神經網絡的翻譯方法隨著深度學習技術的發展，基于神經網絡的翻譯方法自2014年逐漸興起。2015年，百度公司發布了全球首個互聯網神經網絡翻譯系統。短短3、4年的時間，基于神經網絡的翻譯方法在大部分的語言翻譯方面已經超越了基于統計的翻譯方法。目前，評價機器翻譯的譯文質量主要有兩種方式。第一種方式是人工評價。中國近代啟蒙思想家、翻譯家嚴復提出了翻譯的三原則：信、達、雅。“信”是指譯文意思不悖原文，即譯文要準確，不偏離，不遺漏，也不要隨意增減意思；“達”是指不拘泥于原文形式，譯文要通暢明白；“雅”則指翻譯時選用的詞語要得體，追求文章本身的古雅，內容要簡明優雅。目前，機器翻譯水平還遠沒有達到可以用“雅”來衡量的狀態。第二種方式是自動評價。自動評價能夠快速地反映出機器翻譯質量的好壞，相比人工評價而言，自動評價的成本更低、效率更高。7.3機器翻譯第7章自然語言處理7.3.3機器翻譯的應用1.翻譯機從出國旅行，到國際文化交流，再到對外貿易，語言障礙是一個天然的痛點。因此，許多商家，如百度、科大訊飛等公司，結合文字識別技術和語音識別技術，推出了具有豐富實用功能的翻譯機產品，如圖所示。該類產品可以實時地通過攝像頭的取景框來采集外文景點指示牌、菜單、說明書和實物等，并進行翻譯；再結合語音技術的會話翻譯，可以幫助用戶實現不同語種的無障礙交流。7.3機器翻譯第7章自然語言處理7.3.3機器翻譯的應用2.語音同傳技術同聲傳譯廣泛應用于國際會議等多語言交流的場景。搜狗等公司推出的語音同傳技術，可以將演講者的語音實時轉換成文本，并能進行同步翻譯，低延遲顯示翻譯結果，有望能夠取代門檻較高的人工同傳，實現不同語言間低成本的有效交流。7.3機器翻譯第7章自然語言處理7.3.3機器翻譯的應用3.跨語言檢索目前，中文信息只占世界信息總量的10％。面對逐年增加的跨語言檢索需求，搜狗公司推出了海外搜索系統，該系統將機器翻譯和信息檢索技術進行了結合，不論用戶輸入中文還是英文，系統都會從海量優質的英文網頁中搜索出用戶需要的結果，并應用國際領先的機器翻譯技術，自動對其進行翻譯，為用戶提供原文、翻譯、雙語這3個頁面的搜索結果。7.3機器翻譯第7章自然語言處理7.3.3機器翻譯的應用4.助力翻譯行業升級機器翻譯加后期編輯是機器翻譯和傳統人工翻譯相結合的產物。顧名思義，后期編輯是在機器翻譯完之后，翻譯人員對文本進行編輯，以提高翻譯的準確性、清晰度和流暢性，即由人工編輯將翻譯的精細度提升至機器所不能達到的高度。機器翻譯和傳統翻譯行業相結合，可以利用機器翻譯提高傳統翻譯行業的效率，提升商業價值。第七章自然語言處理高職高專人工智能通識課規劃教材7.1自然語言處理概述7.4語音識別7.3機器翻譯7.2自然語言理解7.5語音合成7.6本章實訓7.7拓展知識7.4語音識別第7章自然語言處理7.4.1語音識別的定義語音識別，通常被稱為自動語音識別(AutomaticSpeechRecognition，ASR)，主要是將人類語音中的詞匯內容轉換為計算機可讀的輸入，一般為可以編輯的文本內容或者字符序列。語音識別就好比機器的聽覺系統，它使機器通過識別和理解，將語音信號轉換為相應的文本或命令。目前，語音識別系統主要包括孤立語音識別系統和連續語音識別系統，特定人語音識別系統和非特定人語音識別系統，大詞匯量語音識別系統和小詞匯量語音識別系統，以及嵌入式語音識別系統和服務器模式語音識別系統。7.4語音識別第7章自然語言處理7.4.1語音識別的定義自然語言只是在句尾或者文字需要加標點的地方有間斷，其他部分都是連續的發音。以前的語音識別系統主要是以單字或單詞為單位的孤立語音識別系統。近年來，連續語音識別系統已經漸漸成為主流。根據聲學模型建立的方式，特定人語音識別系統在前期需要大量的用戶發音數據來訓練模型。非特定人語音識別系統則在系統構建成功后，不需要事先進行大量語音數據訓練就可以使用。在語音識別技術的發展過程中，詞匯量是不斷積累的，隨著詞匯量的增大，對系統的穩定性要求也越來越高，系統的成本也越來越高。例如，一個識別電話號碼的系統只需要聽懂10個數字就可以了，一個訂票系統就需要能識別各個地名，而識別一篇報道稿就需要一個擁有大量詞匯的語音識別系統。7.4語音識別第7章自然語言處理7.4.1語音識別的定義語音識別是一項融合多學科知識的前沿技術，覆蓋了數學、統計學、聲學、語言學、模式識別理論以及神經生物學等學科。自2009年深度學習技術興起之后，語言識別技術的發展已經取得了長足進步。語音識別的精度和速度取決于實際應用環境，在安靜環境、標準口音、常見詞匯場景下的語音識別準確率已經超過97％，具備了與人類相仿的語言識別能力。7.4語音識別第7章自然語言處理7.4.2語音識別的發展歷程20世紀50年代，語音識別的研究工作開始。1952年，貝爾實驗室研發出了世界上第一個能識別10個英文數字發音的實驗系統。此時，語音識別的重點是探索和研究聲學和語音學的基本概念及原理。20世紀60年代開始，卡耐基梅隆大學的雷伊·雷蒂(RajReddy)等人開展了連續語音識別的研究，但是進展很緩慢。1969年，貝爾實驗室的約翰·皮爾斯(JohnPierce)甚至在一封公開信中，將語音識別比作近幾年不可能實現的事情。7.4語音識別第7章自然語言處理7.4.2語音識別的發展歷程20世紀80年代開始，以隱馬爾可夫模型的統計方法為代表的基于統計模型的方法逐漸在語音識別研究中占據了主導地位。該方法能夠很好地描述語音信號的短時平穩特性，并能將聲學、語言學、句法等知識集成到同一框架中。此后，該方法的研究和應用逐漸成為主流。第一個“非特定人連續語音識別系統”是當時還在卡耐基梅隆大學讀書的李開復研發的SPHINX系統。到20世紀80年代后期，人工神經網絡也成為語音識別研究的一個方向。但這種淺層神經網絡在語音識別任務上的效果一般，表現并不如隱馬爾可夫模型。7.4語音識別第7章自然語言處理7.4.2語音識別的發展歷程20世紀90年代開始，語音識別掀起了第一次研究和產業應用的小高潮。該時期，劍橋大學發布的隱馬爾可夫開源工具包大幅度降低了語音識別研究的門檻。在此后將近10年的時間中，語音識別的研究進展一直比較有限，基于隱馬爾可夫模型的語音識別系統的整體效果還遠遠達不到實用水平，語音識別的研究和應用陷入了瓶頸。7.4語音識別第7章自然語言處理7.4.2語音識別的發展歷程2006年，杰弗里·辛頓提出了深度置信網絡，它解決了深度神經網絡訓練過程中容易陷入局部最優解的問題，深度學習的大潮自此正式拉開。2009年，杰弗里·辛頓和他的學生將深度置信網絡應用在語音識別聲學建模中，并且在小詞匯量連續語音識別數據庫中獲得了成功。2011年，深度神經網絡在大詞匯量連續語音識別上獲得成功，取得了近10年來最大的突破。從此，基于深度神經網絡的建模方式正式取代隱馬爾可夫模型，成為主流的語音識別模型。7.4語音識別第7章自然語言處理7.4.3語音識別系統語音識別其實是一個模式識別匹配的過程，就像人們聽語音時并不會把語音和語言的語法結構、語義結構分離開來。語音識別系統一般可以分為前端處理和后端處理兩部分，如圖所示。前端包括語音輸入、預處理、特征提取。前端的作用是對輸入的語音信號進行濾波，刪掉非語音聲音，降低噪聲并進行特征提取。7.4語音識別第7章自然語言處理7.4.3語音識別系統后端包括：聲學模型、語音模型、字典和模板庫。聲學模型通過訓練來識別特定人的語音模型和發音環境特征；負責將輸入的音頻信號（如人的語音）轉換為可能的音素或詞素序列。語音模型涉及中文信息處理的問題，在處理過程中要給語料庫單詞的規則化建一個概率模型；描述了語言中的詞或詞素序列的概率分布。字典則列出了大量的單詞和發音規則。模板庫是語音模板的集合。可以是已知的短語、命令或關鍵詞的音頻樣本。通常用于快速響應特定的命令或請求，例如智能家居系統中的“打開燈”或“播放音樂”。后端的作用是對前端進行預處理和對特征提取后的信號進行模式識別。7.4語音識別第7章自然語言處理7.4.3語音識別系統語音識別的過程如下。首先，語音通過送話器將語音信號轉換成電脈沖信號，并輸入語音識別系統，語音識別系統對語音信號進行預處理，如濾波、采樣、量化等。然后，通過人類的語言特點建立人類語音信號模型，對輸入的語音信號進行分析，抽取所需的特征，并在此基礎上建立語音識別所需要的模板。在識別過程中，計算機根據語音識別的整體模型，將計算機中已經存在的語音模板與輸入的語音信號的特征進行比較，并根據一定的搜索和匹配策略找出一系列最優的、與輸入語音匹配的模板，通過查表和判決算法給出識別結果。顯然，識別結果的準確率與語音特征的選擇、語音模型和語音模板的好壞及準確度有關。7.4語音識別第7章自然語言處理7.4.3語音識別系統語音識別系統的性能受多個因素的影響，如不同的說話人、不同的語言以及同一種語言不同的發音和說話方式等。提高系統的穩定性就是要提高系統克服這些因素的能力，使系統能夠適應不同的環境。7.4語音識別第7章自然語言處理7.4.4語音識別的應用語音識別已經得到越來越廣泛的應用，并成為人工智能領域中不可或缺的一部分。它可以將我們的語音轉化為計算機能夠識別和處理的信號，并將其應用于以下領域。（1）智能家居：利用語音識別技術可以在家庭中實現人機交互，實現家庭環境的智能化控制，如對燈光、音響、空調等家電設備的控制，從而提高人們的生活品質。例如，通過說出“小度小度，把客廳電視打開”就可以迅速打開電視。（2）智能交通：利用語音識別技術可以實現智能駕駛和智能交通控制，如語音導航等。在保證駕駛安全的前提下，司機可以通過說出指令來控制車輛，而無須分心操作屏幕或按鈕。7.4語音識別第7章自然語言處理7.4.4語音識別的應用（3）智能醫療：語音識別技術可以被廣泛應用于醫療記錄、醫學診斷、醫學研究和醫學教育等方面。醫生可以通過語音快速記錄病歷和診斷結果，從而更好地為病人提供診療服務。（4）智能客服：語音識別技術也可以被應用于客戶服務，尤其是針對不同語言的客戶。客戶可以通過說出指令來解決問題，減少語言溝通的障礙，并提高客戶滿意度。第七章自然語言處理高職高專人工智能通識課規劃教材7.1自然語言處理概述7.5語音合成7.3機器翻譯7.4語音識別7.2語音合成自然語言理解7.6本章實訓7.7拓展知識7.5語音合成第7章自然語言處理7.5.1語音合成概述語音合成，又稱文語轉換(TexttoSpeech)技術，是通過機械的、電子的方法產生人造語音的技術，能夠將任意文字信息實時轉換為標準流暢的語音，相當于給機器裝上了人工“嘴巴”。語音合成技術涉及聲學、語言學、數字信號處理、計算機科學等多個學科，是文字信息處理領域的一項前沿技術。語音合成可以在任何時候將任意文本轉換成具有高自然度的語音，從而真正實現讓機器“像人一樣開口說話”。20世紀80年代末期，語音合成技術取得了重大突破，特別是基音同步疊加方法的提出，使基于時域波形拼接方法合成語音的音色和自然度大大提高。20世紀90年代初，基于基音同步疊加方法的法語、德語、英語等語種的文語轉換系統都已經研制成功，且具有較高的自然度。同時，基于基音同步疊加方法的合成器結構簡單且易于實時實現，有很大的商用前景。7.5語音合成第7章自然語言處理7.5.1語音合成概述我國的漢語語音合成研究起步較晚，但從20世紀80年代初就已與其他國家的研究同步發展。在國家高技術研究發展(863計劃)、國家自然科學基金委員會、國家科技攻關計劃、中國科學院有關項目等的支持下，我國相繼研發了聯想佳音(1995)、清華大學TH_SPEECH(1993)、中國科技大學KDTALK(1995)等系統，這些系統多采用基于基音同步疊加方法的時域波形拼接技術，其合成漢語普通話的可懂度、清晰度達到了很高的水平。7.5語音合成第7章自然語言處理7.5.1語音合成概述語音合成過程共有三個步驟，分別是語言處理、韻律處理和聲學處理。(1)語言處理：在文語轉換系統中起著重要的作用，主要模擬人對自然語言的理解過程——文本規整、詞語切分、語法分析和語義分析，使計算機能夠完全理解輸入的文本，并給出韻律處理和聲學處理所需要的各種發音提示。(2)韻律處理：為合成語音規劃出音段特征，如音高、音長和音強等，使合成語音能正確表達語意，聽起來更加自然。(3)聲學處理：根據語言處理和韻律處理的處理結果的要求輸出語音，即合成語音。7.5語音合成第7章自然語言處理7.5.2語音合成的應用隨著語音合成技術的發展，語音合成的應用十分廣泛，其典型應用場景如下。(1)閱讀聽書：使用語音合成技術的閱讀類App能夠為用戶提供多種語音庫的朗讀功能，釋放用戶的雙手和雙眼，用戶能獲得更極致的閱讀體驗。(2)資訊播報：提供專為新聞資訊播報場景打造的特色音庫，讓手機、音箱等設備化身“專業主播”，隨時隨地為用戶播報新聞資訊。(3)訂單播報：可應用于打車軟件、餐飲叫號、排隊軟件等場景，通過語音合成播報訂單，讓客戶便捷地獲取通知信息。(4)智能硬件：可集成到兒童故事機、智能機器人