1、第8章 自然語言理解8.1 語言及其理解的基本概念 8.2 詞法分析 8.3 語法分析8.4 語義分析 自然語言是指人類日常交流所使用的語言。自然語言理解主要研究如何使計算機能夠理解和生成自然語言。自然語言理解既是人工智能研究較早的一個領域，同時也是現代計算機的一個必備特征。1編輯ppt8.1 語言及其理解的基本概念 自然語言是音義結合的詞匯和語法體系。詞匯是語言的基本單位，它在語法的支配下可構成有意義和可理解的句子，句子再按一定的形式構成篇章等。其結構如圖8.1所示： 語言詞匯語法詞熟語詞法句法詞素構形法構詞法詞組構造法造句法 詞匯是語言的基本單位。熟語是指一些詞的固定組合，如漢語中的成語。

2、詞又由詞素構成，詞素是構成詞的最小有意義的單位。如“學生”是由“學”和“生”這兩個詞素構成的。 語法是語言的組織規律。詞法是用詞素或熟語構成詞的規則，可分為構形法和構詞法。構形法是指單數復數等。造句法是用詞和詞組構造句子的規則。 語言詞匯語法詞熟語詞法詞素句法構形法構詞法詞組構造法語言詞匯語法詞熟語詞法詞素造句法句法構形法構詞法詞組構造法語言詞匯語法詞熟語詞法詞素2編輯ppt 其主要任務是要找出詞匯的各個詞素，從中獲得語言學信息，并確定單詞的詞義。以英語為例，其詞法分析的基本算法如下： repeat look for word in dictionary if not found then m

3、odify the word until word is found or no further modification possible其中，word是一個變量，其初始值就是當前詞。 例8.1 用上述算法分析catches。 解：其分析過程如下： catches 詞典中查不到 catche 修改1：去掉s catch 修改2：去掉e 可以看出，在修改2時就查到了catch。當然，這只是一個很簡單的例子，完整的詞法分析還應該包括復合詞的切分等。 8.2 詞法分析3編輯ppt8.3 句法分析 句法分析是對句子和短語的結構進行分析，其最大單位是一個句子。分析的目的是要找出詞、短語等的相互關系，以

4、及他們在句子中的作用等，并用一種層次結構加以表達。這種層次結構可以是句子的成分關系、，也可以是語法功能關系。8.3.1 句法規則的表示方法8.3.2 自頂向下與自底向上分析4編輯ppt8.3.1 句法規則的表示方法句子結構的表示 一個句子是由各種不同的句子成分組成的。這些成分可以是單詞、詞組或從句。句子成分還可以按其作用分為主語、謂語、賓語、賓語補語、定語、狀語、表語等。這種關系可用一棵樹來表示，如對句子： He wrote a book可用圖8.2所示的樹形結構來表示 一個句子又是由若干個詞類構成的，如名詞、動詞、代詞、形容詞等。若從句子的詞類來考慮，一個句子也可用一棵樹來表示，這種樹稱為句

5、子的分析樹，如圖8.3所示。句子主語謂語動詞賓語Hewroteabook句子代詞動詞短語動詞名詞短語Hewroteabook5編輯ppt 上下文無關文法(Context-free Grammars)是喬姆斯基提出的一種對自然語言語法知識進行形式化描述的方法。在這種文法中，語法知識是用重寫規則表示的。作為例子，下面給出了一個英語的很小的子集（圖8.4）。 語句 句子 終標符 句子 名詞短語 動詞短語 動詞短語 動詞 名詞短語 名詞短語 冠詞 名詞 名詞短語 專用名詞 冠詞 the 名詞 professor 動詞 wrote 名詞 book 動詞 trains 專用名詞 Jack 終標符 . .

6、這就是一個英語子集的上下文無關文法 在該文法中，“語句”是一個特殊的非終極符，稱為起始符。8.3.1 句法規則的表示方法上下文無關文法(1/2)6編輯ppt8.3.1 句法規則的表示方法上下文無關文法(2/2) 例8.2 利用上述上下文無關文法，給出如下語句的分析樹。 The professor trains Jack.語句句子終標符動詞短語名詞短語Theprofessor.trains冠詞名詞動詞專用名詞名詞短語Jack解：如圖8.57編輯ppt8.3.1 句法規則的表示方法變換文法(1/2) 上下文無關文法反映的僅是一個句子本身的層次結構和生成過程，而自然語言是上下文有關的。為此，喬姆斯基

7、又提出了變換文法(Transformational Grammar)。該文法認為，句子的結構有深層和表層兩個層次。例如： She read me a story 和 She read a story to me的表層結構不一樣，但它們的深層結構則是一樣的。再如，主動句和被動句也只是表層結構不同，其深層結構則是相同的。 在變換文法中，句子深層結構和表層結構之間的變換是通過變換規則實現的，如圖8.6給出了一條把主動句變換為被動句的變換規則。 句子介詞短語1句子名詞短語1動詞短語動詞名詞短語2名詞短語2動詞被動語態動詞介詞動詞的過去分詞名詞短語1句子介詞短語句子名詞短語1動詞短語動詞名詞短語2名詞短

8、語2動詞被動語態8編輯ppt8.3.1 句法規則的表示方法變換文法(2/2)助動詞介詞動詞的過去分詞名詞短語1句子介詞短語句子名詞短語1動詞短語動詞名詞短語2名詞短語2動詞被動語態冠詞名詞專用名詞上下文無關文法變換規則冠詞名詞TheprofessorJacktrainsJack專用名詞istrainedbytheprofessorprofessor 例8.3 利用變換文法，將前述主動句變為被動句。 解：其變換過程是：先從非終極符“句子”開始產生一個主動句： The professor trains Jack然后再應用圖8.6所示的變換規則把它變為被動句(圖8.6) ： Jack is trai

9、ned by the professor動詞冠詞名詞Theprofessor名詞短語2專用名詞trains動詞冠詞名詞TheprofessorJack名詞短語2專用名詞trains動詞冠詞名詞Theprofessor9編輯ppt8.3.2 自頂向下與自底向上分析自頂向下分析法 自頂向下分析，是指從起始符開始應用文法規則，一層一層地向下產生分析樹的各個分支，直至生成與輸入語句相匹配的完整的句子結構為止。 例如，圖8-4所示的上下文無關文法，采用自頂向下分析方法對語句： The professor trains Jack .進行分析的過程是： 首先從起始符“語句”開始，正向運用規則： 語句 句子

10、終標符把分析樹的根節點“語句”替換為它的兩個子節點“句子”和“終標符”。 然后再對新生成的節點“句子”使用規則： 句子 名詞短語 動詞短語將其替換為兩個子節點“名詞短語”與“動詞短語”。 對于“名詞短語”，有兩條規則可用，若按規則的排列順序，則選用 名詞短語 冠詞 名詞將“名詞短語”被替換為“冠詞”和“名詞”，生成兩個新節點。對“冠詞”使用規則： 冠詞 The對名詞使用規則： 名詞 professor 以此進行，得到如圖8.8所示的自頂向下的分析樹（略）。10編輯ppt8.3.2 自頂向下與自底向上分析自底向上分析法 自底向上分析，是以輸入語句的單詞為基礎，首先按重寫規則的箭頭指向，反方向使用

11、那些最具體的重寫規則，把單詞歸并成較大的結構成分，如短語等，然后對這些成分繼續逆向使用規則，直到分析樹的根節點為止。 仍以語句 The professor trains Jack為例，逆向使用圖8.4中的那些具體規則后，可得到圖8.9所示的 部分分析樹。 繼續逆向使用規則，一步步歸并，直到根節點“語句”為止，最后即可生成如圖8.5所示的完整的分析樹。 自頂向下分析方法與自底向上分析方法雖然思路清晰，但分析效率不高。為了提高分析效率，可采用自頂向下與自底向上相結合的分析方法。Jack名詞短語專用名詞trains動詞冠詞名詞Theprofessor終標符.11編輯ppt8.4 句義分析 語義分析就

12、是要識別一句話所表達的實際意義。即弄清楚“干什么了”，“誰干的”，“這個行為的原因和結果是什么”以及“這個行為發生的時間、地點及其所用的工具或方法”等。 原因是語法分析，僅是在句法范圍內根據詞性信息來分析自然語言中句子的文法結構的。由于它沒有考慮句子本身的含義，也就不能排除像 The paper received the professor這種在語法結構上正確，但實際意義上錯誤的句子。 目前，用于語義分析的技術比較多，本節僅簡單介紹語義文法和格文法。 8.4.1 語義文法 8.4.2 格文法12編輯ppt8.4.1 語義文法 語義文法是在上下文無關文法的基礎上，將“名詞短語”、“動詞短語”、“

13、名詞”等這些不含有語義信息的純語法類別，用所討論領域的專門信息，像“山”、“水”、“動物”、等這些具有很強語義約束的語義類別來代替。利用語義文法進行語義分析，就可以排除像“論文收到教授”這類無意義的句子。 例如，下面是一個關于艦船信息的語義文法的例子： S PRESENT the ATTRIBUTE of SHIP PRESENT what is | can you tell me ATTRIBUTE length | class SHIP the SHIPNAME | CLASSNAME class ship SHIPNAME Huanghe | Changjiang CLASSNAME c

14、arrier | submarine 在上述重寫規則中，用大寫英文字母的單詞表示非終極符，小寫英文字母表示終極符，豎線表示“或”的意思。 利用上述語義文法進行語義分析，可以從語義上識別以下的輸入： what is the length of the Huanghe? Can you tell me the class of the Changjiang?13編輯ppt8.4.2 格文法格和格框架(1/3) 格文法是以句子的中心動詞為主導，并用格來表示其它成分與此中心動詞之間的語義關系的一種描述方法。 “格”這個詞來源于傳統語法，但它與傳統語法中的格有著本質不同。在傳統語法中，格僅表示一個詞或短

15、語再句子中的功能，如主格、賓格、等，反映的也只是詞尾的變化規則，故稱為表層格。在格文法中，格表示的是語義方面的關系，反映的是句子中所包含的思想、觀念等，故稱為深層格。 “格”是一個一般的概念，相對于中心動詞的不同語義關系，格可以分為許多種。例如，在句子 John gave the book to Sally中，相對于中心動詞gave， John是這個行為的發出者，稱為動作格； the book是行為作用的對象，稱為受動格； Sally是行為作用對象所到達的目標，稱為目標格。 14編輯ppt8.4.2 格文法格和格框架(2/3) 一套正確的深層格究竟應包括多少個格，以及這些格的明確含義是什么，目

16、前尚無定論。 下面給出一個描述行為的句子，它所涉及的深層格主要有： Agent（施事）， 動作主格，指行為的施動者； Object（受事），受動者格，指行為作用的對象； Co-Agent（共施事），幫助者格，指行為施動者的合作者； Instrument（工具），工具格，指施事者或共施事者實現行為中所使用的對象； Time（時間）， 時間格，指行為發生的時間； Source（來源），來源格，指行為作用對象移出的位置； Goal（目標）， 目標格，指行為作用對象到達的位置； Trajectory（軌跡），軌跡格，指從來源到目標所經過的路徑。15編輯ppt 格框架是一種用來描述句子深層格的框架。 在格文法中，每個句子都聯系著一個格框架。其中，框架名可以是相應句子的中心動詞，框架的槽可分別對應于相應句子的各個深層格，每個槽的槽值為該深層格在相應句子中所代表的語義成分。 例如，前述句子分析結束時所得到的實際格框架為： GAVE Agent: John Object: the book Source: John G