1234自然智能生物智能561956年:

達特茅斯會議，麥卡錫首次提出“人工智能”術語，標志人工智能學科誕生。7891011Alpha

Go無人超市智能機器人自動駕駛“人工智能是制造智能機器的科學與工程。”——

約翰·麥卡錫，“人工智能”概念的提出者“人工智能就是研究如何使計算機做過去只有人才能做的智能工作。”——

麻省理工學院

帕特里克·溫斯頓目前沒有統一的定義，但學科的基礎任務是明確的，即讓機器擁有人的智慧。12人工智能是一門研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。其主要利用智能計算機程序賦予機器學習、理解人類的能力。AI背景下，何謂“智能”？智能的水平對于不同人或不同生物來說不盡相同13認知智能是人工智能的高級階段是人工智能進一步突破、應用的關鍵瓶頸計算智能能存會算完勝人類感知智能能聽會說，能看會認與人類媲美認知智能能理解會思考與人類有一定差距智能是有層次的，不同層次間是遞進關系。14運算智能：即快速計算和記憶存儲能力。人工智能所涉及的各項技術的發展是不均衡的。現階段計算機比較具有優勢的是運算能力和存儲能力。典型代表1996年IBM的深藍計算機戰勝了當時的國際象棋冠軍卡斯帕羅夫，2017年阿爾法狗圍棋戰勝人類頂尖棋手李世石和柯潔。從此，人類在這樣的強運算型的比賽方面就不能戰勝機器了。感知智能：即視覺、聽覺、觸覺等感知能力。人和動物都具備，能夠通過各種智能感知能力與自然界進行交互。自動駕駛汽車，就是通過激光雷達等感知設備和人工智能算法，實現這樣的感知智能的。機器在感知世界方面，比人類還有優勢。人類都是被動感知的，但是機器可以主動感知，如：激光雷達、微波雷達和紅外雷達。不管是Big

Dog這樣的感知機器人，還是自動駕駛汽車，因為充分利用了DNN和大數據的成果，機器在感知智能方面已越來越接近于人類。認知智能：通俗講是“能理解會思考”。人類有語言，才有概念，才有推理，所以概念、意識、觀念等都是人類認知智能的表現。智能機器還沒有自己的語言，工程技術角度上正在探索實踐“類腦計算”。15162.第一次寒冬1974-19801.第一次繁榮期1956-19703.第二次繁榮期:1982-19874.第二次寒冬：1987-19935.復蘇期：6.第三次繁榮：2011-至今1997-2010171956年，達特茅斯會議標志著AI誕生1957年，感知機（Perceptron）被羅森布拉特發明1970年，受限于硬件性能，進入第一個寒冬XCON專家系統出現1990-1991，人工智能計算機DARPA開發失敗，政府縮減預算，AI進入第二次低谷1997年，IBM的Deep

Blue戰勝國際象棋冠軍2006年，Hinton提出“深度學習”2011年蘋果Siri問世2012年Google的無人駕駛汽車上路2013年深度學習算法在語音和視覺領域取得重大突破2016年DeepMind提出AlphaGo用深度學習勝世界冠軍李世石18新時代下的人工智能，主要體現在以大數據驅動下的深度學習技術。其典型應用包括兩部分：海量數據和業務模型。海量數據業務模型作為訓練數據指導模型迭代分析、提取、自動化Human-in-the-loop修正19202122Facebook

Surround

720度手機全景拍攝

180度雙相機

720度23紋線端點24短紋（孤立點）2526社交網絡數據社交網絡用戶畫像用戶關系分析群體觀點立場分析社交網絡情感分析27符號主義學派：從模擬人的心智入手。認為 ，強調知識的表示和自動推理，是人工智能發展初期的主要學派，也稱為邏輯主義。開創性工作是自動定理證明，主要代表成果包括專家系統和知識圖譜等。連接主義學派：從模擬人腦的結構入手。 ，也稱為結構主義、仿生主義或生理學派，認為人的思維基元是神經元，從神經元開始，進而研究神經網絡模型和腦模型。通過DNN開啟了深度學習在學術界和工業界的新浪潮，也讓這一學派再次站到AI最前沿。如：計算機視覺領域使用最廣泛的卷積神經網絡。行為主義學派：從模擬人的行為入手。

早期工作重點在模擬人在控制過程中的智能行為和作用，并進行控制論動物的研制，代表成果六足行走機器人。目前最著名的是強化學習（智能體以試錯的方式進行學習，通過與環境進行交互獲得的獎勵指導行為，目標是使智能體獲得最大的獎勵）典型應用AlphaGo。282930聲紋識別人臉識別31機器翻譯無人駕駛汽車32個性化推薦智能服務機器人3334美國科羅拉多州博覽會藝術比賽的數字類別，由游戲設計師JasonAllen通過AI繪圖工具Midjourney創作，此后又經Photoshop潤色的畫作《太空歌劇院》獲得頭獎。Google的Magenta項目，該項目致力于機器藝術，其中機器譜曲是主要研究方向之一。35AlphaGo3:0

戰勝圍棋等級分世界第一的柯潔May

23-27,2017Venue:烏鎮36、2024年5月，AlphaFold3

發布，可預測生物分子的相互作用結果。或將開啟更多變革性的科學：開發生物可再生材料更具彈性的作物為理解生命過程、研制新藥打開了新的大門，加速藥物設計和基因組學研究。37完全基于注意力機制的Transformer架構奠定了GPT系列的技術基礎從GPT-1到ChatGPT，模型規模越來越大，預訓練數據量越來越多，系統智能化程度能越來越高人類反饋強化學習（Reinforcement

Learning

From

HumanFeedback,RLHF)、代碼預訓練（Codex）、指令微調（Instruction

Tuning）等技術賦予了ChatGPT更強的能力。38圖像多模態與語言協同的智能DALL·E

3文本到圖像的轉換dVAE技術Transformer結構CLIP模型評估創造性表達多樣化應用39圖片源于OpenAI官網：能根據文本描述生成長達

60

秒的連貫流暢視頻，這些視頻包含細膩復雜的場景、生動的角色表情以及復雜的鏡頭運動。它由

OpenAI

開發，受到了廣泛的關注和認可。視頻質量高技術原理新生成能力強涌現能力：Sora

展示了引人注目的涌現能力，能夠在一定程度上模擬真實世界中的人、動物和環境，不依賴于特定預設。世界模型：代表了

AI

向能夠模擬物理和數字世界及其內部的物體、動物和人類的模擬器發展的一步。它基于大規模訓練，能夠預測未來可能發生的事件，這是朝著實現更高層次模擬和預測能力的重要里程碑。40Sora視頻源于OpenAI官網Prompt：一位時尚女性走在充滿溫暖霓虹燈和動畫城市標牌的東京街道上。

她穿著黑色皮夾克、紅色長裙和黑色靴子，拎著黑色錢包。

她戴著太陽鏡，涂著紅色口紅。

她走路自信又隨意。

街道潮濕且反光，在彩色燈光的照射下形成鏡面效果。許多行人走來走去。41視頻源于OpenAI官網Prompt：幾只巨大的毛茸茸的猛犸象踏著白雪皚皚的草地走近，它們長長的毛茸茸的皮毛在風中輕輕飄動，遠處覆蓋著白雪的樹木和雄偉的雪山，午后的陽光下有縷縷云彩，太陽高高地掛在空中

距離產生溫暖的光芒，低相機視野令人驚嘆地捕捉到大型毛茸茸的哺乳動物，具有美麗的攝影和景深。Sora42SoraPrompt：電影預告片講述了30歲太空人戴著紅色羊毛針織摩托車頭盔的冒險經歷，藍天、鹽漠，電影風格，35毫米膠片拍攝，色彩鮮艷。視頻源于OpenAI官網43GPT-4o(GenerativePre-trainedTransformer4Omni）由OpenAI訓練的多語言(支持超過50種語言，覆蓋超過97%的口語語言)、多模態GPT大語言模型。2024年5月13日發布。

該模型比前身GPT-4快兩倍，而價格僅為其50%。視頻源于網絡4444454622概念的定義：概念（Concept）是人類思維的重要組成部分，反映事物特有屬性的。概念的特性3概念的實例解析

-

以“計算機”為例45邏輯關系：如同一關系、屬種關系，概念之間的層級與交叉。知識本體關系：如因果關系、工具關系，基于領域知識的關系。：通過邏輯關系或知識本體關系組織起來的概念集合，反映了知識結構。：縱向聯系：層級結構，如“生物”與“動物”。橫向聯系：平行結構，如“教授”與“作家”之間的交叉關系。概念系統的比喻：概念是“磚”，關系是“灰漿”，共同構建知識的建筑。否定關系：一個概念的否定屬性構成另一個概念的屬性，如“加壓”和“減壓”。全異關系：外延完全不同，如“小麥”和“玉米”。交叉關系：部分外延相同，部分不同，如“作家”和“教授”(邏輯上有交叉)。屬種關系：一個概念的外延包含另一個概念的外延，如“交通工具”和“汽車”。05040302同一關系：兩個概念外延相同，如“機器翻譯”和“自動翻譯”(二者都表示利用計算機進行語言翻譯)。016可以明確地、形式化地、可共享地描述某一領域中各客體所代表的概念體系的集合， ，可以看做是這一領域的知識本體。對所使用的概念的類型及概念用法的約束都是明確地加以定義該知識本體是機器可讀的知識本體中所描述的知識不是個人專有而是集體共有：哲學思辨角度、知識分類角度、機器推理角度等7建模描述源于哲學，哲學中定于義“對世界上客觀事物的系統描述”，即存在論。特點計算機中指“形式化的，對于共享概念體系的明確而又詳細的說明”。分類8描述分類建模特點是一種共享詞表，也就是特定領域之中那些存在著的對象類型或概念及其屬性和相互關系。就是一種特殊類型的術語集合，具有結構化的特點。人們對自己興趣領域的知識為素材，運用信息科學的本體論原理編寫自己的作品。9描述特點建模分類領域文本體：描述特定領域內的概念和關系通用或常識本體:

涵蓋廣泛領域的基礎知識知識本體:用于結構化處理某一特定領域的知識語言學本體:主要關注語言和語義結構任務本體:專門針對特定任務的知識和操作建模頂層本體提供對最基本、最廣泛概念的描述領域本體專注于某個學科或領域內的知識任務本體針對特定任務過程中的知識要求應用本體用于特定應用程序或系統中知識表示10分類描述特點建模類：描述領域內的實際概念，既可以是實際存在的事物，也可以是抽象的概念。關系：用于描述事物之間的關系。函數：一種特殊的關系。前n-1個元素能唯一確定的第n個元素。公理：本體內存在的事實，可以對本體或關系進行約束。實例：某個類的實際存在。111213如何從原始的、海量的文本數據中自動識別出語義信息，并自動挖掘規律是實現機器智能的重大挑戰如何學習高質量的語義表示成為NLP領域的重要任務14把所有符號當做一個空間，出現這個符號就把空間位置標記為1，沒出現就標記為0示例：有一個詞表僅有8個有序字：我的寵物是一條狗優點：簡單易懂，魯棒性好缺點：高維向量空間爆炸15word

embedding（詞嵌入）是將詞轉化為一種分布式表示的方法,

是將詞表示成一個定長的連續的稠密向量。優點：詞語之間存在相似關系（不正交）以及每一維度都有其特定含義。語義表示學習領域，詞匯語義表示是主要研究內容，也是其他粒度文本(如句子、段落、文檔等)表示的基礎。主要采用分布表示學習從大規模的無標注語料中學習詞表中每個詞匯的向量化表示。16word

embedding能夠發現詞間的隱含關系word

embedding能夠發現詞匯語義層級跨語言詞向量之間可以進行聯合表示可以計算句子級向量17分布表示學習的

，即具有相似上下文的詞匯具有相似的語義。(Wordswithsimilartypicalcontexthavesimilarmeaning.

)18輸入形式：主要是大規模文本數據、結構化數據輸出形式：主要是將每個詞匯表示成低維度的實數向量模型方面：主流的是深度神經網絡結構1920分布表示方法-基于矩陣分解的方法21詞-文檔共現矩陣是將詞所在的文檔作為上下文統計詞與文檔之間相關性的信息，矩陣中每行對應一個詞，每列對應一個文檔，矩陣中的每個元素是統計的語料中詞和文檔的共現信息。這種分布表示方法基于詞袋假說（即文檔中詞出現的頻率反映文檔與詞之間的相關程度），利用矩陣分解的方法將詞和文檔映射到同一個低維語義空間，獲得詞的向量化表示。代表性的方法是潛在語義分析（Latent

Semantic

Analysis，LSA），有助于捕捉文本中的潛在語義結構。分布表示方法-基于矩陣分解的方法文檔中詞出現的頻率反映文檔與詞之間的相關程度，利用矩陣分解的方法將詞和文檔映射到同一個低維語義空間，獲得詞的向量化表示。22分布表示方法-基于矩陣分解的方法目標詞的上下文中的詞匯用于構建詞-詞共現矩陣，統計它們的相關性。矩陣的行代表目標詞，列代表上下文詞，矩陣元素反映了目標詞與上下文詞間的關聯程度。關聯度高則語義相關，反之則語義無關。?

代表性工作為GloVe，捕捉詞匯間的語義關系并進行表示。23分布表示方法-基于矩陣分解的方法24詞-詞共現矩陣示例以詞i和詞j為例，如果想要知道這兩個單詞的關系，就需要找到跟這兩個詞相近的其他詞k，根據共現矩陣可以得到詞k在單詞i上下文出現的概率Pik，同樣的，我們可以得到Pjk。如果該單詞k與單詞i意思接近，那么Pik就會比較大，而Pjk就比較小，所以Pik/Pjk就會很大，反過來，如果該單詞k與單詞j意思接近，Pik/Pjk就會很小。因此這個比例可以反映這三個詞之間的關系。分布表示方法-基于預測任務的方法基于預測任務的方法通常利用滑動窗口對語料進行建模，以訓練語言模型為學習目標在優化模型的過程中學習詞匯的語義表示。這類方法具有兩個特點：（1）利用上下文窗口信息，是一種 的語義特征學習方法；（2）神經網絡結構對模型的發展具有決定性作用，詞向量通常是作為神經網絡的副產品被訓練獲得。25分布表示方法-基于預測任務的方法26早期，Bengio等人提出神經網絡語言模型（NNLM）。NNLM方法在語料建模過程中將語料中固定長度為n的詞序構建為一個窗口，使用前n?1個詞預測第n個詞。Mikolov提出基于循環神經網絡語言模型（Recurrent

NeuralNetwork

Language

Model，RNNLM）。SENN方法是一種利用局部信息學習詞向量的構造方法，該模型的預測任務是判斷一個詞序是否為正確的詞序，即模型目標函數是對句子打分，最大化正確句子的分數。在建模過程中，語料中的詞序作為正確詞序，使用隨機詞對的方法生成噪音詞序。分布表示方法-基于預測任務的方法2013年Mikolov等人提出的

Word2Vec方法，該方法包含CBOW模型和Skip-gram模型，兩個模型在語料建模過程中選取固定長度n的詞序作為窗口，窗口中心詞設定為目標詞，其余詞為目標詞的上下文。這兩種方法通過預測任務，構建詞語的分布式表示，有效地捕捉了詞語的語義關系。27分布表示方法-基于預測任務的方法CBOW模型中，窗口的中心詞是目標詞，其余詞作為上下文，模型通過上下文詞預測中心詞Skip-gram模型則反過來，利用中心詞預測上下文詞。28預訓練語言模型預訓練語言模型的代表性方法：GPT、BERT、Llama訓練低維稠密語義向量：基于大規模語料。上下文無關：不能動態調整語義表示。無法捕獲復雜特征和關系：如語法結構、語義角色、指代關系。增強模型泛化能力：通過更深層的語言設計和大數據集訓練。Fine-Tuning

精調：根據下游任務需求調整模型參數。高效利用大規模文本信息的潛在特征適應新任務的快速精調預訓練成本高，但提供高質量語義初始化29預訓練語言模型（簡單回顧）30BERT：（bidirectionalencoderrepresentationsfromtransformers,

BERT）2018年谷歌發布的預訓練語言模型：基于變換器的雙向編碼器（表示技術）GPT：GenerativePre-Trained

Transformer生成式預訓練Transformer

模型，通常稱為

GPT，是一系列使用

Transformer

架構的神經網絡模型，是機器學習廣泛采用的轉折點。LLaMA：Large

Language

Model

Meta

AI是Meta

AI公司于2023年2月發布的開源大語言模型，旨在挑戰大型科技競爭對手的限制性做法，模型的參數從70億到650億不等。預訓練語言模型GPT模型背后的基本原理是通過語言建模將世界知識壓縮到僅包含解碼器（decoder-only）Transformer模型中，從而使其能夠恢復（或記憶）世界知識的語義并作為通用任務求解器。31預訓練語言模型32大語言模型的預訓練技術即開始分割為兩個主要類別，分別是以BERT為代表的面向語言理解的遮蔽語言模型（mask

languagemodel,

MLM）和以GPT為代表的面向語言生成的自回歸語言模型（autoregressive

language

model,

ALM），直接影響了大語言模型第二和第三階段的技術演進路線。33產生式系統（Production

System）1943年美國數學家Post提出的一種計算形式體系里所使用的術語，主要是使用 ，對 進行 。20世紀60年代，產生式系統成為

研究人類心理活動中信息加工過程的基礎，并用它來建立人類認知模型。目前，產生式系統已發展成為人工智能系統中最典型、最普遍的一種結構，大多數的專家系統都采用產生式系統的結構來建造。34產生式規則：人工智能中使用最廣泛的知識表示方法之一產生式系統的三要素：動態數據庫、產生式規則庫和推理機。是一個數據的集合，用于存放在推理過程中的已知條件、推導出的中間結果和最終結論等。是一組產生式規則（規則集）相當于系統的知識庫。是控制執行程序模塊，是規則的解釋程序。35產生式規則-動態數據庫:36動態數據庫是一個綜合數據集合，用于存放推理過程中所需的信息，包括已知條件、推導出的中間結果和最終結論。示例:在推理過程中，已知“某動物會飛并且會下蛋”的條件被存儲在綜合數據庫中。中間結果可能包括“該動物有翅膀”等信息，最終結論是“該動物是鳥”。產生式規則-產生式規則集:37產生式規則集是一組規則的集合，這些規則構成系統的知識庫。每條規則的形式為

<前件>

→

<后件>，其中前件是條件，后件是由條件觸發的結論或動作。示例:規則1:

如果“動物會飛并且會下蛋”，那么“它是鳥”。規則2:

如果“動物吃肉”，那么“它是食肉動物”。這里的規則1是由條件“會飛并且會下蛋”作為前件，得出“是鳥”的結論。規則2是由“吃肉”這個前提得出“食肉動物”的結論。產生式規則-推理機(控制系統):38控制系統負責在推理過程中測試前件條件是否滿足，并選擇和執行相應的規則，生成后件結論或觸發動作。示例:在推理過程中，控制系統會檢測“動物會飛并且會下蛋”這一條件是否存在于綜合數據庫中，如果存在，則觸發對應規則，生成“它是鳥”的結論。同樣，如果檢測到“動物吃肉”的條件存在，控制系統會生成“它是食肉動物”的結論。產生式系統-系統結構組成部分:39產生式系統-運行過程40定義與構成要素：產生式系統是一種基于規則的推理系統。規則庫：

包含一系列“如果…那么…”的規則。初始事實（數據）：

推理過程的起點信息。目標條件：

系統推理結束的目標。系統運行流程：系統啟動后，推理機開始運行。推理過程由系統根據目標條件進行問題求解。產生式系統-運行過程產生式系統的推理過程：推理機運用規則庫中規則，作用于動態數據庫系統不斷進行推理，檢測目標條件是否滿足。推理成功：

達成目標條件，系統正常結束。推理失敗：

無法達成目標條件，系統仍然結束。。41產生式表示法的42產生式表示法的43產生式表示法的適用領域444546框架的構成框架用于描述性知識的表示，具有明顯的層次結構。每個框架都有一個名稱（框架名），由若干槽構成，每個槽可以包含多個側面和值。框架之間的聯系通過在槽中填入相應的框架名來實現。框架之間的具體關系由槽名來決定。框架系統的核心在于通過槽的命名和填充，實現對知識的表達與推理。框架的構成常用的系統預定義槽名：ISA槽：

指出具體事物與其抽象概念之間的類屬關系。AKO槽：

指出事物間抽象概念的類屬關系。subclass槽：

指出子類與其上位類之間的類屬關系。instance槽：

建立AKO關系的逆關系。框架結構：槽描述了事物的各個方面，側面和值可根據具體需求設置。提供了一種結構化的方式來組織和關聯研究對象及其序列。47框架的構成刑事案件可以用犯罪意圖、犯罪結果、被殺者和知情人等7個方面進行描述，因而可以用這些名詞組成框架的槽，當描述一個具體的案件時，再用這些名詞的具體指代填入到相應的槽中。框架名刑事案件犯罪意圖：Intent犯罪結果：result被殺者：y知情人：

??

?

∈

?

}罪犯：T條件一：有某個??指控t條件二：T

招認48框架網絡框架是知識的基本單位，把一組有關的框架連接起來便可形成一個框架網絡（框架系統）。構成網絡的邊分為兩種，分別是橫向聯系和縱向聯系，如圖所示。住址框架和工資框架表示當前框架之外的框架，它們之間的聯系是橫向聯系。大學老師和教師間是縱向聯系。49框架的應用案例50某品牌電腦的基本信息，品牌：XXX，CPU：英特爾

酷睿i7-1165G7，光驅類型：無光驅，厚度：10.0mm（含）?15.0mm（不含），顏色分類：黑色，重量：1.09kg，內存容量：8GB16GB

32GB，硬盤容量：512GB固態硬盤1TB固態硬盤2TB固態硬盤，顯存容量：共享系統內存，固態硬：512GB。品牌XXXCPU英特爾

酷睿

i7-1165G7光驅類型無光驅厚度10.0mm（含）-15.0mm（不含）顏色分類黑色重量1.09KG內存容量8GB16GB

32GB硬盤容量512GB

固態硬盤

1TB

固態硬盤

2TB

固態硬盤顯存容量共享系統內存固態硬盤512G51語義網絡的發展歷史5219世紀中期:

高等數學中的抽象圖結構，英格蘭數學家采用樹形結構建立代數關系網。1886年:

Kempe在《數學形式理論回憶錄》中描述了圖表系統，節點表示概念單元，連線區分“混淆的概念單元”。1882年起:

Peirce記錄圖形邏輯的表達式，開發了“存在圖”（Existential

Graph），包括一階謂詞的二維圖形并具有擴展邏輯。1956年:

Richens創建了計算機領域的第一個語義網絡系統NUDE，用于自然語言機器翻譯。語義網絡的發展歷史531968年:

Quillian描述了人類長期記憶模型，提出了語義網絡的概念。1970年代:

Simmons的研究語義網絡與一階謂詞邏輯的關系，提出語義網絡是一種以網格格式表達人類知識的方法。1980-1990年代:

KL-ONE系統:

Brachman等人開發的知識表示系統，結合語義網絡和框架系統，解決語義模糊問題。CLASSIC語言:Brachman等人將語義網絡從純邏輯轉向實用工具。1990年代至今:

OWL

DL推理服務:

Horrocks實現的FaCT推理機，為本體語言OWL

DL的推理服務提供支持。語義網絡定義研究者們設計并實現了若干版本的語義網絡，盡管不同版本之間的定義名稱和符號差異很大，但具有以下 ：網絡中的節點表示實體、屬性、事件和狀態，連線表示節點之間的關系，涵蓋實施者、工具、空間關系、時間關系等。概念節點按照層次組織，形成類型或分類層次結構。UMLS語義網絡是典型例子，用于醫學領域的本體構建和臨床決策支持。概念屬性通過層次結構繼承，語義網絡利用繼承特性實現推理，常見算法包括激活擴散和向量空間模型。54語義網絡分類語義網絡理論結合邏輯論、集合論和模型論對語義表示進行了嚴格的形式化，Branchman提出了五種不同層次的節點和鏈接，這些節點和鏈接包含從低級的數據位置和指針到高級的語言詞匯和描述。55構建方法主要包括半自動和自動方法，通常分為兩步：概念抽取和關系抽取。概念抽取:統計數據分析:

假設兩個概念在文檔中頻繁共同出現，密切相關，常見算法包括TF-IDF、LSA、BM25等。字距、命名實體識別:

概念間距離越近，關系越強，通過預先定義的實體類型詞表提取已知語義類型。56構建方法關系抽取:模式匹配:

自定義語義模式，用于發現特定語義關系（例如包含、目標、效果等）。無監督模式聚類:

自動搜索相關名詞集并發現語義關系（如IS-A、meronymic關系）。自動構建語義網絡工具:CATPAC:

通過設置參數識別文本中最常見的單詞，構建語義網絡。其他工具:

Naetica、Concept

Space等，用于自動生成語義網絡。57語義網絡的優勢58語義網絡應用面臨的挑戰和困難5960知識圖譜的發展知識圖譜旨在描述真實世界中存在的各種實體或概念及其關系，并利用可視化的圖譜形象地展示出來；知識圖譜可看成一張巨大的圖，；知識圖譜作為一種技術體系，是大數據時代知識工程的代表性進展。61知識圖譜的發展62知識圖譜的發展：

23.9萬個實體,

1.5萬個關系屬性,

209.3萬個事實三元組：155,

327個單詞，同義詞集117,597個，同義詞集之間由22種關系連接：400多萬實體，48,293種屬性關系，10億個事實三元組：4000多萬實體，上萬個屬性關系，24多億個事實三元組：980萬實體，超過100個屬性關系，

1億多個事實三元組63知識圖譜的表示搜索引擎核心訴求：讓搜索通向答案無法理解關鍵詞無法精準回答根本問題語言理解需要背景知識傳統知識表示難以滿足需求解決方法知識圖譜能幫助機器認知64知識圖譜的表示基于距離的知識表示方法代表工作是Structured

Embedding，通過與關系相關的不同映射矩陣將頭實體和尾實體投影到同一個向量空間并要求它們距離相近。頭實體和尾實體的語義相關性越強，則它們之間的距離越小，越有可能具有關系。ASTRUCTUREDSELF-ATTENTIVESENTENCEEMBEDDING，

ICLR，20176566知識圖譜的表示基于翻譯的知識表示方法基于翻譯的方法將事實三元組中的關系看作是頭實體和尾實體在向量空間中的翻譯操作。該類方法的提出是受到詞嵌入方法word2vec的啟發，在使用word2vec時，Mikolov等人發現詞向量在向量空間中的平移不變現象vman

vwoman

vking

vqueenvm

a

n

vkin

gvq

u

een

v

w

o

m

a

n單詞king和queen詞向量之間的語義關系可以作為一個平移操作，將單詞woman變成man，這個平移操作可以看成woman詞向量到man詞向量的翻譯。知識圖譜的表示基于翻譯的知識表示方法TransE

將實體和關系表示成向量，給定一個事實（h,r,t）

分別為兩個實體和關系表示，通過關系向量

r

翻譯后的頭實體向量

h+r

應該與尾實體

t

相近，但是它無法支持一對多，多對一或者多對多類型的關系，

“張藝謀”既是電影“紅高粱”的導演又是“活著”的導演。TransH

將頭實體和尾實體投影到不同的超平面上應對不同的關系。TransR

引入關系的向量空間，它將實體和關系定義在不同的向量空間中，通過空間變換操作把頭尾實體映射到關系的向量空間中再進行翻譯操作

。67知識圖譜的表示基于翻譯的知識表示方法TransE、TransH和TransR方法的示意圖68知識圖譜的表示基于雙線性的知識表示方法雙線性方法將實體表示為向量，關系表示為矩陣，對于一個事實三元組，頭或者尾實體向量通過關系進行線性變換以后在向量空間與尾或者頭實體向量重合。69知識圖譜的表示基于雙線性的知識表示方法RESCAL

方法是第一個雙線性方法，它將實體表示為向量，關系表示為矩陣。對于一個事實三元組，通過關系矩陣對頭實體向量進行線性變換，使變換后的頭實體向量在向量空間中與尾實體向量重合。DistMult

方法為簡化

RESCAL

的時空復雜度，使用對角矩陣代替一般矩陣，即每個關系由一個向量表示，使用該向量構建對角化矩陣來進行線性變換。該方法僅支持對稱關系。HoIE

方法使用循環互相關操作解決

DistMult

僅支持對稱關系的問題。它將頭尾實體組合成一個新的向量，再衡量該向量與關系向量的相似度來得分。70知識圖譜的表示基于神經網絡的知識表示方法基于神經網絡的方法將實體和關系表示為向量，并利用多層神經網絡強大的自適應學習能力和支持非線性映射等優點，建模知識圖譜中實體和關系之間存在的語義關聯。SME：用線性神經網絡匹配實體和關系，定義了線性和雙線性評分函數。NTN：通過非線性神經網絡和張量結合實體和關系，計算得分。MLP：將實體和關系向量拼接后，使用簡單的神經網絡結構進行評分。NAM：采用深度神經網絡，多層隱藏層后結合尾實體向量進行評分。ConvE：使用卷積神經網絡，將實體和關系進行二維重塑，經過卷積和全連接層后評分。7172知識圖譜構建利用信息抽取相關的技術，實現從非結構化、半結構化數據中進行信息抽取，轉換成知識圖譜里的知識實體挖掘關系抽取事件抽取從各個數據源下獲取的知識按所需要的統一的術語融合成一個龐大的知識庫實體鏈接消歧Schema構建解決不一致性根據圖譜提供的信息得到更多隱含的知識，提供更智能的檢索方式，通過自然語言進行搜索知識推理實體重要性排序相關實體挖掘知識圖譜構建靜態知識圖譜表示為一個有向圖結構，三元組

(h,

r,

t)，其中

h表示頭實體，r

表示關系，t

表示尾實體，關于足球運動員的大衛·貝克漢姆的

KG

示例。2.

時序知識圖譜是靜態知識圖譜在時間維度上的擴展，四元組(h,

r,

t,

τ)，其中

τ

表示關系有效的時間范圍，大衛·貝克漢姆在1996-2003年間效力于曼聯的TKG。73知識圖譜與時序知識概念的圖例解釋知識圖譜構建任務：填補三元組(h,

r,

t)

中的缺失部分。目標：增強KG的圖結構稠密度。任務：添加缺失的四元組(h,

r,

t,

τ)。目標：在給定的時間間隔內，預測頭實體、尾實體或關系。語義豐富度不足：尤其是長尾實體的關聯關系較少。數據源與信息抽取技術的限制：無法保證數據和技術的完美匹配。74典型知識圖譜-WordNet（人工構建知識圖譜）一部在線詞典數據庫系統，采用了與傳統詞典不同的方式，即按照詞義而不是詞形來組織詞語被聚類成詞義簇(synset)，詞義之間通過語義關系連接成大的概念網絡由普林斯頓大學認知科學實驗室在1985年建立7576典型知識圖譜-WordNet（人工構建知識圖譜）同義反義關系上下位關系部分整體關系簡單的動詞基本句式信息描述的對象對象之間的語義關系部分句法信息搭配詞復合詞短語動詞成語單詞典型知識圖譜-WordNet（人工構建知識圖譜）Synset：

WordNet

將英語的名詞、動詞、形容詞、和副詞組織為Synsets，每一個Synset表示一個基本的詞匯概念概念關系同義關系反義關系上位關系下位關系整體關系（名詞）部分關系（名詞）蘊含關系（動詞）因果關系（動詞）近似關系（形容詞）77典型知識圖譜-WordNet（人工構建知識圖譜）近似關系反義關系基于反義、近義組織的詞集78典型知識圖譜-WordNet（人工構建知識圖譜）79典型知識圖譜-WordNet80典型知識圖譜

-

Yago

：

Wikipedia+WordNet2001年開始Crowdsource的方式構建目標：構建全世界最大的百科全書主要特點高質量數據源500萬概念多語言富含豐富語義結構的文檔：Infobox，table，list，category…8182典型知識圖譜

-

Yago

：

Wikipedia+WordNet

?分類：前259年出生,

前210年逝世

秦朝皇帝每個頁面有多個類別，類別組成Taxonomy姓名：嬴政別名：趙政、呂政、祖龍民族：華夏族出生地：邯鄲所處時代：秦朝標題=概念秦始皇秦始皇嬴政（前259年－前210年），中國古代杰出的政治家、戰略家、改革家，首次完成中國大一統的政治人物，也是中國第一個稱皇帝的君主。嬴政出生于趙國都城邯鄲，后回到秦國。前247年繼承王位，時年十三歲。概念文本描述Infobox:以(屬性，值)對形式呈現的信息表格典型知識圖譜

-

Yago

:

Wikipedia+WordNet嬴政、趙高、秦朝、封建制...皇帝(嬴政)，宦官(趙高),

朝代(秦朝),

制度(封建制)SubClassOf(皇帝，人)，

SubClassOf(宦官，人)姓名：嬴政別名：趙政、呂政、祖龍民族：華夏族83BirthDate（嬴政，前259年）,

Has(皇帝，權利)出生地：邯鄲所處時代：秦朝典型知識圖譜

-Yago

：Wikipedia+WordNetYago

Taxonomy構建使用WordNet的Taxonomy作為基礎將Wikipedia中的類別加入到WordNet中84典型知識圖譜

-Yago

：Wikipedia+WordNet85人工定義了100多種語義關系wasBornOnDate，locatedIn，

hasPopulation抽取方法：主要采用手寫的規則抽取Infobox

Harvesting:信息框Word-Level

Techniques:重定向頁Category

Harvesting:類別信息抽取Type

Extraction:

維基類別,WordNet類別典型知識圖譜

-Yago

：Wikipedia+WordNet86典型知識圖譜

-Yago

：Wikipedia+WordNet87883234567SAPSIP

（SAP）SOP89p

q

pq10p

q

q

p11pVq

pq12pVq

qp131415161718正向推理19正向推理20逆向推理212223同一假設目標可能匹配多條規則，或多個假設目標匹配同一規則242526272829303132333435F

{

ui

,

F

u

|

ui

U

}3637

F

u1

F

un

F

20

0.33

F

30

0.67,

F

40

1.0

F

70

0.5

F

80

0.25

F

90

0.0

F

0

0.0

F

10

0.0,

F

50

1.0，

F

60

0.75

F

100

0.038

F

u1

u139

F

u2

/

u2

F

un

un4041

42U

V43U

V

u,

,

R

u,

|

u

U

,

V

R

u,

A44

B

A

B

min

A

,

B

45

A

N

B

N

A

B

N

min

A

N

,

B

N

min

0.85,

0.75

0.75A

B

A

B

ui

max

A

ui

,

B

ui

A

ui

B

ui

A

B

ui

max

A

ui

,

B

ui

max

0.85,

0.75

0.85A

A

ui

1

A

ui

A

A

i

A

ui

461

0.75

0.25A

B

A

B

ui

max

A

ui

,

B

ui

A

ui

B

ui

A

B

ui

max

A

ui

,

B

ui

max

0.85,

0.75

0.85A

A

ui

1

A

ui

A

A

i

A

ui

471

0.75

0.25(

A

B)

C

A

(B

C)

4849505152535455565758搜索算法42345678910111213141617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787952專家系統是一種具有智能化的計算機程序，它能夠模擬擁有特定領域專業知識和經驗的人或組織的判斷和行為。專家系統通常旨在補充而不是取代人類專家，其概念是由斯坦福大學計算機科學家愛德華·費根鮑姆（Edward

Feigenbaum）在20世紀70年代提出的。34知識庫（knowledge

base）推理機（inference

engine）用戶界面（user

interface）5知識庫（knowledge

base）。這是專家系統存儲信息的地方。人類專家（human

expert）提供有關特定領域或主題的事實，這些事實被存儲在知識庫中。知識庫通常包含一個知識獲取模塊（knowledgeacquisition

module），該模塊使系統能夠收集外部來源的知識并將其存儲在知識庫中。6推理機（inference

engine）。該部分從知識庫中提取相關信息以解決用戶的問題。它是一個基于規則的系統，將知識庫中的已知信息映射到一組規則，并根據這些輸入做出決策。推理機通常還包括了一個解釋模塊（explanationmodule），用于向用戶展示專家系統是如何得出結論的。7用戶界面（user

interface）。該部分支持最終用戶與專家系統交互，使系統獲得用戶的問題或給出問題的答案。8完整系統構成如下圖910人們在日常生活中所使用的信息大多都是不能完全確定的。這使得現實世界中的事物以及事物之間的關系極其復雜，并帶來了大量的不確定性。比如，“這個人好瘦”，我們難以具體的數值來劃定瘦的界限。不確定性推理是利用不確定的知識和規則，從不確定的初始證據中推斷出仍具有一定不確定性的合理或接近合理結論的過程。11典型的不確定性推理方法。12主觀Bayes推理證據理論模糊邏輯信念網絡主觀Bayes推理又稱為主觀概率論，以概率論中的貝葉斯公式為基礎，是一種基于概率邏輯的不確定性推理方法。在貝葉斯公式中，在證據? 出現的前提下結論?

成立的條件概率?

(?

｜?

)被定義為：§?(?｜?)=

?(?)?(?｜?)?(?)13而在主觀貝葉斯推理中，引入了兩個數值(? ? ,

??

)用來度量規則成立的充分性和必要性。其中，??為充分性度量，代表證據?對?的支持程度，即當E越支持H為真時，LS值越大，其定義為：?? =

?(?｜?)?(?｜??)? ?

為必要性度量，代表??

（即E不成立）對?的支持程度，即E對H越重要時，LN值越小。其定義為：14由于是不確定性推理，所以證據發生的可能性會影響推理計算，以下給出確定性證據?

必然發生時，?

(?

｜?

)的計算方法：15?(?｜?)

=

??

?

?(?) (??

?1)?

?(?)+1下面是一個示例假定某氣候預測專家系統有如下規則：已知暴雨事件(H)的先驗概率?(?)

=

0.05；規則1：如果吹偏北到偏東風4～5級(?1)，則暴雨。設定(??1,

??1)為(24,1)；規則2：如果空氣濕度70％～90％(?2)，則暴雨。設定(??2,

??2)為(12,1)；規則3：如果前一天暴雨(?3)，則暴雨。設定(??3,

??3)為(54,1)。計算當證據

?1,

?2,

?3

必然發生的情況下，暴雨H的概率。16解答17已知H的先驗概率，規則?1,

?2,

?3必然發生，又因為??

>

1,

??

=

1，得出??對結論H沒有影響。按序使用規則??對先驗概率?(??)進行更新。1?(?｜?)

==??1

??(?) 24?

0.05(??1?1)??(?)

+

1 23?0.05+

1≈

0.5581證據?1的發生，使得暴雨的概率的概率由0.05增加到0.5581。1

2?(?｜??)

=??2

??(?｜?1) 12?

0.5581(??2?1)??(?｜?1)

+1 11?0.5581+

1= ≈

0.9380在證據?1的發生的基礎上，證據?2的發生，使得暴雨的概率的概率由0.5581增加到0.9380。12

3?(?｜???

)==??3

??(?｜?1?2) 54?

0.9380(??3?1)??(?｜?1?2)

+

1 53?0.9380+1≈

0.9988證據

?1,

?2,

?3的發生，最終使得暴雨事件發生的概率增加到0.9988。證據理論旨在處理那些不確定、不精確、或不準確的信息1967年首先被美國學者A.P.Dempster提出G.

Shafer于1976年出版了專著《證據的數學理論》，通過引入信念函數（Belief

function）的概念，進一步發展和完善，形成Dempster-Shafer證據理論（D-SEvidence

Theory）。18Dempster-Shafer證據理論假設了一個不變的兩兩互斥的完備元素集合，稱為環境，用希臘字母Θ表示

。例如：19Θ

=

{汽車，飛機，輪船，火車}Θ的每一個子集都可解釋為一個問題的可能答案。設有問題：

“哪些是陸上交通方式？”，其答案就是Θ的一個子集：{?1,

?4}={汽車，火車}當一個環境的元素可以解釋為可能的答案，但只有一個答案正確時，這個環境稱為辨識框架。辨識框架的一個子集稱為命題，每個命題A被分配一個信任度。在Dempster-Shafer證據理論中，證據的信任度被類比為物體的質量，即證據的質量支持信任。因此，證據的測度記為m，類似于質量的總量。我們這里稱之基本概率分配函數（BPA，也稱為m函數），其是一個P(Θ)

→[0,

1]的映射

。20證據的測度滿足以下條件

：21m(?)=0,??Θ?(?)=

1m(A)表示分配給證據A的基本概率質量m(Θ)為分配給辨識框架的基本概率質量在證據推理中，證據被歸納為一個證據區間。下限在證據推理中被稱為支持度，在Dempster-Shafer理論中被記為Bel；上限被稱為合情度，記為Pl。支持度是證據的最低信任度，合情度是給定的最大信任度，可表示為：22Bel(A)=??A

?(?)Pl(A)=A∩B≠?

?(?)Bel(A)表示是一個證據A和它所有子集的信任度總和，即證據A一定成立的支持度;

而Pl(A)表示所有與證據A有交集的子集的信任度之和,

即不否證據A的合情度

。23兩條相互獨立證據,

相應的BPA函數(m函數)為?

_1和?

_2,

對于任意的A?Θ,

Dempster組合規則可表示為：0,m(A)

=

[?1

⊕?2]

=

?1(?)?2(?)

,B∩C=A?=

?,?≠

?示例24對于Θ

=

{客機(簡稱K)，戰斗機(簡稱B)，轟炸機(簡稱F)}識別友機或敵機的傳感器(Identification

Friend

or

Foe,

IFF)是一個向飛機發射無線電信息的無線電收發器，如果飛機是友機，它的收發器就會發回自己的身份代碼作為回應。沒有做出回應的飛機因違背約定而被認為是敵機。假設該IFF未能得到回應表明有0.7的證據信任度說明目標飛機是敵機，這里敵機僅指轟炸機和戰斗機，只需要給子集{B,F}分配mass信任度：?1({B,F})=

0.7這里?1

指第一種IFF傳感器的證據，剩下的信任留給環境Θ，作為無信任：?1(Θ)=1-0.7=

0.3假設第二種感應器識別目標為轟炸機的證據信任為0.9，此時，從不同感應器所得的mass信任度如下：?2({B})

=

0.9，?2(Θ)

=

1

-

0.9

=

0.1這里,

?1,

?2指第一種和第二種類型的感應器的mass信任度。解答用Dempster組合規則可將這些證據合并得到組合mass信任度（記為?3）：25?3({B})=?1??2({?})=X∩Y={B}?1(?)?2(?)=(?1({B,F})?2({B})

+?1(Θ)

?2({B})) =(0.7)(0.9)

+

(0.3)

(0.9)

=

0.9

轟炸機?3({B，F})=?1??2({?,?})=X∩Y={B,F}?1(?)?2(?)=?1({B,F})?2(Θ)

=

(0.7)(0.1)

=

0.07

轟炸機或戰斗機模糊邏輯（fuzzy

logic）以多值邏輯為基礎，利用模糊集和模糊規則來處理“模糊性”信息所帶來的不確定推理問題。26設U為一組對象的集合，稱為論域，??為U的元素，記作U={?1,

?2,…,??}。論域U到[0,

1]區間的任一映射??：U

[0,

1]，可確定U的一個模糊子集（fuzzy

set）F,

則??稱為F的隸屬函數(membershipfunction)

。??(??)

表示??

對模糊子集F

的隸屬度(

g

r

a

d

e

of

membership)，即

??屬于模糊子集F的程度或等級

。27對于模糊子集F，我們可將其表示為其元素??與其隸屬函數??(??)的序偶集合，記為

：28?

=

{(??, ??(?))|??

∈

U}當??(??)僅取0和1兩個值時，模糊集合F便退化為一個普通集合。我們引入一個進一步的模糊集合表示方式：29F=??(?1)/?1+??(?2)/?2+…+

??(??)/??例如在“水溫適中”情景中，對于不同的水溫（0，10，20，

…,

100），其隸屬函數為：??(??)={?:0.0/0+0.0/10+0.33/20+0.67/30+1.0/40+1.0/50+0.75/60,0.5/70,0.25/80,0.0/90,

0.0/100}設A和B為U中的兩個模糊集合，隸屬函數為??和??A與B的并（邏輯或）記為A∪B：?A∪B(??)

= ?A(??)

∨ ?B(??) = ???{

?A(??), ?B(??)}例：給定

?A(??)

=

1,

?B(??)

=

0.75，我們有：?A∪B(??)=

???{

?A(??), ?B(??)}=max(1,0.75)=1A與B的交(邏輯與)記為A∩B：?A∩B(?)

= ?A(?) ∧ ?B(?) = ???{

?A(?), ?B(?)}A的補(邏輯非)記為?：??(??)

= 1 ? ?A(??)30如果模糊集合是論域U中所有滿足??(??)>0的元素??

構成的集合，則稱該集合為模糊集F的支集,

計作sup(F)。當??滿足??(??)=1.0時，則稱此模糊集合為模糊單點。與模糊支集相關的概念是?截集(trunc)，是論域的一個非空模糊集合，其元素具有大于或等于某一值?的隸屬函數。31模糊邏輯推理是建立在模糊集合基礎上，在二值邏輯三段論基礎上發展起來的一種不確定性推理方法，利用模糊語言規則，推導出一個近似的模糊判斷結論。主要模糊邏輯推理方法包括Zadeh法、Baldwin法、Tsukamoto法和Yager法等。接下來的內容將主要基于典的扎德(Zadeh)法。32一個關系聯系了兩個論域之間的元素，通常也稱為一個映射(mapping),

記為“→”。在上述例子中，關系R是一個A→B的映射

。33模糊關系是笛卡爾積論域上的一個模糊子集。具體來講，若U、V是兩個非空模糊集合，則其笛卡爾乘積U×V中的一個模糊子集R稱為從U到V的模糊關系，表示為：?×V={((?,ν),?R(?,?))|?∈U,?

∈

V}?R(?,

?)為模糊子集R中元素?、?的隸屬函數。一個在模糊邏輯中，模糊語言規則形式化為模糊蘊含關系，用來支持模糊推理。給定兩個模糊集合A和B，由A→B所表示的模糊蘊含關系是定義在笛卡爾積?

×

V

(U和V是兩個非空模糊集合)上的特殊模糊關系。常用的模糊蘊含關系算子及隸屬函數如下：34模糊合取

A→B

=

A×B：?{A→?}(?,?)=??(?)???(?)模糊析取A→B

=

A+B：?{A→?}(?,?)=??(?)+

??(?)下面是一個示例：例如一個溫度控制系統，其中論域U與V均為{1,

2,

3,

4

,5},

分別表示水溫與熱水閥的五個等級。設A表示U上的模糊集“水溫低”，A

=

{1/1

+

0.5/2

+

0.33/3

+0.25/4

+

0.2/5};

設B表示V上的模糊集“開大熱水閥門”，B

={0.2/1

+

0.4/2

+

0.6/3

+

0.8/4

+

1/5}。有如下的規則（IF水溫低，THEN熱水閥應開大），其對應的模糊合取蘊含關系A→B

=

A×B為？35解答：?{A→?}(?,?)=??(?)???(?)={0.2/(1,1)+0.4/(1,2)+0.6/(1,3)+0.8/(1,4)

+

1/(1,5)

+

0.1/(2,1)

+

0.2/(2,2)

+

0.3/(2,3)

+

0.4/(2,4)

+0.5/(2,5)

+

0.066/(3,1)

+

0.132/(3,2)

+

0.198/(3,3)

+

0.264/(3,4)

+0.33/(3,5)+0.05/(4,1)+0.1/(4,2)+0.15/(4,3)+0.2/(4,4)+

0.25/(4,5)+0.04/(5,1)+0.08/(5,2)+0.12/(5,3)+0.16/(5,4)+

0.2/(5,5)}36信念網絡(Belief

Network)用于處理因果關系的不確定性，其網絡拓撲結構是一個有向無環圖(DAG)。圖中的節點表示隨機變量，箭頭表示因果關系(或非條件獨立的變量或命題)。若兩個節點間以一個單箭頭連接在一起，那么代表這兩個隨機變量有因果關系(或非條件獨立)。如A→B，我們稱A為B的因，也稱父節點；B為A的果，也稱子節點。37下圖是一個最簡單的信念網絡，假設A事件發生的概率直接影響到B事件發生的概率，即A→B，則用從A指向B的箭頭建立有向邊(A,B)，這條邊的權值(即連接強度)用條件概率P(B|A)來表示：38令?

=(?

,?

)

表示一個信念網絡，其中，I代表圖形中節點的集合，E代表有向邊的集合，則所有節點的隨機變量集合?(??

∈

?)的聯合概率可以表示成：39P(?)=?∈?

?

??|???????(?)

其中，? (? ∈?(?

∈?

) 表示節點?) 表示? 中的某一節點，parent(i)的父節點，??和???????(?)分別表示節點? 及其父節點parent(i)

所代表的隨機變量。對于一個隨機變量集合?

=

{?1,

?2,

.

.

.

,

??}

，k表示隨機變量個數，其聯合概率可以由局部條件概率分布相乘得來：40P(?1,?,??)=P(??|?1,?,???1)?P(?2|

?1)P(?1)在X?

給定的條件下，X?+1

的狀態只和X?

有關。這種順次演變的隨機過程，

構成二階馬爾科夫鏈（

M

a

r

k

o

vchain），且有：P(??+1=?|?0,?1,?2,?,??)=P(??+1=

?|??)信念網絡有三種典型結構：head-to-head結構、tail-to-tail結構、head-to-tail結構，對應三種不同的依賴關系

。head-to-head結構也稱頭部-頭部依賴關系

。如果給定子節點C的取值，那么父節點A與B必不獨立；反之，子節點C的取值未知，那么節點A與B

滿足邊際獨立性。41tail-to-tail結構，尾部-尾部依賴關系，或同父關系，即由一個父節點生成兩個子節點

。如果給定父節點C的取值，那么子節點A與B條件獨立。42head-to-tail結構，也稱頭部-尾部依賴關系、順序關系，即由一個父節點生成一個子節點，再有這個子節點產生下一個子節點

。如果給定節點C的取值，那么節點A與B條件獨立。43在信念網絡中，我們不止需要掌握其聯合概率以了解信念網絡的整體情況，有時我們還需要了解信念網