分享人：李直旭（研究員、博導）復旦大學知識工場實驗室執行副主任、數據工程與多模態智能?澳大利亞昆士蘭大學計算機科學博士?中國人民大學信息學院計算機學士&碩士?前蘇州大學計算機學院教授、博導?前科大訊飛蘇州研究院副院長（兼）主要研究方向為知識圖譜、知識工程與認知 AIGC時代：未來已來上圖摘錄自：國泰君安證券《上圖摘錄自：國泰君安證券《ChatGPT研究框架(2023)》AIGCAIGC（一個很有意思的畫，來自互聯網）?GoogleImagen的高清作畫?太乙StableDiffusion的意境繪畫在機器人操作規劃、視覺問答和字幕生成等任務中進行了端到端的訓練主要架構思想：將連續的、可感知的觀察數據注入預先訓練的語言模型的嵌入空間中，以使其能夠理解這些連續數據。這是通過將連續觀測數據編碼為與語言嵌入空間中的語言標記具有相同維度的向量序列來實現的。這種連續信息以類似于語言標記的方式注入語言模型中。?RichSutton在著名文章《苦澀的教訓》中：?唯一導致AI進步的是更多的數據、更有效的計算。?DeepMind研究主任NandodeFreitas宣稱：?AI領域更難的挑戰已經解決了。「游戲結束了！」?目前，大多數領域，大模型已經（暫時）戰勝了精心設計的知識工程。邏輯推理不靠譜：不論是數學邏輯還是專業邏輯Q：紅樓夢中賈寶玉為什么要葬花邏輯推理不靠譜：不論是數學邏輯還是專業邏輯Q：紅樓夢中賈寶玉為什么要葬花？A：據小說描寫，賈寶玉葬花的原因是因為他感到世間美好事物的短暫和凋零…A：不是同一個人，魯迅和周樹人是兩個不同的人。魯迅…而周樹人(1895年1月25日-1968年11月6日)也是中國著名的現代作家和翻譯家，代表作品有《春蠶》、《子夜》等。強語言，弱知識：“一本正經地胡說八道”A：根據題目可知，3個人在三天內用了3桶水，可以推算出每天每人用水量為：3桶/3人/3天=1桶/人/天因此，在9個人使用9天內需要的總用水量為：所以，9個人在九天內需要用81桶的水。（正確答案應該是：27桶水）實時信息自更新慢，新舊知識難以區分A：實時信息自更新慢，新舊知識難以區分A：現任韓國總統是文在寅。A：抱歉，目前還沒有關于GPT-4的官方發布計劃和消息。無法真正為領域類問題提供專業、靠譜的答案Q：華為手機沒電了，請問能否使用蘋果手機的充電器A：可以的，蘋果手機和華為手機使用的充電器接口都是標準的USB接口，因此蘋果手機的充電器也可以用來給華為手機充電。不過，請注意使用符合標準的充電器。AIGC跨模態生成雖然視覺效果驚艷，但往往存在較大“在車上看手機是否合法”進行推理。谷歌的PaLM-E雖然依賴于如此大規模谷歌的PaLM-E雖然依賴于如此大規模如果要在真實世界的復雜場景中達到實用級別，將文本中的語言符號知識，與視覺中的可視化信用語言解釋視覺：將語言中蘊含的符號知識體系和邏輯推理能力延伸至對視覺內容的理解；重要前提重要前提現實狀況組合泛化問題屬性泄露問題方位理解混亂事實知識不足邏輯推理欠缺常識儲備不足統計模型難以較低成本全面準確地掌握人類的知識、常識 多模態認知智能抽取抽取生成corpora群智生成corpora群智（符號/隱性）OLM萃取Languagemodel OLM萃取Languagemodel （符號主義）（連接主義、經驗主義）統計學習?端到端、干預少?易推理、可控、可干預、可解釋?“數”盡其用?信息損失海量預訓練數據精選數據+專家知識海量預訓練數據往往難以學習從因到果、從主到次、從整體到部分、從概括到具體、從現象到本質、從具體到一般往往難以學習從因到果、從主到次、從整體到部分、從概括到具體、從現象到本質、從具體到一般等邏輯關系）：《葡萄牙人》《葡萄牙人》多）：多模態知識圖譜的兩種常見形式：X.Zhu,Z.Liet.al.Multi-ModalKnowledgeGraphConstructionandApplication:ASurvey,AcceptedbyTKDEinDec.2022知或不確定的領域難以進行有效的知識建模?人工成本低：不依賴人工Schem多模態大模型的不足 AIGCforMMKG ）：?從語言大模型中探測語言知識??從語言大模型中探測語言知識?從語言大模型中探測關系知識?從多模態大模型中探測跨模態對齊知識?從多模態大模型中探測視覺常識知識文本：利用ChatGPT的理解和生成能力，從給定文本中抽取三元組知識多模態：利用多模態AIGC文本：利用ChatGPT的理解和生成能力，從給定文本中抽取三元組知識/largLLM輔助搜索候選實體進行KG補全跨模態生成和推理賦能MMKG的補全和表示學習基于大模型的常識知識和通用抽取能力輔助AIGC…ChatGPT的知識問答評測結果：…… MMKGforAIGC約束生成方案：2.對于文本生成，通過鏈接到多模態知識圖譜的具體實體，提供實體關系屬性和實體AIGC+MMKG了跨模態的語義理解能力。未來可以融入MMSemi-ParametricNeuralImageSynthesis.BlattmannA,etc.NIPS2022Re-Imagen:Retrieval-AugmentedText-to-ImageGenerator.ChenW,etc.ArXiv2022Textinversion:微調文本編碼使得生成圖片和給定物體/風格接近AnImageisWorthOneWord:PersonalizingText-to-ImageGenerationusingTextualInversion.RinonG,etc.ArXiv2022DreamBooth:微調unet使得生成圖片和給定物體接近DreamBooth:FineTuningText-to-ImageDiffusionModelsforSubject-DrivenGeneration.NatanielR,etc.CVPR2023通過在因果圖譜上的檢索、推理和融合，將因果信息融入LiDu,XiaoDing,YueZhang,KaiXiong,TingLiu,andBingQin.(2022).AGraphEnhancedBERTModelforEv