復旦大學關鍵字、語音信息、知識、常識任何可聯網的設備自然語言(語音)、環境信息、知識、常識任何可聯網的設備(眼鏡、車載、音箱、服務機器人)關鍵詞10條鏈接關鍵詞10條鏈接搜索(用戶閱讀)答案答案問答(機器閱讀)Q:汽車沒電了打不著火怎么辦?A:首先需要—根跨接電線,然后將兩車的車頭面對面…Q:大紅袍是什么茶?A:烏龍茶。Q:學生證買火車票—年能用幾次?A:4次。獼猴桃和奇異果有什么區別腰肌勞損掛什么科用戶需求強,難度大問題類型多用戶需求強,難度大問題類型多①約1/4用戶查詢是問答需求②更長尾,更偏向自然語言描述眼鏡蛇和眼鏡王蛇的區別蜂蛹泡酒的功效人有多少顆牙齒什么是幽門螺旋桿菌事實類,非事實類,觀點類沒有房產證的酒店拆遷如何補償事實類,非事實類,觀點類沒有房產證的酒店拆遷如何補償低燒可以進藏嗎手機怎么注冊淘寶賬號落地簽證是什么意思查詢類別蘋果蘋果燙手機信號不好充電器可以托運手機信號不好充電器可以托運嗎嗎搜索請求占比怎么辦問答24%傷的水泡會自然非事實類傷的水泡會自然消嗎消嗎小說神經繃緊怎么回事9%神經繃緊怎么回事教育7%人物頂頂絡意思知識4.5%家原家原能減肥嗎肥嗎2%購物大米生大米生了還能吃網很卡是什么原因交首付款注意事項折耳兔怎么養故鄉魯迅發生的變化的原因石家莊市銀監局投訴電話是多少疝氣會影響生育嗎Apple官方支持:如果您的、或開不了機或死機怎么辦用戶:iPhone死機了怎么辦蘋果8突然卡死,主界面不能動,在線急等我的腎7突然無法操作,這種情況怎么解決?用戶輸入與標準問法差別很大腦袋測得出的東西叫智商,小孩子發燒38腦袋測不出的東西叫智慧;發燒41度怎么辦耳朵聽得到的動靜是聲音,定金訂金耳朵聽不到的動靜是聲譽;嘴里說得出來的話叫內容,嘴里說不出來的話叫內涵;QueryQueryMatchingscore基于句子表示的方法RepresentationQueryMatchingscore基于句子表示的方法NeuralNetworkNeuralNetworkNeuralNetworkDocumentDocumentQueryMatchingsignalsMatchingscore基于交互關系的方法DocumentRepresentationQueryMatchingsignalsMatchingscore基于交互關系的方法DocumentAggregationDSSM:LearningDeepStructuredSemanticModelsforWebSearchusingClick-throughData(Huangetal.,CIKM’13)Convolutionalneuraltensornetworkarchitecturefor短文本蘊含信息不足，通過自適應注意力機制從外部qrnn1qrnn2q att1Qhidden1att2Qhidden2Qhidden3QueryEmbeddings:BilinearsigmoidsigmoidDocEmbeddings:Dhidden1Dhidden2Dhidden3Query和Doc的多層交互,三層QRNN提供了由淺到深的語義編碼能力Attention機制建模Query和Doc的語義—致性,利用Query重構Doc上下文表示的能力,語義信息層層遞進BilinearSimMatrixQueryEmbeddings:QhiddenDAtt基于QRNN和注意力機制的表示學習序列表示，3倍加速于LSTMBilinearSimMatrixQueryEmbeddings:QhiddenDAttDhiddenBilinear注意力機制加強Query-Doc的交互BilinearmaxmaxDembdDocEmbeddings:DocEmbeddings:Query-問題匹配精度損失Chrome瀏覽器歷史怎么刪除Query-問題匹配召回損失答案質量問題答案非所問答案權威性問題答案時效性問題語料庫怎么構建弱監督數據如何使用周杰倫蠟像什么時間亮相上海杜莎夫人蠟像館?答案答案2015年之前的模型:單詞匹配、邏輯回歸、分類等2015年之后的模型:神經網絡答案結束位置答案結束位置答案開始位置答案開始位置搜索問答文檔類型Wiki的段落網頁文本文檔質量高質量頁面種類多，質量差異大UGC內容低質文檔長度平均長度138個詞，300詞以下占比98%平均長度約460字（視頻等非文本頁內容少600字以上占比約1/3文檔是否有答案1.0一定存在答案2.0不一定存在答案不一定存在答案單個搜索結果答案可能錯誤搜索中的答案可能客觀錯誤R-NET:MACHINEREADINGCOMPREHENSIONWITHSELF-MATCHINGNETWORKS,ACL2017模型假設文本中存在正確答案，而真實場景模型容易出現常識性錯誤，對于涉及推理的問題效果不好；推理問題，也有助于提高答案抽取的精度和置信度；--加入答案存在性判斷在字、詞表示基礎上加入外部知識表示（全局/局部詞頻、LexicalAnswerType、Entity類型、POS、網頁質量特征等）思路：以詞為單位的表示和注意力機制基礎上，融入以句子為單位的0.90.80.70.60.50.40.30.20.100.50.60.70.80.91詞級別和句子級別的分層交互，解決文聯合學習答案存在概率和起止位置概率增強上下文相關的表示能力詞級別和句子級別的分層交互，解決文聯合學習答案存在概率和起止位置概率增強上下文相關的表示能力問題：采用DistantlySupervised方法標注的