2017賽變成了一個類似于ImageNet一樣大家可以刷榜的競賽，所有的人都在爭取第一，但這也同時變相的促進了技術的進步；最早MSA周銘老師的隊伍，后來科大訊飛和哈工大的老師一起做，成績也都不錯；SQuAD1.0的時候榜單上最好的成績是83%左右，但是后來斯關注Google出了個模型叫做Bert，我們內部笑稱它是大力出奇跡，它的具體原理很簡單就是找一個model能夠融合我所有的數據，然后不管讓它自己訓練去，Google資金充足算力強，需要等兩周，但對于我們普通公司來說，會等待更長的時間。NLP是一件比較綜合的事情，做好還是比較難的，我們這一行有兩個不太好的狀況我們現在拿到的GPU最早是給Image設計的，都是四四方方的，它對圖像處理是得天獨厚的NVDIA對圖像的處理20NLPDNNImage我們語言不是一個規則的東西，做結構化分析和鏈式分析都不是很好做，這些事情在GPU上運行是非常非常難受的，需要做很多額外的預處理操作；回到Bert，它真的是大力出奇問答系統在自然語言處理里其實已經有很多很多年了，他是一個NLP的標桿性應用，我們學生們的理解水平；現在問答在NLP里面有很多作為核心技術的應用，比如說智能客服和siri圖1實用問答系統的舉例WolframAlpha圖2問題“明天需要帶傘嗎？”然后Bingbot，比較傳統的結構它是一個模塊化的系統，第一步，有了用戶的query以后，我們并行計算querygoogledocs，然后我們在其中根據query匹配答案；閱讀理解跟基于搜索的問答非常像，只不過這個問答不用你圖3基于搜索的自動問答圖4接下來是端到端閱讀理解，閱讀理解數據集sQuAD我之前已經講過，它是以Wikipedia（span）。還有一個不太有名的比較復雜的數據集是MSMARCO，它的問題來自搜索引span，還需要做一些提取和綜合答案，因為比較復雜，所以做圖5詞Focuswords，焦點詞分為顯性和隱性兩種，它聲明了答案的類型；第二步驟是在文章預期答案類型，同樣的問答類型的識別可以用粗顆粒答案類型和直接使用query中的焦點圖6模型整體結構示意圖成四塊：最底層是Representation（特征表示層），作用是看這個詞在這個場景中是什么答案，我們要在model中把問題的信息通過這個機制對每一個字進行重新表示，利用注意力機制融合問題和篇章信息，我們用的模型是Match-LSTM、BiDAF和DCA等；最后我spanSpan應的細節大家可以再paper上面找，我這里就不詳細講了。如果大家想做這個方面的問答AI真正的落地。對話的用戶體驗是一個更自然的體驗，我對和個對話用戶體驗很認同。因為對任何人來說最重要的事情就是時間；因為這個時間都是24小時，時間過去了再也不會學習App如何使用其實是我們并不關心的。我們年輕人來說還好，但是對于我們的父母和吃，我們并不關心App是在哪里？怎么用？如何選取優惠現在慢慢的大家都開始關注小程popularApp吸引力了，有了小程序，可以慢