ChatGPT專題市場簡析1.ChatGPT通過大模型突破AI瓶頸，GPT-4多模態應用帶動商業化加速概述：ChatGPT為NLP下的AI大模型，性能和使用體驗超預期ChatGPT是自然語言處理（NLP）下的AI大模型，通過大算力、大規模訓練數據突破AI瓶頸。2022年11月，OpenAI推出ChatGPT，ChatGPT基于GPT-3.5，使用人類反饋強化學習技術，將人類偏好作為獎勵信號并微調模型，實現有邏輯的對話能力。ChatGPT本質上是通過超大的統計語言模型，對詞語序列的概率分布進行建模，利用上下文信息預測后續詞語出現的概率分布，其表現的超預期反映了在算力水平提升的情況下大語言模型技術路線的成功，通過對大規模的未標注的文本數據進行訓練，突破了AI發展的技術瓶頸。根據《瞭望》新聞周刊報道，OpenAI為了讓ChatGPT的語言合成結果更自然流暢，使用了45TB的數據、近1萬億個單詞來訓練模型，訓練一次的成本高達千萬美元，一個月的運營成本需要數百萬美元。概述：OpenAI傾力打造ChatGPT，獲得微軟有力加持ChatGPT出自美國AI創業公司OpenAI，是AI大模型領域的領軍者。OpenAI在2015年由SamAltman、PeterThiel、ReidHoffman、ElonMusk等人創辦。公司成立之初，即確定了包括制造“通用”機器人和使用自然語言的聊天機器人的發展目標。2019年，OpenAI獲得來自微軟的10億美元投資，為Azure云端平臺服務開發AI技術。2018年起，OpenAI開始發布GPT（GenerativePre-trainedTransformer）模型，2020年發布GPT-3，可以完成答題、寫論文、代碼生成等任務，被視為人工智能競賽的里程碑事件，并直至ChatGPT的推出引起AI的熱潮。除了NLP領域，OpenAI還在多模態領域取得成就，包括發布了AI圖像生成器DALL-E2，對音頻轉錄編輯器Descript、AI筆記應用Mem等進行投資。演變：GPT-1—無監督預訓練+有監督微調GPT-1發布于2018年6月，參數量達1.17億，預訓練數據量約5GB。GPT-1包含預訓練和微調兩個階段，考慮到自然語言處理任務中有標簽的語料少，GPT-1先在大量的無標簽數據上訓練語言模型，然后在下游具體任務（如分類、常識推理、自然語言推理等）的有標簽數據集上進行微調。1）在無監督訓練中，GPT-1采用Transformer的架構，即標準的語言模型的目標函數，通過前面的詞預測后面的詞；2）在有監督訓練中，采用標準的分類目標函數，僅需對第一階段預訓練的語言模型做出很小的結構改變，即可應用于各種下游任務。GPT-1使用了BooksCorpus數據集來訓練語言模型，其中有7000余本未出版的書籍。具體表現上，在有監督學習的12項任務中，GPT-1在其中9項上的表現優于專門訓練的受監督模型。演變：GPT-2—無監督預訓練+多任務學習GPT-2發布于2019年2月，參數量達15億，預訓練數據量約40GB。GPT-1使用的概率條件模型為p(output|input)，GPT-2使用相同的無監督模型學習多個任務，將概率條件模型修改為p(output|input,task)，期望模型對不同任務的相同輸入產生不同的輸出。此外，GPT-2采取Zero-shot設定，不需要下游任務的標注信息，而是根據給定的指令理解任務。因此GPT-2的核心思想在于多任務學習。GPT-2訓練的數據集來自社交新聞平臺Reddit，共有約800萬篇文章，體積超40GB。具體表現上，在8個語言模型任務中，僅通過Zero-Shot學習，GPT-2在其中7個上領先。GPT-2表明，隨著模型容量和數據量增大，GPT模型的潛力仍有望進一步顯現。展望：GPT-4—此前外界預期參數量變化不大、使用門檻有望降低GPT-4備受業界期待，訓練成本控制有望帶動商業潛力的極大增強。ChatGPT的突出表現使得外界對GPT-4十分期待，自2021年以來便有報道稱GPT-4“即將推出”，OpenAI公司CEOSamAltman今年受StrictlyVC采訪時表示GPT-4將在“有信心可以安全且負責任地運行時”推出。外界此前也曾預期，GPT-4的推出或分階段進行，例如GPT-3也是先開放給合作伙伴、付費用戶和學術機構，才在2022年底開放給公眾。在參數量上，針對有傳言稱GPT-4參數量將達到百萬億，OpenAI公司CEOSamAltman予以否定。此外，AI專家AlbertoRomero預測，GPT-4的重點在數據處理優化上，因此其使用門檻有望降低，我們預計訓練成本的控制將帶動其商業潛力的增強。展望：GPT-4—最新消息稱推出在即、支持多模態最新消息稱GPT-4將于下周推出，支持多模態應用，開啟通往人工通用智能之路。根據德國科技媒體“heise在線”報道，當地時間3月9日，微軟德國公司首席技術官AndreasBraun在名為“AIinFocus-DigitalKickoff”的活動中透露稱“將在下周推出GPT-4，它將是一個多模態模型，會提供完全不同的可能性——例如視頻”。這意味著GPT-4可以管理不同語言數據的輸入和輸出，也能夠做到輸出圖像甚至視頻。在活動上，微軟AI技術專家對多模態AI的應用案例進行了介紹，例如能夠將電話呼叫的語音直接記錄成文本，這為微軟位于荷蘭的一家大型客戶節省500個工作小時/天。GPT-4對多模態的支持使得外界對模型潛力的預期進一步強化，原因在于多模態感知是建立人工通用智能（AGI）的重要一步，基于此能夠執行人類水平的一般任務。商業模式：C端推出訂閱制會員，B端提供調用API接口ChatGPT迅速走紅，以訂閱制服務B端、C端客戶，成本控制下將有效加速商業化落地。ChatGPT自年初以來，持續出圈，截至2023年1月末月活突破1億，成為史上增長最快的消費者應用。考慮到計算資源所牽涉的龐大訓練成本、運行成本，ChatGPT的商業化路徑已正在探索、明確中。商業模式—1）C端：OpenAI發布ChatGPTPlus訂閱計劃，每月收費20美元，相較于免費版本，即便在高峰時段用戶也能正常訪問ChatGPT，響應時間更快，可以優先使用新功能，有望引領AI技術變現新模式；2）B端：OpenAI發布ChatGPTAPI，開發者可以將ChatGPT集成到產品中，價格為$0.002/1ktoken，相較于GPT-3.5降低90%，我們預計成本控制后有望快速帶動GPT相關應用爆發。根據微信公眾號“智東西”，生鮮電商Instacart、跨境電商Shopify、照片分享應用Snap、單詞背誦應用Quizlet等已率先接入ChatGPTAPI。2.Transformer架構支撐GPT走向多模態，構筑AIGC領域核心基石GPT采用的Transformer架構在NLP領域已躋身主流GPT沿用主流Transformer模型，該模型采用自注意力機制，在NLP上表現優于RNN（循環神經網絡）。2017年，谷歌在《AttentionisAllYouNeed》中提出Transformer模型，可用于文本摘要、機器翻譯等NLP任務。在NLP方面，Transformer模型的自注意力（self-attention）機制可以為輸入序列中的任意位置提供上下文，進而模型能夠一次性處理所有輸入數據，而非RNN一次只處理一個單詞的情況，由此模型可以減少訓練時間，能夠在更大的數據集上進行訓練。目前，基于Transformer的預訓練語言模型已成為NLP領域的主流。Transformer也可用于CV領域，相較于CNN實現性能巨大提升Transformer也可用于CV（計算機視覺）領域，表現出巨大的性能提升。CV領域此前更多由CNN（卷積神經網絡）主導，而Transformer憑借著自注意力機制，表現出了巨大的性能提升。根據微軟亞洲研究院，Transformer在圖像分類、物體檢測等任務中刷新了測評記錄，例如2020年Transformer被首次應用于圖像分類任務，結合海量的預訓練數據，ViT在ImageNet-1K的validation評測集上取得88.55%的準確率。Transformer也在視頻動作識別、視覺自監督學習、圖像復原、圖像分割等視覺任務中取得優異成績。谷歌提出的ViT-MoE模型目前在參數量上領先，達到了150億。Transformer支撐下GPT有望走向多模態，構筑AIGC領域核心基石GPT有望基于Transformer延伸至多模態，構筑AIGC核心基石，GPT-4或實現領跑。當前，基于Transformer的多模態學習成為AI領域的研究熱點，研究者們提出了大量的Transformer變體。鑒于Transformer具有較少的特定于模態的架構假設，以及生成式預訓練、大模型&大數據路線的成功，Transformer能夠聯動CV與NLP，通過聯合建模完成，打破CV與NLP領域之間的壁壘。微軟亞洲研究院2022年推出BEiT-3預訓練模型，在目標檢測、實例分割、語義分割、視覺推理、圖片描述生成等任務上取得了SOTA的遷移性能。我們認為，基于Transformer架構，GPT未來有望延伸至多模態，助力內容創作由UGC、PGC全面走向AIGC，賦能通用領域以及金融、教育、醫療、傳媒等垂直行業。3.通用與垂直場景多點開花，GPT變革內容生成與交互方式通用場景：搜索引擎—GPT+文本&圖像&視頻重塑搜索結果呈現方式搜索引擎接入GPT后結果呈現方式大為變化，或影響行業盈利模式與競爭格局。用戶使用傳統的搜索引擎時，需要手動翻閱搜索結果，判斷是否為所需要的信息；而當搜索引擎接入GPT后，用戶可直接獲得答案集合。盡管受制于訓練語料、成本等因素，答案準確性有待商榷，但在結果呈現方式上實現了變革，未來或與傳統的搜索引擎相結合。如進一步實現多模態，搜索結果將更加豐富。微軟在Bing中上線ChatGPT能力并開啟測試，以聊天方式展示搜索結果，并可在對話中推薦廣告。微軟必應官方博客宣布，目前Bing日活突破1億，集成搜索+聊天功能的Bing預覽版自推出以來總聊天次數已超過4500萬次。鑒于微軟可能掀起搜索行業的第二次變革并顛覆此前的盈利模式，谷歌在2月初展示由大型語言模型LaMDA驅動的類ChatGPT應用——Bard，并計劃大范圍推廣。通用場景：辦公軟件—GPT+文本&圖像打造效率型生產力工具GPT有望融入辦公流程，率先推動辦公軟件轉型為智能辦公平臺。微軟將于3月16日召開名為“FutureofWorkwithAI”的發布會，預計將展示ChatGPT類技術在Teams、Word、Outlook等生產力套件中的應用。我們認為，在GPT的賦能之下，辦公軟件作為效率型生產力工具的屬性將更加突出，功能上將更加智能化，用戶有望享受到智能辦公平臺所帶來的便利性與效率大幅提升。例如，在Word中，GPT將能夠幫助用戶生成文本，或將文檔集匯總為關鍵點，使得用戶快速理解和分析信息；在Outlook中，GPT可以處理收件箱文本，幫助用戶更快捷地撰寫或回復電子郵件；在Excel中，能夠根據提示提取數據，如要求“按照利潤列出世界前五大公司”后，生成Excel公式或制作可視化圖表。垂直場景：教育—GPT+文本&對話&翻譯催化啟發式、個性化教學GPT有望催化“啟發式”教學模式，加快教育領域的個性化、多樣化變革探索。ChatGPT可以理解為一名“全能教師”，即便是小眾、冷門的領域，也能夠給出相對有邏輯的回答。我們認為，GPT技術將催化“啟發式”教學模式，引導學生更加積極主動地進行思考、發問，并與“全能教師”進行對話探討，這有別于傳統的應試教學模式。垂直場景：金融—GPT+文本&對話賦能客戶服務、投研支持GPT有望對金融行業的經營、管理、產品營銷及客戶服務等方面產生巨大影響。近年來，金融機構在合規趨嚴、人力成本上升等因素的影響下，對于數字化建設的意愿強烈。考慮到ChatGPT在內容生成等方面的突出表現，我們認為，GPT有望率先落地對外的客戶服務與對內的投研支持。以銀行業為例，電子客服仍處于AB判斷階段，引入GPT將更好地服務于客戶需求；在證券、基金業，個人投資者存在的大量疑惑將可通過GPT解決，機構投資者在投研中也將獲得來自GPT的協作。GPT有望重構金融行業客戶服務端，也有望進一步增強機構內部的投研能力，助力經營效率提升與成本優化。垂直場景：醫療—醫療信息化廠商卡位核心系統，助力構建GPT能力醫療信息化公司作為醫療機構信息化底座提供者，有望助力構建GPT能力。根據復旦大學附屬華山醫院信息中心主任黃虹在接受第一財經采訪時透露的情況，醫院內部落地GPT的場景包括：就醫導診，以提升醫療效率；構建內部知識庫，以提升臨床研究效率；匯集歷史病歷，輔助醫生提升電子病歷