從三大維度詳解ChatGPT_第1頁
從三大維度詳解ChatGPT_第2頁
從三大維度詳解ChatGPT_第3頁
從三大維度詳解ChatGPT_第4頁
從三大維度詳解ChatGPT_第5頁
已閱讀5頁,還剩14頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

從三大維度詳解ChatGPT2022年11月,OpenAI推出ChatGPT聊天機器人,以對話的形式與用戶進行連續性的交互,上線2個月后用戶數超過1億,用戶數量增長迅猛。ChatGPT屬于AIGC的具體應用,相比過去的AI產品,在模型類型、應用領域、商業化等層面也呈現出新的特點。一、發源于OpenAI,成名于生成式語言OpenAI是一家世界領先的非營利性人工智能研究公司。OpenAI于2015年在舊金山成立,是一家非營利的人工智能研究公司,公司的目標是以最有可能造福全人類的方式推進人工智能,而不受財務回報需求的約束。OpenAI創始人背景深厚,由埃隆·馬斯克與硅谷孵化器YCombinator投資人山姆·阿爾特曼等人聯合創立。公司研究人員經驗豐富,包括前GoogleBrain研究科學家伊利亞·蘇茨凱弗與前Stripe首席技術官格雷格·布羅克曼等世界一流研究工程師與科學家。2018年,隨著特斯拉對AI的應用深入,為避免潛在利益沖突,馬斯克主動離任董事會,僅保留捐資人和顧問的身份。由于AI訓練花費金額巨大,2019年公司從非營利性公司轉向部分盈利公司,成立了OpenAILP利潤上限子公司,即任何對OpenAILP投資的收益都將統一轉移至一家非盈利公司,回報達到投資的100倍后進行利潤分配。同年,OpenAI收到微軟注資10億美元,就Azure業務開發人工智能技術。2020年發布GPT-3語言模型,由微軟獲得獨家授權。2022年發布ChatGPT的自然語言生成式模型,帶來更大潛在應用空間。2023年,微軟擬對OpenAI追加數十億美元投資,利用自身算力基礎設施資源發揮與OpenAI業務協同效應,深入布局生成式AI技術。2016年,推出用于開發和比較強化學習算法的工具包OpenAIGym,加速公開社會中RL研究進度。同時推出Universe軟件平臺,用于測試和訓練AI在全球游戲、網站和其他應用程序中的智能程度。2019年,OpenAI推出深度神經網絡MuseNet,可以使用4種不同的樂器生成10分鐘的音樂作品以及最終模型版本的GPT-2。2020年,研發團隊在GPT-2的基礎上拓展參數,發布了GPT-3語言模型。2021年,發布了轉換器語言模型DALL·E,從文本描述生成圖像。2022年,OpenAI在GPT-3.5的基礎上推出了ChatGPT,強化了人工智能的語言對話能力,引起社會廣泛關注。▲OpenAI產品OpenAI當前盈利主要通過付費API接口,并嘗試拓展盈利模式。目前,OpenAI提供GPT-3、Codex以及DALL·E的API數據接口,分別執行用戶自然語言任務、自然語言轉換為代碼的任務以及創建和編輯圖像的任務。API接口根據類型不同以流量收費,比如圖像模型以分辨率分類按張數收費,語言模型則以基于的子模型型號按字符數收費。OpenAIAPI盈利情況較好,據路透社數據,OpenAI2022年收入數千萬美元,公司預計2023與2024年收入分別為2億美元和10億美元。同時,OpenAI正嘗試拓展自身盈利模式,2023年1月試點推出訂閱制ChatGPTPlus,收取每月20美元的會員費以得到各類優先服務。▲OpenAIAPI價格ChatGPT使用來自人類反饋的強化學習(RLHF)來訓練該模型。首先使用監督微調訓練了一個初始模型:人類AI訓練員提供對話,他們在對話中扮演雙方——用戶和AI助手。其次,ChatGPT讓標記者可以訪問模型編寫的建議,以幫助他們撰寫回復。最后,ChatGPT將這個新的對話數據集與原有數據集混合,將其轉換為對話格式。具體來看,主要包括三個步驟:1)第一階段:訓練監督策略模型。在ChatGPT模型的訓練過程中,需要標記者的參與監督過程。首先,ChatGPT會從問題數據集中隨機抽取若干問題并向模型解釋強化學習機制,其次標記者通過給予特定獎勵或懲罰引導AI行為,最后通過監督學習將這一條數據用于微調GPT3.5模型。2)第二階段:訓練獎勵模型。這一階段的主要目標,在于借助標記者的人工標注,訓練出合意的獎勵模型,為監督策略建立評價標準。訓練獎勵模型的過程同樣可以分為三步:1、抽樣出一個問題及其對應的幾個模型輸出結果;2、標記員將這幾個結果按質量排序;3、將排序后的這套數據結果用于訓練獎勵模型。3)第三階段:采用近端策略優化進行強化學習。近端策略優化(ProximalPolicyOptimization)是一種強化學習算法,核心思路在于將PolicyGradient中On-policy的訓練過程轉化為Off-policy,即將在線學習轉化為離線學習。具體來說,也就是先通過監督學習策略生成PPO模型,經過獎勵機制反饋最優結果后,再將結果用于優化和迭代原有的PPO模型參數。往復多次第二階段和第三階段,從而得到參數質量越來越高的ChatGPT模型。▲ChatGPT模型原理從ChatGPT的訓練原理中,我們不難發現,這一訓練過程存在幾個特點:1)采用的是單一大模型。在GPT模型興起之前,大多數AI模型主要是針對特定應用場景需求進行訓練的小模型,存在通用性差、訓練數據少、適應范圍小的弊端。而我們看到,ChatGPT雖然在過程中使用了獎勵模型等輔助手段,但最終用于實現自然語言理解和生成式功能的主模型只有一個,但卻在語義理解、推理、協作等方面表現出了更強能力。因此,ChatGPT的成功,驗證了參數增長、訓練數據量增大,對AI模型的重要意義。2)采用的是小樣本學習方法。在小樣本學習(Few-shotLearning)方法下,AI預訓練模型在不必使用大量標記的訓練數據,就可以建立起比較通用的泛化能力。簡單來說,小樣本學習即是在給定有限信息和較少訓練數據的情況下,嘗試對總體規律進行理解和預測,這一過程類似于“學習如何去學習”。對于小樣本學習在ChatGPT中的應用,我們認為,這一方法解決了大模型數據標注工作量巨大的問題,是模型得以迅速迭代的基礎。3)采用人類反饋微調監督學習。ChatGPT是從GPT3.5(即InstructGPT)改進而來的版本,相比于前代,ChatGPT主要變化在于采用了人類反饋機制,對監督學習過程進行微調。本質上來說,無論是大模型還是小樣本學習,解決的目標都是提升訓練的效率,但真正令ChatGPT實現結果準確、合理的關鍵技術,還是在于加入了人類反饋。據LongOuyang等人2022年發表的《Traininglanguagemodelstofollowinstructionswithhumanfeedback》,InstructGPT僅用13億個參數就實現了比1750億個參數的GPT-3更優的輸出解雇,顯著提升了真實性、減少了有害信息的輸出。二、三大維度拆解GPT模型特征拆解GPT模型可以幫助理解ChatGPT之所以強大的原因。從前面的討論中,我們發現,ChatGPT的成功離不開AI大模型的加持,強大的算法訓練模型,使得ChatGPT在迭代中獲得實現接近自然語言的表達能力。而這一切的核心,都來自一個模型:GPT模型。因此,以GPT模型為核心,從三個維度出發去拆解GPT模型,以此進一步挖掘ChatGPT強大背后的原因。維度一:單一大模型:ChatGPT使用單一大模型,積累強大底層通用能力。對于ChatGPT所用到的訓練模型,從模型體量來看,屬于AI單一大模型的范疇。對比傳統AI訓練模型,單一大模型的“大”體現在:1)更多的模型參數量;2)更大的數據處理量;3)更大的訓練計算量。模型體量的增大,帶來的最直接變化,在于AI模型通用能力的跨越式提升。傳統的AI訓練方法,大多以單一知識領域的應用為目標,主要使用特定領域有標注的數據進行模型訓練,模型通用性差,如果更換使用場景,往往需要進行重新訓練。而大模型的訓練,一是能使用的數據來源更加廣泛,可用數據量更大;二是對標注要求更低,只需要對數據進行微調甚至不調就可以用于訓練;三是輸出的能力更加泛化通用,在語義理解、邏輯推理、文本表達等方面能力更出眾。從通用到特殊,單一大模性具備豐富的垂直領域應用潛力。基于對底層能力的訓練,AI大模型積累了對于數據背后特征和規則的理解,因此在進行垂直領域的時候,可以做到“舉一反三”。這一過程,與人類學習知識的過程類似,都是先學習如何去學習,再構建聽說讀寫能力,最后在不同學科深入探索。AI大模型也是一樣,在完成通用能力積累之后,可以將學習能力移植到需要應用的特定領域,通過投喂垂直領域數據,可以使模型達到目標場景所需的性能。▲單一大模性具備豐富的垂直領域應用潛力從大模型自身的發展過程來看,參數量的變化是一個非常值得關注的指標。從最早的ResNet、Inception等模型,到如今的GPT,模型參數量不斷增長。2018年前后OpenAI先后推出Transformer和GPT-1模型,參數量來到1億級別。隨后谷歌提出3億參數的BERT模型,參數量再次增長。2019、2020年,OpenAI加速追趕,陸續迭代出GPT-2、GPT-3模型,參數量分別為15億、1750億,實現模型體量質的飛躍。另一方面,參數運算需要大規模并行計算的支持,核心難點在于內存交換效率,取決于底層GPU內存容量。以英特爾為例,從2017年V100的32GB內存到2020年A100的80GB內存,GPU內存容量的提升量級與模型參數相比顯然不在同一量級。而ChatGPT的解決方法,則是與微軟聯手,借助Azure強大的基礎算力設施,為ChatGPT提供訓練支持。▲單一大模型的參數量快速增長2021年8月,李飛飛等學者于arXiv發表《OntheOpportunitiesandRiskofFoundationModels》,將大模型統一命名為FoundationModels,即基礎模型或基石模型。此外,論文還提出基礎模型面臨的兩大問題:1)同質化。盡管基礎模型基于標準的深度學習和遷移學習,但其規模導致了新能力的涌現,其在眾多任務中的有效性激勵了同質化的產生;2)特性涌現。盡管基礎模型即將被廣泛部署,但目前研究者對其如何工作、何時失效以及其涌現的特性衍生了何種能力尚缺乏清晰的理解。舉例來看,如機器學習的引入,使得算法從數據案例中學會了如何執行(自動推斷);深度學習的引入,涌現了用于預測的高級特征;基礎模型的引入,涌現了上下文學習等高級功能。但在這一過程中,機器學習使學習算法變得同質化(例如,邏輯回歸),深度學習使模型架構同質化(例如,卷積神經網絡架構),大模型使得下游模型同質化(例如,下游模型一定會繼承上游模型缺陷)。從本質上來說,上下游模型同質化的問題無法被完全解決,OpenAI選擇的方向是盡可能填補缺陷漏洞。從GPT-3.5版本開始,OpenAI團隊在模型中引入了監督學習過程。在監督學習模式下,人類反饋機制開始加入到模型訓練過程,從而不斷糾正模型生成結果,逐步提升輸出結果的準確性和真實性。隨著大模型朝著越來越符合人類期望的方向演進,對話邏輯和表達方式逐漸逼近人類水平,才最終達到我們今天所看到的樣子。▲基礎模型帶來特性涌現和模型同質化通過拆解單一大模型的原理、特征及發展歷程,我們發現單一大模型的引入,是ChatGPT強大語言的根本來源。展望未來,我們認為ChatGPT或將在大模型加持下加速迭代,主要因為:1)大模型訓練效果取決于數據量,目前ChatGPT僅使用2021年之前的數據,隨著更多數據的加入,模型底層語言能力有望進一步加強;2)大模型具備能力遷移潛力,垂直領域應用或將加速ChatGPT進化;3)OpenAI背靠微軟,大算力資源為模型演進提供保障;4)隨著軟件用戶規模持續擴張,用戶自身的反饋又會帶來類似監督學習的效果,或將帶動ChatGPT加速迭代。基于此,看好AI大模型及ChatGPT未來應用前景,商業化落地或將加快。維度二:預訓練語言模型。拆解模型來看,主要關注預訓練語言模型和Transformer特征抽取器。前面討論了ChatGPT背后所使用的AI大模型及其迭代過程,但如果我們將拆解動作繼續深入,在更細顆粒度的視角下,其實可以將訓練模型做進一步的拆解。實際上,GPT(GeneralPre-Training)即通用預訓練語言模型,簡單來說就是一種利用Transformer作為特征抽取器,基于語言模型進行預訓練的模型。因此,接下來我們從模型的兩個關鍵特征出發,分別從預訓練語言模型和Transformer特征抽取器的角度來分析GPT模型的迭代過程。預訓練語言模型無需人工標簽,為NLP研究帶來質變。預訓練屬于遷移學習的范疇,其思想是在利用標注數據之前,先利用無標注的數據,即純文本數據訓練模型,從而使模型能夠學到一些潛在的跟標注無關的知識,最終在具體的任務上,預訓練模型就可以利用大量的無標注數據知識,標志著自然語言處理模型進入了大規模復制階段。從實現原理上來看,預訓練語言模型是通過計算某個詞句w的出現概率,即p(W),在給定詞句的情況下,可以自行計算出后一個詞或句出現的概率。因此,GPT的訓練可以在無人工標簽的基礎上進行,通過連續不斷地預測、迭代參數、再預測,模型最終實現語言能力的學習。在大多數基于統計方法和神經網絡的自然語言處理模型中都需要大量已標注的數據集來滿足模型訓練,但并非所有的訓練任務都能獲取足夠的標注信息。同時,隨著模型復雜度和參數數量的增加,大多數數據集的大小難以支持訓練。而預訓練模型能先通過利用無標注的數據訓練模型,解決傳統模型無法解決的實際問題。而且由于預訓練語言模型可以利用現實世界中大量的純文本數據訓練,擴大了其訓練范圍和規模,擁有發掘大模型(FoundationModels)的潛力。第一代預訓練模型是靜態詞向量模型,經訓練給每一個詞賦予靜態詞向量,讓相似的詞聚集在一起,實現了符號空間到向量空間的映射,經典結構有ContinuousBag-of-Words(CBOW)和Skip-Gram(SG)等。而由于第一代模型的詞向量靜態性,使其不能結合上下文,進而有無法分辯同義詞等缺陷。最新的第二代預訓練模型,包括BERT、GPT等則在此基礎上允許靜態詞向量與上下文交互,這種動態詞向量優化了同義詞問題。目前,第二代預訓練模型的標準范式是“預訓練+微調”:首先在大量的文本上訓練出一個預訓練語言模型,再根據實際情況對得到的預訓練語言模型進行微調,加強了模型對下游應用場景的契合度。維度三:Transformer特征抽取器。Transformer是大模型高效運行的根基。前面我們從單一大模型出發,對預訓練語言模型進行了。但如果我們繼續深入,會發現語言模型仍然不是GPT模型的最底層,語言模型之下還需要有具體的調度架構和運算邏輯,來實現最終的計算。我們認為,Transformer特征抽取器在GPT模型中,就承擔了這樣的一個角色,直接決定了AI大模型能否實現高效率的運算和學習。Transformer模型最早由谷歌在2017年提出,屬于深度學習模型架構的一種,特點是在學習中引入了注意力機制。對比循環神經網絡(RNN)來看,Transformer與RNN均對輸入數據,如自然語言等,進行順序處理,并主要應用于翻譯和文本摘要等工作。但Transformer與RNN不同的是,Transformer中的注意機制可以為輸入序列中的任何字符提供上下文,因此可以一次處理所有輸入,而不是一次只處理一個詞。因此,與RNN相比,Transformer可以實現更大規模的并行計算,大大減少了模型訓練時間,使得大規模AI模型得以被應用。▲Transformer解碼模塊拆解在GPT模型中,解碼模塊相當于基本架構單元,通過彼此堆疊的方式,拼湊成最終我們看到的GPT模型底層架構。這里有兩個值得關注的要點:1)解碼模塊的數量決定了模型的規模,GPT-1一般有12個模塊,GPT-2有48個,GPT-3則有96個模塊;2)針對模塊輸出的結果還需要進行Finetune(對模型進行調優)。▲解碼模塊堆疊形成GPT模型完整架構03.生成式AI應用于創造性工作AI可分為生成式AI和分析型AI,其中分析型AI(AnalyticalAI),主要在給定數據的情況下,通過分析找出規律和關系,并在此基礎上生成報告或給出建議。比如通過追蹤客戶行為以刻畫用戶畫像,并基于此進行個性化推薦,實現精準營銷;通過收集城市中傳感器的大量數據并分析,預測天氣及環境污染情況,從而幫助相關部門進行政策制定。不同于分析型AI局限于分析已有內容,生成式AI(GenerativeAI)可以通過學習已有數據和信息生成多種形式的新的內容,在創造性工作的領域進行應用,目前生成式AI的應用主要包括生成文本、圖像、對話、音視頻、代碼、3D等。▲生成型AI應用領域ChatGPT通過學習大量語料并通過生成模型生成文本回答,其基礎GPT-3是一個大型語言模型。該模型通過對大量語料的預訓練,學習了語言的語法、語義、語用等特征,并通過對語言的生成任務進行微調,以適應各種應用場景。目前,除了ChatGPT外,有大量AIGC應用產品基于GPT-3模型。▲基于GPT-3的AI產品據各公司官網,ChatGPT從0到100萬用戶數僅花費5天,速度遠超其他平臺。從活躍用戶角度,據Similarweb,2023年1月期間,ChatGPT平均每天約有1300萬獨立訪客,超出22年12月一倍。用戶數量的快速擴大反映了ChatGPT具備較強的商業化潛力。▲ChatGPT從0到100萬用戶速度遠超其他平臺AIGC(AIGeneratedContent)指由人工智能生成的內容,包括文本、圖像、音頻、3D等多種類型,具有高效及自動化生產的特點。近年來谷歌、亞馬遜、百度等國內外巨頭持續布局AIGC。2014年,谷歌以超5億美元的價格收購人工智能公司DeepMind;2023年3月,谷歌宣布向人工智能初創公司Anthropic投資約3億美元,建立新的合作伙伴關系;2022年11月,亞馬遜宣布與AI制圖平臺StabilityAI合作,成為其首選云合作伙伴,同時為其提供亞馬遜Tradium芯片;2021年4月,華為諾亞方舟實驗室聯合多部門推出首個2000億參數中文預訓練模型盤古α;2023年2月,百度官宣類ChatGPT大模型新項目文心一言(英文名ERNIEBot)。▲AIGC領域產品微軟

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論