前言如今我們正在進入人工智能(AI)帶來的第五次工業革命，人工智能技術的運行速度遠遠快于人類的輸出，并且能夠生成曾經難以想象的創造性內容，例如文本、圖像和視頻，這些只是已經發生的一部分。人工智能的發展速度前所未有，要理解我們如何走到今天，就有必要了解人工智能的起源。人工智能的歷史可以追溯到19世紀，幾乎每幾十年都會有重大的里程碑事件出現，并盡管計算機和人工智能的歷史并不算長，但它們已經從根本上改變了我們所看到的東西、我們所知道的東西以及我們所做的事情。對于世界的未來和我們自己的生活來說，沒有什么比這段歷史如何延續更重要。要了解未來會是什么樣子，研究我們的歷史往往很有幫助。這就是本文所要做的，我回顧了計算機和人工智能的簡史，人工智能發展歷程中發生的一些重大事件，看看我類語言，還可以生成與人類行為非常相似的我們深入探索廣闊的人工智能世界，掌握基是對日常接觸的技術所依賴的人工智能感興趣的段探索大型語言模型領域及其歷史起源的旅程都次令人著迷的探險。在踏上探索大型語言模型內原理的征程時，我們必須認識到大語言模型在人工智能葉。要了解人工智能的發展方向，我們必須回到過去，向眾多像艾倫·馬西森·圖靈這樣才華橫溢的人致敬，是他們的開創性努力為我們今天看到的LLM格局奠定了基什么是大型語言模型(LLM)？大型語言模型是生成或嵌入式文本的基礎模型數據科學家和研究人員通過自監督學習，在大量單詞，這個過程不僅會為模型產生一組有價值的權在推理時，用戶向LLM提供“提示”——模型用選擇下一個標記并重復此過程，直到模型選擇STOP標你可以把它想象成一條從零到一的數字線。從左成的第一個標記幾乎總是與該城市相關的運動隊或表演大語言模型簡史?萌芽前的準備大型語言模型是一種人工神經網絡（算法在短短幾年內就從新興發展到廣泛應用。它們在ChatGPT的開發中發揮了重要作用，而ChatGPT是人工智能的下一個進化步驟。生成式人工智能與大型語言模型相結合，產生了更智能的人工智能。大型語言模型(LLM)基于人工神經網絡，深度學習的最新改進支持了其發展。大型語言模型還使用語義技術（語義學、語義網和自然語言處理）。大型語言模型的歷史始于1883年法國語言學家米歇爾·布雷亞爾提出的語義概念。米歇爾·布雷亞爾研究了語言的組織方式、語言隨時間的變化以及語言中單詞的連接方式。目前，語義用于為人類開發的語言，例如荷蘭語或印地語，以及人工智能編程語言，例如Python和Java。然而，自然語言處理專注于將人類交流內容翻譯成計算機能夠理解的語言，然后再翻譯回來。它使用能夠理解人類指令的系統，使計算機能夠理解書面文本、識別語音并在計算機和人類語言普通語言學和梵語。在此期間，他為語言系統這一高度實用的模型奠定了基?加速孕育階段中，討論了人工神經網絡的第一個數學模型供了一種以抽象術語描述大腦功能的方法，并表明《神經活動中內在思想的邏輯演算》奠定了人工神經網絡的基礎，是現代深度學習的前身，其神經元絡為基礎思想的科學家們，會大大發展人工神經網絡的成果。如果說符號主義是利用邏輯學，自上而下的通過推理演繹的方式解決人工智能這個課題的話，義（Connectionists）”。假設有人要求你設計出最強大的計算機。艾倫·圖靈是計算機科學和人工智能領域的核心人物，自1954年他英年早逝后，他的聲譽才得以提升。在我們所知的計算機出現之前的時代，他將自己的天才運用到解決此類問題上。他對這個問題和其他問題的理論研究仍然是計算、人工智能和現代加密標準（包括NIST推薦的標準）的基礎。二次世界大戰期間，“Hut8”小組，負責德國海軍密碼分析。期間圖靈設計了一些加速破譯德國密碼的技術，包括改進波蘭戰前研制的機器Bombe，一種可以找到恩尼格瑪密碼機設置的機電機器。圖靈在破譯截獲的編碼信息方面發揮了關鍵作用。圖靈對于人工智能的發展有諸多貢獻，圖靈曾寫過一篇名為《計算機器和智能》的論文，提問“機器會思考嗎？”，作為一種用于判定機器是否具有智能的測試方法，即圖靈測試。至今，每年都有試驗的比賽。此外，圖靈提出的著名的圖靈機模型為現代計算機的邏輯工作方式奠定了圖靈于1947年在倫敦的一次公開演講中宣稱，機器修改自身指令的潛力在大型語言模型領域具有重要意義。它強調了大型語言模型的適應能力、持續改進、解決各種問題的能力以及緊跟不斷發展的語言趨勢的能力。這個想法與大語言模型的動態性質完全吻合，使大語言模型能夠在瞬息萬變的語言環境中獲取知識、進行調整并保持最新狀態。腦游戲與人工智能方面的先鋒。塞謬爾的電腦跳棋程式是世界上最早能成功進行自也因此是人工智能（AI）基計算機在語言相關任務中的最早用途之一是機器翻譯兩位擅長破解敵方秘密密碼的人（1964年）開始了首批計算機進行語言翻譯和理解的研究的開始，也是導致我個可以自動將一組短語從俄語翻譯成英語的系統，這是然而，掌握自然語言處理的道路絕非易事。在接些早期嘗試都沒有取得可靠的結果，這凸顯了教機器掌?基于規則的模型一個計算機程序下跳年將其描述為“機器學一個計算機程序下跳年將其描述為“機器學?Mark1感知器使用神經網絡1958年，康奈爾航空實驗室的弗蘭克·羅森布拉特將赫布的神經網絡算法模型與塞繆爾的機器學習工作相結合，創建了第一個人工神經網絡，稱為Mark1感知器。盡管語言翻譯仍然是一個目標，但計算機主要是為數學目的而制造的（比語言混亂得多）。這些用真空管制造的大型計算機用作計算器，計算機和軟件都是被定制的。感知器的獨特之處還在于它使用了為IBM704設計的軟件，并確定了類似的計算機可以共享標準化的軟件程在1960年MarkI感知機的開發和硬件建設中達到了頂峰。從本質上講，這是第一臺可以通過試錯來學習新技能的計算機，它使用了一種模擬人類思維過程的神經網絡。MarkI感知機被公認為人工智能的先驅，目前位于華盛頓特區的史密森尼博物館。MarkI能夠學習、識別字母，并能解決相當復雜的問題。1969年，明斯基和西摩·佩珀特出版了《感知機》一書，徹底改變人們對感知機的看法。不幸的是，Mark1感知器無法識別許多種基本的視覺模式（例如面部），導致期望落空，神經網絡研究和機器學習投入也被消減。?ELIZA使用自然語言編程直到1966年，麻省理工學院的計算機科學家約瑟夫·魏森鮑姆開發了ELIZA，它被稱為第一個使用NLP的程序。它能夠從收到的輸入中識別關鍵詞，并以預先編程的答案做出回應。魏森鮑姆試圖證明他的假設，即人與機器之間的交流從ELIZA的機器人小程序。通從根本上說是膚淺的，但事情并沒有按計劃進行。為了簡化實驗并盡量減少爭議，魏森鮑姆開發了一個程序，使用“積極傾聽”，它不需要數據庫來存儲現實世界的信息，而是會反映一個人的陳述以推動對話向前發展。盡管Eliza的功能相對有限，但它代表了該領域的一次重大飛躍。這個開創性的程序使用模式識別來模擬對話，將用戶輸入轉換為問題并根據預定義規則生成響應。盡管Eliza遠非完美，但它標志著自然語言處理(NLP)研究的開始，并為開發更高級的語言模型奠定了基礎。1970年特里·維諾格拉德在麻省理工學院（MIT）創建了SHRDLU，為人工智能領域做出了杰出貢獻。SHRDLU是一款旨在理解自然語言的創新軟件。它主要通過電傳打字機與用戶進行對話，討論一個稱為“積木世界”的封閉虛擬環境。在這個世界中，用戶可以通過移動物體、命名集合和提出問題進行交互。SHRDLU的突出之處在于它能夠熟練地結合名詞、動詞和形容詞等基本語言元素，盡管虛擬世界很簡單，但它卻能夠熟練地理解用戶指令。?統計語言模型20世紀90年代，我們處理語言的方式發生了重大變化。研究人員不再依賴嚴格的規則，而是開始使用統計模型來分析現實世界的文本示例。這些模型更加靈活，可以處理更廣泛的語言模式，但它們需要大量的計算機能力和大量數據集才能正常工作。20世紀70年代初，人工智能領域由倫納德·鮑姆(1971)等人引入了隱馬爾可夫模型(HMM)和條件隨機場(CRF)。HMM使用概率來判斷句子中發生了什么，例如識別單詞的角色（名詞、動詞等）。它們非常擅長處理單詞序列并找到句子背后最可能的故事，這使得它們對于語音識別和詞性標注等任務非常有用。轉向統計方法提高了語言處理的靈活性和上下文敏感性。盡管如此，它們也需要大量的計算資源和數據才能有效執行。這種轉變也帶來了新的障礙，為語言建模領域的未來發展鋪平了道路。在20世紀90年代和21世紀初期，N-gram模型對統計語言建模做出了重大貢獻。這些模型簡單但功能強大。它們通過查看某個單詞前面的單詞序列來估計該單詞出現的可能性。這種直接的方法有助于理解語言的上下文。N-gram的一個突出用途是Google的PageRank算法（1996年）。本質上，N-gram模型強調了語言中語境的重要性，并為能夠捕捉更廣泛的語言細微差別的更先進的技術奠定了基礎。?深度學習模型1983年，辛頓發明玻爾茲曼機，后來，簡化后的受限玻爾茲曼機被應用于機器學習，成為深度神經網絡的層級結構基礎。1986年，辛頓提出適用于多層感知機的誤差反向傳播算法（BP這一算法奠定了后來深度學習的基礎。辛頓每隔一段時間都能發明出新東西，而他也堅持寫了兩百多篇神經網絡相關的論文，盡管這些論文不被待見。到了2006年，辛頓已經積累了豐富的理論和實踐基礎，而這一次，他發表的論文將改變整個機器學習乃至整個世界。辛頓發現，擁有多個隱藏層的神經網絡能夠具有自動提取特征學習的能力，相比傳統的手工提取特征的機器學習更有效果。另外，通過逐層預訓練的方式可以降低多層神經網絡的訓練難度，而這解決了長期以來多層神經網絡訓練的難題。辛頓將他的研究成果發表在兩篇論文中，而當時神經網絡一詞被許多學術期刊編輯所排斥，有些稿件的標題甚至因為包含“神經網絡”就會被退回。為了不刺激這些人的敏感神經，辛頓取了個新名字，將該模型命名為“深度信念網絡”（DeepBeliefNetwork）。在20世紀90年代，卷積神經網絡(CNN)被引入。CNN主要用于圖像處理，但也可用于某些NLP任務，例如文本分類。人工智能和神經網絡LSTM和CNN，共同塑造了自然語言處理和深度學習的格局，為理解和處理人類語言開辟了新的可能性。度學習方面的貢獻與約書2024年因其在AI領域的卓越），1986年，循環神經網絡(RNN)能夠捕捉語言中的序列依賴關系，但它面臨著長距離依賴關系和梯度消失的挑戰。同時，在語言建模的早期，杰語言模型(RNNLM)發揮了重要作用。該模型擅長識別序列中的短期單詞關系，但在捕獲長距離依賴關系時其局限性變得明顯，促使研究人員探索除了RNNLM之外，該領域還出現了潛在語義分析(LSA)，它由朗道爾和杜邁斯于1997年提出。LSA利用高維語義空間來揭示文本數據中隱藏的關系和含義。雖然它提供了對語義關聯的寶貴見解，但在處理更復雜的語言任務時遇到了某些限制。RNNLM和LSA的貢獻以及其他具有影響力的里程碑共同塑造了語言建模取得重大進步的道路。1997年，長短期記憶(LSTM)模型的推出改變了游戲規則。LSTM允許創建更深層、更復雜的神經網絡，能夠處理大量數據。門控循環單元(GRU)是深度學習和自然語言處理領域的一個顯著新成員。GRU由Kyung-hyunCho及其團隊2014年是一種循環神經網絡架構，采用門控機制來控制輸入并忘記某些特征，類似于長短期記憶(LSTM)網絡。然而，GRU與LSTM的在于，它們沒有上下文向量或輸出門，因此架構更簡單，參數更少。研究表明，GRU在各種任務中的表現與LSTM相似，包括復音音樂建模、語音信號建模和自然語言處理。這一發現凸顯了門控機制在循環神經網絡中的價值，并促進了自然語言處理神經網絡架構的持續?圖形處理單元(GPU)的誕生在1999年推出第一款GPU（NvidiaGeForce256）之前，NLP模型完全依賴CPU進行推理。具有并行處理能力的GPU的引入將標志著一個關鍵的轉變，因為它將允許高效執行NLP任務，從而能夠處理以前僅靠CPU無法實現的大型文本數據集和復雜計算。這項GPU技術將徹底改變深度學習模型，并將在機器翻譯和文本生成等任務方面取得重大此外，神經網絡開始用于預測文本中的下一一個神經語言模型，使用一個隱藏層前饋神經網絡和開創性的詞嵌入。自從谷歌的TomasMikolov和他的團隊于2013年推出Word2Vec以來，人們開始更多地使用神經網絡來完成語言任務。這些詞向量將單詞表示為連續空間中的密集向量，標志著傳統方法的轉變，并顯著改善了語言理解和單詞間語義關系的建模。利用神經網絡進行語言建模使系統能夠預測句子中的下一個單詞，超越了統計分析并產生了更復雜的語言模型。?Seq2Seq模型2015年，Bahdanau等人提出了序列到序列模型（Seq2Seq），這是一種神經網絡，可以有效地將可變長度的輸入序列映射到可變長度的輸出序列。Seq2Seq模型架構由兩個關鍵組件組成：編碼器和解碼器。編碼器負責處理輸入序列，產生一個固定長度的上下文向量，該向量封裝了輸入序列的含義。力和可編程性能，也被業界譽為世界上第一個真正意義NLP中許多最先進模型的基礎。Transformer架構是支持ChatGPT等應用程序的語言模型的核心。他是AdeptAILabs的聯合創始人，解碼器隨后利用該上下文向量逐步生成輸出序列。更詳細地說，編碼器通常采用循環神經網絡(RNN)逐個元素處理輸入序列，在每一步創建一個固定長度的隱藏狀態向量。最后一個隱藏狀態向量用作上下文向量并傳遞給解碼器。解碼器通常也以RNN的形式實現，它采用上下文向量并按順序生成輸出序列。它通過為每個步驟的潛在輸出元素生成概率分布，然后通過從該分布中采樣來選擇輸出序列的下一個元素來實現這一點。然而，盡管Seq2Seq模型取得了成功，但它們也存在一定的局限性，尤其是在處理NMT任務中的較長序列時。當谷歌于2016年推出其“神經機器翻譯”系統時，這些局限性就變得顯而易見，這展示了深度學習在語言相關任務中的強大功能，并標志著機器翻譯能力的重大進步。最終，2017年Google提出的Transformer架構的引入解決了Seq2Seq模型的許多缺點，從而顯著提高了NMT性能。NMT技術的這種發展凸顯了自然語言處理的動態性質以及對更有效解決方案的不斷追求。Transformer的演變重塑了大型語言模型的格局。AshishVaswani在2017年的論文《注意力就是你所需要的一切》中引入Transformer模型，帶來了并行序列處理和捕獲大型序列中廣泛依賴關系的能力。關鍵創新在于它們使用了自注意力機制，能夠無縫集成序列內所有位置的上下文信息，消除了對遞歸和卷積的需求，從而產生了更可并行化、訓練速度更快的優質模型。自注意力機制代表了一次重大飛躍，它允許模型關注輸入序列的不同部分，并根據相關性分配不同的權重，即使單詞相距很遠。這一功能對于文本生成、語言翻譯和文本理解等任務至關重?GPT-12018年，OpenAI推出了他們的第一個大型語言模型GPT-1。這是谷歌在2017年創建了一種名為“Transformer”的新型計算機程序結構之后推出的。OpenAI在一篇名為《通過生成式預訓練提高語言理解能力》的論文中分享了他們的工作。這篇論文不僅介紹了GPT-1，還介紹了生成式預訓練Transformer的概念。?BERT2018年，谷歌推出了Transformer雙向編碼器表示(BERT)，這是一個重大突破，凸顯了預訓練模型的潛力。BERT代表了一種革命性的方法，它涉及在大量文本數據上訓練廣泛的Transformer模型，并針對特定任務對其進行微調，標志著語言建模新時代的到來。BERT的影響是深遠的，因為它在各種自然語言理解任務（包括問答和情感分析）中建立了新標準。這標志著從僵化、特定于任務的模型轉向更具適應性和可遷移性的全新模型。通過在預訓練期間利用大量可用的文本數據，BERT深入了解了語言的微妙之處和上下文關系，重塑了自然語言處理的格局。OpenAI于2019年推出了GPT-2，這標志著LLM領域的一個轉折點。GPT-2擁有15億個參數，展示了生成式模型的巨大潛力。該模型具有準確預測序列中下一個元素的一般能力。然而，對濫用的擔憂導致了謹慎的發布策略。該模型能夠生成連貫且上下文豐富的文本，證明了深度學習和NLP的快速進步。同時，百度ERNIE、XLNet、XLMERT（微軟）、RoBERTa（Facebook）等模型出現在LLM領域，開創了自然語言處理可能性和能力的新時代。2020年，OpenAI發布了GPT-3，這是一款擁有1750億個參數的大型LLM。GPT-3突破了LLM的極限。它在語言翻譯和文本完成、編碼輔助和交互式講故事等任務中表現出色。它的“few-shot”和“zero-shot”學習能力非常出色，使其能夠用最少的訓練示例執行任務。GPT-3引入了“提示工程”的概念，使用戶能夠根據自己的需求調整Blender(Facebook)、T5(Google)和Meena(Google)也在當年推出。2021年，LLM社區因引入各種新模式而熱鬧非凡：Transformer-X（谷歌（EleutherAI）、XLM-R（Facebook）、LaMDA（谷歌）、Copilot（GitHub）、GPT-J（EleutherAI）、Jurassic-1（AI21）、Megatron-TuringNLG、Codex（OpenAI）、WebGPT（OpenAI）和BERT2（谷歌）。每個模型都有其獨特的優勢，為不斷發展的NLP領域做出了貢獻，但名為LoRA的訓練技術卻吸引了人們的注意力。?LoRA低秩自適應(LoRA)是一種突破性的訓練方法，旨在加快大型語言模型的訓練，同時節省內存資源。LoRA將秩分解權重矩陣（稱為更新矩陣）引入現有模型權重，并將訓練工作完全集中在這些新增加的權重上。這種方法有兩個明顯的優勢：首先，預訓練模型的權重保持不變，降低了災難性遺忘的風險。其次，LoRA的秩分解矩陣的參數明顯較少，使得訓練后的LoRA權重易于遷移。緊接著一種突破性的方法問世，可以加速量化模型的微調，同時保持其性能。這項創新被稱為QLoRA（量化低秩自適應），它為大型語言模型領域帶來了范式轉變。QLoRA以LoRA（低秩自適應）為基礎，通過引入一系列新技術將其提升到新的水平，這些技術不僅可以減少內存需求，還可以提高微調過程的效率。就像廚師將食譜數字化以節省空間同時保留進行調整的能力一樣，QLoRA使研究人員和開發人員能夠有效地微調大型語言模型，即使在計算資源有限的情況下也是如此。foacebook從本質上講，QLoRA利用了多項關鍵創新，包括NormalFloat(NF4)、DoubleQuantization,和PagedOptimizers,，這些創新共同實現了對大規模模型的微調，同時保持了性能。這一重大突破使大型語言模型微調變得民主化，使小型研究團隊能夠使用它，并預示著自然語言處理的新可能性。隨著我們繼續突破該領域的可能性界限，QLoRA無疑將在塑造NLP的未來方面發揮關鍵作用。Brain于2021年發布的LLM系列。Lamda使用了僅解碼器的轉換器語言模型，并在大量文本語料庫上進行了預訓練。2022年，當時的谷歌工程師BlakeLemoine公開聲稱該程序具有感知能力，Lamda引起了廣泛關注。它建立在Seq2Seq架構上。?開源模型的興起2022年，開源大型語言模型(LLM)領域經歷了重大變革，一些先驅模型引領了潮流。EleutherAI的創作GPT-NeoX-20B是最早的開源LLM之一。盡管它的規模較小（與GPT-3等專有模型相比，它有200億個參數），但它通過RoPE嵌入和并行注意層等創新產生了影響。它的自定義標記器可有效進行代碼標記化，并在各種開源模型中得到采用。MetaAI的開放式預訓練Transformers(OPT)計劃旨在使LLM的獲取更加民主化。OPT提供不同大小的模型，在精選數據集上進行預訓練，并提供開源訓練框架。雖然OPT模型的表現并不優于專有模型，但它們在使LLM更易于研究和提高訓練效率方面發揮了關鍵作用。BLOOM是一個包含1760億個參數的LLM，它誕生于1000多名研究人員歷時一年的大規模協作。它使用多語言文本數據集ROOTS語料庫進行訓練。盡管BLOOM在各種基準測試中都具有競爭力，并且在機器翻譯任務中表現出色，但在某些方面仍然落后于專有模型。GPT-J和GLM等著名模型也取得了成功，為開源LLM領域的進一步發展奠定了基礎。2022年標志著語言模型領域向開放可訪問性和協作研究的重大轉變。?LoRA低秩自適應(LoRA)是一種突破性的訓練方法，旨在加快大型語言模型的訓練，同時節省內存資源。LoRA將秩分解權重矩陣（稱為更新矩陣）引入現有模型權重，并將訓練工作完全集中在這些新增加的權重上。這種方法有兩個明顯的優勢：首先，預訓練模型的權重保持不變，降低了災難性遺忘的風險。其次，LoRA的秩分解矩陣的參數明顯較少，使得訓練后的LoRA權重易于遷移。2023年，OpenAI發布了GPT-4，在大型語言模型(LLM)領域邁出了開創性的一步。GPT-4是一個龐大的多模態模型，擁有約一萬億個參數。從這個角度來看，GPT-4比其前身GPT-3大約五倍，比原始BERT模型大3,000倍。這一規模和容量上的巨大飛躍改變了LLM領域的格局，使其能夠一次性處理多達50頁的文本。要真正了解GPT-4的演變，了解這些模型的時間順序至關重要。近年來，我們見證了幾個值得關注的LLM的發展，它們為當前的技術水平做出了貢獻。這些模型為GPT-4的出現鋪平了道路，它們反映了開源LLM研究的充滿活力和生機勃勃的前景。這一演變的關鍵時刻之一是2023年2月MetaAI推出LLaMA。LLaMA是人工智能領域的一項突破性進展。其重要性在于它作為Meta向公眾發布的基礎大型語言模型。LLaMA的重要性可以從幾個角度來理解：它通過提供更易于訪問且性能更高的大型語言模型替代方案，使人工智能研究的訪問變得民主化，減少了人工智能實驗所需的計算資源，并為更多開源計劃（如Alpaca、Vicuna、Dolly、WizardLM）奠定了基礎。此外，LLaMA用途廣泛，可以針對各種應用進行微調，解決偏見和歧視等人工智能挑戰，同時通過受控訪問堅持負責任的人工智能實踐。繼LLaMA之后，MosaicML的MPT套件提供了開源LLM的商業可用替代方案。初始版本MPT-7B引起了廣泛關注，隨后是更大的MPT-30B模型。這些模型提供了質量和商業可行性的精彩融合，拓展了開源LLM應用的視野。另一個值得注意的進展是FalconLLM套件，其性能可與專有模型相媲美。Falcon-7B和Falcon-40B雖然是商業是可行的，結果表現也相當出色。這些模型挑戰了有關數據質量的傳統觀念，表明在經過精心過濾和重復數據刪除的網絡數據上訓練的模型可以與在精選來源上訓練的模型相媲美。LLaMA-2模型套件通過縮小開源和閉源LLM之間的差距標志著另一個重要里程碑。LLaMA-2的參數大小從70億到700億不等，并在2萬億個token的海量數據集上進行預訓練，突破了開源模型性能的界限。大型語言模型(LLM)領域最顯著的進步之一是Zephyr7B模型，它是Mistral-7B-x0.1的微調版本。Zephyr7B擁有卓越的功能，這主要歸功于它利用了精煉直接偏好優化(dDPO)和AI反饋(AIF)，使其能夠與用戶意圖緊密結合。值得注意的是，該模型的性能不僅創下了新基準，而且令人印象深刻的是，在聊天基準測試中甚至超越了備受推崇的Llama2-Chat-70B，展示了其實力。Zephyr7B真正與眾不同之處在于其卓越的效率。該模型以驚人的速度實現了卓越的性能，僅需幾個小時的訓練。值得注意的是，這種效率是在無需人工注釋或額外采樣的情況下實現的，使其成為利用技術簡化模型開發流程的出色范例。Zephyr7B的創新方法將傳統的蒸餾監督微調(dSFT)與偏好數據相結合，展示了融合各種技術的潛力，以創建一個重新定義自然語言理解和生成領域可實現的邊界的模型。Orca由微軟開發，擁有130億個參數，這意味著它足夠小，可以在筆記本電腦上運行。它旨在通過模仿LLM實現的推理過程來改進其他開源模型所取得的進步。Orca以明顯更少的參數實現了與GPT-4相同的性能，并且在許多任務上與GPT-3.5相當。Orca建立在130億個參數版本的LLaMA之GeiniGemini是Google在2023年6月發布的，為該公Palm為聊天機器人提供支持，在模型切換后，聊天機器人從Bard更名為Gemini。Gemini模型是多模態的，這意味著它們可以處理圖像、音頻和視頻以及文本。Gemini還集成在許多Google應用程序和產品中。它有三種尺寸——Ultra、Pro和Nano。Ultra是最大、功能最強大的模型，Pro是中端模型，Nano是最小的模型，專為提高設備上任務的效率而設計。Gemini在大多數評估基準上都優于GPT-4。2024年2月9日，谷歌宣布GeminiUltra可免費Gemma。Gemma采用了與Gemini相同的技術和基礎架構，基于英偉達GPU和谷歌云TPU等硬件平臺進行優化，有20億、70億兩種參數規模。每種規模都有預訓練和指令微調版本，使用條款允許所有組織（無論規模大小）負責任地進行商用和分發。谷歌介紹，Gemma模型與其規模最大、能力最強的AI模型Gemini共享技術和基礎架構。2024年6月28日，谷歌宣布面向全球研究人員Gemma2有90億（9B）和270億（27B）兩種參數大小，與第一代相比，其性能更高、推理效率更高，Gemma227B的性能比大其兩倍的同類產品更具競爭力；9B的性能也處于同類產品領先水平，優于Llama38B和其他開放模型。2023年11月5日，馬斯克旗下xAI團隊發布其首個AI該系列模型具有聊天、編碼和推理等功能，包括GGPT-4o是由OpenAI訓練的多語言、多模態（多種GPT-4o于2024年5月13日發布。該模型比其前身GPT-4快GPT-4o為ChatGPT創造了更自然的人機交互，是一個大可以捕捉情緒。GPT-4o可以在交互過程中查看照片或屏幕并提出相關問題。GPT-4o的響應時間僅為232毫秒人類的響應時間相似，比GPT-4Turbo更快。GPT-4o模型OpenAIo1，是OpenAI發布的推理模型系列。該模使其在嘗試解決問題時可以識別并糾正錯誤途徑。OpenAIo1包括三個型號，除o1-preview之外還將有究人員和開發人員打開大門。我們已經走了很長一段路，究人員和開發人員打開大門。我們已經走了很長一段路，但前進的道路同樣令人興奮。展望未來，我們必須時刻牢記道德考量、可訪問性和負責任的人工智能發展。我們可以共同努力，繼續塑造一個語言模型賦能并連接全球人民的世界。我們希望這次探索能讓您更深入地了解語言模型的歷史和潛力。當我們探索這個激動人心的人工智能領域時，讓我們記住，旅程還遠未結束，可能性無窮無盡。發展，到GPT-4o等強大模型的出現，再到LLaMA等開源計劃的出現，我們見證了人工智能和自然語言處理領域的深刻變革。時間軸見證了人類的智慧、奉獻和協作。我們見證了從基于規則的模型到統計方法的轉變，以及最終改變游戲規則的Transformer架構的引入，這使得GPT-4o等模型成為可能。在此過程中，BERT和Seq2Seq等模型留下了自己的印記，重新定義了我們理解語言的方式。LoRA和QLoRA等最新創新有望使大型語言模型微調變得民主化，為更多研生成式人工智能崛起生成式人工智能(GenAI)是一種人工智能技術，可以生成各種類型的內容，包括文本、圖像、音頻和合成數據。最近，圍繞生成式人工智能的討論是由新用戶界面的簡單性推動的，該界面可以在幾秒鐘內創建高質量的文本、圖形和視頻。需要注意的是，這項技術并非全新技術。生成式人工智能于20世紀60年代在聊天機器人中被引入。但直到2014年，隨著生成對抗網絡（GAN，一種機器學習算法）的引入，生成式人工智能才能夠創建令人信服的真實人物圖像、視頻和音頻。Transformers使研究人員能夠訓練越來越大的模型，而無需事先標記所有數據。因此，新模型可以在數十億頁文本上進行訓練，從而得到更有深度的答案。此外，Transformers還開啟了一種名為注意力的新概念，使模型能夠跟蹤跨頁面、跨章節和跨書籍的單詞之間的聯系，而不僅僅是單個句子之間的聯系。不僅僅是單詞：Transformers還可以利用其跟蹤聯系的能力來分析代碼、蛋白質、化學物質和DNA。所謂的大型語言模型(LLM)（即具有數十億甚至數萬億個參數的模型）的快速發展開啟了一個新時代，在這個時代，生成式人工智能模型可以編寫引人入勝的文本、繪制逼真的圖像，甚至可以即時創建一些有趣的情景喜劇。此外，多模式人工智能的創新使團隊能夠生成多種媒體類型的內容，包括文本、圖形和視頻。這是Dall-E等工具的基礎，這些工具可以根據文本描述自動創建圖像或根據圖像生成文本標題。盡管取得了這些突破，但我們仍處于使用生成式人工智能創建可讀文本和逼真風格化圖形的早期階段。早期的實施存在準確性和偏見問題，并且容易產生幻覺并給出奇怪的答案。不過，迄今為止的進展表明，這種生成式人工智能的固有能力可以從根本上改變企業技術，改變企業的運營方式。展望未來，這項技術可以幫助編寫代碼、設計新藥、開發產品、重新設計業務流程和轉變供應鏈。?生成式AI模型生成式人工智能模型結合了各種人工智能算法來表示和處理內容。一旦開發人員確定了表示世界的方式，他們就會應用特定的神經網絡來響應查詢或提示生成新內容。諸如GAN和變分自動編碼器(VAE)（帶有解碼器和編碼器的神經網絡）之類的技術適合生成逼真的人臉、用于AI訓練的合成數據，甚至是特定人類的復制品。谷歌的GPT和谷歌AlphaFold等Transformer的最新進展也使得神經網絡不僅可以編碼語言、圖像和視頻。02023年全球AI專利授權數量達37.8萬件2010年-2023年全球AI專利授權數量美國其他地區 德國 芬蘭英國法國世界知識產權組織(WIPO)的最新報告顯示，中國發明請的生成式人工智能(GenAI)專利數量最多，遠遠超過排名前五報告》記錄了截至2023年的十年間54,000項GenAI專利，其中僅GenAI允許用戶創建包括文本、圖像、音樂和計算機代碼GoogleGemini或百度的ERNIE等聊天機器人。2014年至2023年期間，中國將有超過38,000項GenAI發明，是排名第二的美國的六WIPO總干事WIPO希望讓每個人都更好地了解這項快速發展的技術的發展方向和發展方向。這可以幫助的發展，造福我們共同利益，并確保我們繼續將人類置于創新和創意生態系統的中心。我們相信，這份報告將使創新者、研究人員和其他人能夠駕馭快速發展的生成式人工智能格局及其對世界的影響，”2014年-2023年獲得GenAI專利數量主要公司u開源u半開源u閉源892019年-2023年全球不同可訪問類型基 清華大學Anthropic 上海人工智能實驗室 英國阿聯酋加拿大新加坡以色列 德國 芬蘭 瑞士 瑞典西班牙8832222111112011年-2023年GitHub人工智能項目星2023年全球各主要地區GitHub人工智能項目美國其他地區歐盟和英國印度智能模型的發布方面一直處于領先地位。2014年之后企業就占據了主導地位。2023年，全球AI領域產生了51個值得注意的人工智能模型，而學術界只有15個。值得注意的是，2023年，有21個值得注意的模型來自產學研合作創下新高。現在創建尖端的人工智能大模型需要大量的數據、算力和資金投入，而這些是學術界所不具備的。這種由企業主導領先人工智能模型研發的趨勢和去年相比基本保持不變，并且還將持續下去。2023年值得關注人工智能大模型發布國家分布 84443322012年-2023年各領域著名人工智AlexNet是推廣使用GPU改進Al模型的現有標準做法的論文之一，它需要估計470petaFLOP進行訓練。最初的Transformer于2017年發布，需要大約7,400petaFLOP，谷歌的GeminiUltra是目前最先進的基礎模型之一，需要500億petaFLOP。而最新的Grok3需要的算力更加驚人。2017年-2023年部分模型訓練成本預估TransformerTransformer-3 2024年海外市場AI相關企業重點融資元AMDAndreessenHorowitz-a16zAmplifyPartnersAccelPartnersAIAgent通用操元Argil天使輪YCombinator天使輪元YCombinatorTalusNetworkPre-A輪司AnthropicValorEquityPartnersAndreessenHorowitz-a16zAIAgent解決方A輪AIAgent解決方商A輪AllegionVenturesworkflowAI創意工作流BluespineAI理賠成本降A輪TanglinVenturePartnersFeniceInvestmentGroupWriterPremjiInvestAdobeWorkdayVentures商A輪JeffbezosRedpointVentures紅點全球基金MarcyVenturePartnersBessemerVenturePartnersRedpointVentures紅點全球基金Jugemu.aiDePIN項目Agent平臺提供商iGentDhyanVCTwinPathVenturesAI網站前端優化TIPlatformManagementSmashingAI網絡內容社區BlockchangeVenturesTrueVenturesPowerofNUrbintManagementA輪HomeToGoLEAPartnersSuccessVenturePartMyriadVenturePartnersWaymoAlphabetTigerGlobal老虎海外商A+輪DCVCBioBoozAllenHamiltonTheJeffriesFamilyOfficeA輪BOLDstartVenturesB輪AccelPartnersACMEVenturesLightmatterD輪FidelityManagementandResearchCompanyT.RowePriceMetaDeepMindAlbaVCAI轉錄和音頻智A輪AthleticoVenturesManaVenturesNumericAI會計自動化服A輪MenloVenturesInstitutionalVenturePartnersD輪VenrockHealthcareCapitalPragmaDistributioA輪D輪BessemerVenturePartnersPremjiInvestLightspeedVenturePartners光速AI技能管理服務商AI軟件及代碼開商B輪DSTGlobalLG集團VoyageAI用A輪DatabricksWingVenturePartnersTectonicCapital司微軟Microsoft軟銀愿景基金 KhoslaVenturesAltimeterCapitalFidelityManagementandResearchCompanyTigerGlobal老虎海外MGXPreparedB輪AndreessenHorowitz-a16zNewViewCapitalM13Atomicwork天使輪Z47-MatrixPartnersB輪YCombinatorMetaplanetHoldingsAI編程服務提供商A輪AI視頻處理播放A輪DSTGlobalJasperLau'sEraFundsJaredLetoNikeshArora錄VelocityFundMercorA輪GeneralCatalystParAdamD'AngeloJackDorseyfalA輪BrightbandA輪BainCapitalVenturAI并購服務XPHealthB輪AmericanFamilyVenturesManchesterStoryWorldLabsB輪[領投]NEA恩頤投資-NewAMD臺A輪WOMBODreamAI畫作制作Round13DigitalAssetsFundWVenturesTechnologiesAI金融科技TargetGlobalAI驅動客戶Stage2CapitalBreadandButterVenturAndreessenHorowitz-a16zNFDGVenturesDotyon.AI天使輪AtlassianfalGreenoaksCapitalManageKleinerPerkinsCaufielByers(KPCB全球)GeneralCatalystParAmplify.LAXYZVentureCapitalA輪SamsungNEXTDCM海外MillenniumNewHorizonsA輪YCombinatorViggleAI動畫生成商A輪B輪Pre-A輪NeotribeVenturesModelOpB輪本AI代碼審查平臺A輪LightspeedVenturePartners光速Valor天使輪AnimocaBrandsBigBrainHoldingsHanowFundPre-A輪InnovateUKMechanicalB輪DatchA+輪ThirdPrimeAI芯片研發商AIAI大模型方案A輪BainCapitalVenturesLightspeedVenturePartners商B輪AI法律助手服KleinerPerkinsCaufielByers(KPCB全球)UplimitA輪WorkdayVenturesTranslinkCapitalCowboyVenturesGreylockPartnersAI算力協議提A輪D輪AMDFujitsu富士通WorldLabsA輪[領投]NEA恩頤投資-NewAndreessenHorowitz-a16zMP商AlumniVenturesGroupAnysphereAndreessenHorowitz-a16zWanderboatAIAI驅動的智能FireworksAIAI實驗和生產B輪AMDMongoDBDatabricksAI創意工作室HubSpotAdobeAndreessenHorowitz-a16zAccendYCombinator教練”ThriveGlobalAliceL.Walton基金會商天使輪AlphaIntelligenceCapital商AtlassianVenturesAscensionVenturesBaobabNetworkAxeleraAIB輪VerveVenturesDustAI技術服務商LeyLineAI賦能人機混[領投]春華創投TaihillVentureDotyon.AIARCAAWSNVIDIA英偉達AI芯片研發商A輪CoatueManagementTherapeuticsB+輪AI芯片研發商A輪AirtableLatticeLightspeedVenturePartners光LocalGlobeNorthzoneVenturesAI語言識別工具DAOMakerMeezanVenturesVeetonApparateProteus創新AI視天使輪B輪BNPParibasSamsungVentures三星DSTGlobalAnteriorA輪[領投]NEA恩頤投資AIAI大模型方案解LightspeedVenturePartnersThoughtlyAI語音代理服務ExpansionVentureCapitalAforeCapitalAirMDRAI自主管理檢測商B輪TobikoA輪Viaduct商B輪B+輪AssociatesDatabricksMavenAGIA輪M13TheE14FundUncorrelatedVenturNFXThinkLabsBlackhornVenturesB輪ValorEquityPartnersAndreessenHorowitz-a16zBessemerVenturePartnersTeachers'VentureGrowtAI數據平臺MetaAMDYCombinatorTigerGlobal老虎海外GreenoaksCapitalManageHArtisanAI商[領投]OliverJungVoxel51B輪BlackRock貝萊德/黑巖AI自動生成A輪FellowsFundweka.ioAI深度學習和商AtreidesManagementGenerationInvestmentManagementMoreTechVenturesB輪FLOODGATEFundAI整合DeFi平臺TensorInvestmentCorporationAI醫療成像解B+輪BlueRunVentures海外AI大模型訓練A輪AmplifyPartners微軟MicrosoftTLVPartnersTeam8NumericAI會計自動化天使輪MenloVenturesLongJourneyVenturesFriends&FamilyCapTekstWorldLabsAndreessenHorowitz-a16zLaminiA輪AMDAltimeterCapitalFidelityManagementandResearchBpifranceAugmentB輪LightspeedVenturePartners光MeritechCapitalPartnersAI程序員技術A輪B輪NewionInvestmentsAirchatAI社交媒體應用A輪NEA恩頤投資-NewEnterpriseAssociatesAnsaCapital[領投]安大略省教師退休基金AI數據標簽提AnimocaBrandsARKInvestAI基礎模型開A輪AbstractVenturesGeneralCatalystPar微軟MicrosoftFortyTwo.VCAI創意工作室A輪AndreessenHorowitz-a16zAdjacentAIBrandtechMoussePartnersBanskGroupNendoLabsAI社交平臺天使輪ArcherCapitalXForceCapital臺AndrejRadonjicMacnBTCAnthropicAI實驗和生產平A輪DatabricksAI人力資源管理LuminoTRGCAIA輪PremjiInvestGeneralCatalystParMemorialHermannHospitalLoop.aiAforeCapitalAxionRayA輪AmploBVPInspiredCapitalPartneGreenoaksCapitalManageAdaptiveFinanciereSaintJamesAI程序員技術研BluwhaleAIWeb3服務提BaselayerCapitalGhafCapitalPartnersA輪商OctopusFirstCheckJabaliSonyInnovationFundTheiaAI辦公自動化商AMECloudVenturesTaalasB輪Wordware具YCombinatorM12A輪臺A輪KIT-ARSintefVentureVArmilarVenturePartnersD輪GeneralCatalystParWorkdayVenturesICONIQGrowthLightspeedVenturePartnersKPCB凱鵬華盈中國Pre-A輪NLXA輪CercanoManagementThayerVenturesNEA恩頤投資-NewEnterpriseAssociatesTalusNetworkTRGC微軟MicrosoftDatologyAIAI大模型訓練DouweKielaA輪NatFriedmanBioptimus商AltavoA輪High-TechGründerfondsBeteiligungsmanagementThüringenTGFSTechnologiegründerfondsSaxoniaSystemsHoldingTUDAGTUDresdenAGAnthropicPraktikaAI語言學習應Pre-A輪YellowRockA輪BloombergBeta天使輪商商MercuryJoinCapitalB輪商MayfieldFundD輪A輪A輪ViralMomentTechstarsVenturesLeonidCapitalPartnersAI語音合成軟B輪Mercor商A輪AndreessenHorowitz-a16zB輪MatrixPartners經緯海外AmplifyPartnersA輪Agrawal'sAIinitiativeVenturesDurable商Ventures南方公園B輪NEA恩頤投資-NewEnterpriseAssociatesInstitutionalVenturePartnersJeffbezosTobikoMotherDuck2024-12-11B輪2024-11-15AI教育機器人B輪B輪商A輪[領投]啟賦資本元和資本Pre-A輪B輪A+輪領沨資本AI蛋白質設計A輪[領投]謝諾投資[領投]深創投臺A輪D輪A輪[領投]君聯資本[領投]啟明創投[領投]洪泰基金天使輪MaaS賦能企B+輪B+輪AIGC大模型A輪LiblibAI哩布AI繪畫原創A輪AI人工智能A+輪好未來2024-7-17天使輪AI大模型推理和天使輪VR+AI科技公司B輪A+輪[領投]百度啟明創投AI初創大模型公司B輪Pre-B輪L4自動駕駛卡車B+輪AIGC產品開發Pre-A輪MonolithManagement礪AIGC視覺多模A+輪Pre-A輪[領投]武岳峰資本AI行業應用服務臺A輪[領投]春華創投AI初創大模型B輪Pre-A輪[領投]武岳峰資本AI行業應用服車產品開發商A輪[領投]啟明創投達泰資本AIGC視覺多商A輪奇B輪A輪AI初創大模型A輪MonolithManagement礪思資本A+輪B輪B輪幣Pre-A輪IDG資本B輪Pre-A輪A+輪啟明創投VAST哇嘶Pre-A輪[領投]春華創投英諾天使基金D輪Pre-A輪A輪[財務顧問]指數資本微處理器技術IP授商B輪司Minimax稀A輪北航投資普華資本能AI芯片設計商B輪A+輪商B輪IT系統解決方案提A+輪B輪 SamsungVentures三星2024-7-15B輪AI大算力芯片公司A輪VenturesA+輪A輪2024-11-11L4級自動駕駛產品B輪B輪天使輪L4級自動駕駛產品A輪B輪投臺發D輪AI解決方案提供商AI芯片研發商B+輪幣Mindflow曼AI基礎架構與數據B+輪AI芯片研發商B輪[財務顧問]指數資本[領投]深創投[領投]安吉智慧谷2024-2-1B+輪金AI科技創新公司B輪AIGC技術服Pre-A輪片A+輪2024-1-17商B輪全球人工智能市場規模2022年-2032年全球人工智能市場規模及預估002024年上半年全球各地區每周至少使用一次人工智2024年上半年中小企業主對使用人工智能的擔憂2024年10月全球用戶對AI在就業市場應用的觀點分析人工智能應用已在企業中快速普及人工智能最常見的應用已經從2023年長遠戰略次要組成部分，轉變為2024年廣泛應用并推動企業關鍵價值增長。提高產品或服務質量并通過提高IT效率節省成本是開發AI應用程序的主要驅動力。2024年10月全球主要地區認為Ai被廣泛應用且推動關鍵北美歐洲全球化并縮短上市時間的機會。人工智能日益增長的戰略重要性正在推動各企業大幅增加相關計劃。廣泛的實驗和教育是企業應盡的義務，如果不鼓勵，企業將失去其應有的職責。然而，缺乏明確價值識別途徑的項目正因數據挑戰而受到阻礙，從而扼殺這一機會。人工智能項目可能會在有限的部署困境中停滯不前，從而浪費公司的金錢、時間和資源，而無法達到預期的使用水平。數據孤島、數據質量差以及數據和模型管道效率低下等問題正阻礙這些計劃的實施。在普通組織中，51%的AI項目正在生產但尚未大規模交付。將AI項目引入生產環境時，數據質量是最大的阻礙。35%的組織認為，存儲和數據管理是AI計劃最常見的基礎設施抑制因素；然而，那些已經廣泛實施AI的組織對這些挑戰的感受不那么強烈。個問題。雖然越來越多的計劃被集中到分部署。平均而言，受訪企業被歸類為有限部署的生產項目多于擴大能力的項目。在追求新計劃時，許多組織可能無進到生產階段時，數據質量是最常被提其組織內的少數用例或項目。大規模實施組織將AI應用從試點轉移到生產環境的三大障礙分析各組織紛紛投資生成式人工智能，其興趣超過了對長期存在的人工智能形式的興趣。隨著這波投資熱潮的塵埃落定，一小部分生成式人工智能先驅者應運而生。這些組織擁有更廣泛的整合能力，并從該技術在新產品開發、增強創新和更快上市時間方面獲得了顯著的競爭優勢。隨著生成式人工智能先驅者開始建立與他人之間的顯著差距，這些競爭優勢可能會不斷增長，而這些差距是由他們的投資和基礎設施優勢決定的。88%的組織正在積極研究生成式人工智能。24%的受訪者已將生成式人工智能視為其整個組織的一項綜合能力。大多數生成式人工智能開拓者都認為，生成式人工智能計劃對提高創新率（79%）、支持新產品推出（76%）和縮短產品上市時間（76%）等競爭差異化領域具有“高”或“非常高”個問題。雖然越來越多的計劃被集中到分部署。平均而言，受訪企業被歸類為有限部署的生產項目多于擴大能力的項目。在追求新計劃時，許多組織可能無法最大限度地發揮其現有投生成式人工智能的采用正在已經將生成式人工智能投資轉化為規模化生產能力。相比之下，11%的公司尚未投資生成式人工生成式人工智能的采用正在已經將生成式人工智能投資轉化為規模化生產能力。相比之下，11%的公司尚未投資生成式人工智能，29%的公司仍在試驗該技術，37%的公司已將生成式人工智能投入生產但尚未實現規模化。對于一項直到2022年11月推出ChatGPT后才引起公眾關注的技術而言，這是一個了不起的采用水平。已集成并廣泛部署生成式AI的組織將獲得廣泛的好處。重要的是，這些好處通常體現在提供競爭優勢的領域。超過四分之三(79%)的先驅者認為生成式AI對其創新率具有“高”或“非常高”的影響，76%對其新產品上市時間具有影響，76%對其支持新產品推出具有影響，74%對其產品或服務質量的改進具有影響，67%對其產品和/或服務差異化具有影響。這些水平超過了“AI成熟度”較低的組織，這表明生成生成式AI的先驅者在其支持基礎設施和策略方面更加成熟。他們使用更廣泛的場所進行AI模型訓練和推理。但更根本的是，在AI基礎設施規劃方面，他們考慮的因素要多得多。與沒有進行同等程度投資的組織相比，他們更有可能在規劃基礎設施時考慮安全性、AI加速器訪問、數據隱私、可擴展性、客戶支持以及對AI工具和框架的訪問。與那些嘗試生成式AI的人相比，這些先驅者不太可能考慮的唯一因素是前期成本，他們認為前期成本不如長期運營支出重要。通過在基礎設施決策之初考慮這些因素，這些組織可以確保這些問題不會在項目進展過程中出現。AI加速器在優化AI性能方面發揮著重要作用。這些專用硬件設備（最突出的例子是GPU）旨在加速模型訓練和推理；對于AI工作負載，它們比CPU更快、更高效。組織在訪問GPU時可能會面臨挑戰，而這種稀缺性提升了它們在基礎設施規劃中的地位，并鼓勵采用專業的AI云計算平臺。在安全性之后，44%的組織認為加速器可用性是基礎設施決策的主要因素。超大規模公共云是通往GPU的一條途徑，但許多人也轉向了專業的AI云。GPU云正成為訓練（近三分之一，即32%的組織采用）和推理（31%）的關鍵場所。在某些地區，特別是亞太地區，缺乏人工智能加速器已經限制了組織將模型投入生產。這些專業云產品在信息技術和服務公司2024年全球人工智能趨勢報告展現了與2023年報告截然不同的人工智能應用前景。人工智能正在得到更廣泛的應用，更加注重提供產品和服務質量改進和收入增長。生成式人工智能的成熟是這一轉變的關鍵驅動力。然而挑戰依然存在。許多組織正在努力將投資轉移到他們可以大規模提供的能力上，他們承認業務運營的可持續性面臨壓力。構建強大的數據架構，助力AI成功明智的投資是生成式AI成功的關鍵探索生成式AI驅動的IT效率擴大可持續發展實踐04TheTrend全球人工智能發展趨勢發式進入公眾視野的一年，2023年是它因為研究人員和企業都在尋求確定如何將這一技術的革命性飛躍最實際地融入生成式人工智能的發展與計算機少數公司生產的大型集中式計算機逐漸被企業和研究機構使用的小型高效機器取代。在隨后的幾十年里，技術逐漸進隨著時間的推移，功能強大的個人計算生成式人工智能已經進入了“業余愛好者”階段——與計算機一樣，進一步的進步旨在以更小的成本實現更高的性能。2023年，具有開放許可的高效基礎模型呈爆炸式增長，首先是Meta推對平價和易用。借助開源社區開發的微調技術和數據集，許多開放模型現在可以在大多數基準測試中勝過除最強大的閉源模型之外的所有模型，盡管參數數型不斷擴展的功能將獲得最多的媒體關注。但最具影響力的發展可能是那些專注于治理、中間件、訓練技術和數據管道的發展，這些發展使生成式人工智能可持續和易于訪問。以下是未來一年值當生成式人工智能首次引起大眾關注時，典型的商業領袖的知識主要來自營銷材料和令人振奮的新聞報道。實際經驗（如果有的話）僅限于擺弄ChatGPT和現在對人工智能解決方案有了更深入的了解。有機構將用技術成熟度曲線將生成式人工智能定位在“預期膨脹的頂峰”，即將滑入“幻滅的低谷”——換句話說，即將進入一個（相對）令人失望的過渡期——而德勤2024年第一季度的“企業生成式人工智能狀況”報告指出，許多領導者“預計短期內將產生重大的變革影響”。而現實情況可能介于兩者之間：生成式人工智能提供了獨特的機會和解決方案，但它并不會滿足所有人的需求。現實世界的結果與炒作相比如何，在一定程度上取決于觀點。像ChatGPT這樣的獨立工具通常占據大眾想象的焦點，但順利集成到現有服務中往往會產生更大的持久力。在當前的炒作周期之前，生成機器學習工具（如谷歌在2018年推出的“智能撰寫”功能）并沒有被視為范式轉變，盡管它們是當今文本生成服務的先驅。同樣，許多影響深遠的生成式AI工具正在作為企業環境的集成元素實施，它們增強和補充現有工具，而不是徹底改變或取代它們：例如，MicrosoftOffice中的Photoshop中的“生成填充”功能或生產力和協作應用程序中的虛擬代理。生成式人工智能在日常工作流程中首先獲得發展勢頭的地方，將對人工智能工具的未來產生比任何特定人工智能功能的假設優勢更大的影響。根據IBM最近對1,000多名企業級公司員工進行的一項調查，推動人工智能采用的三大因素是人工智能工具的進步使其更易于訪問、降低成本和自動化關鍵流程的需求，以及嵌入到標準現成業務應用程序中的人工智能數量不斷增加。最先進的生成式人工智能的野心正在不斷增長。下一波進步不僅將側重于提高特定領域的性能，還將側重于能夠將多種類型的數據作為輸入的多模態模型。雖然跨不同數據模態運行的模型并不是一個嚴格意義上的新現象——文本到圖像模型（如CLIP）和語音到文本模型（如Wave2Vec）已經存在多年——但它們通常只在一個方向上運行，并且經過訓練以完成特定任務。Gemini等專有模型，以及LLaVa、Adept或Qwen-VL等開源模型，它們可以在自然語言處理(NLP)和計