VCNASVCNAS2024年3月面向未來的前沿AI監管關于作者器系統自主性的政策。他擁有倫敦大學國王學院的戰爭研究博濟學和公共政策碩士學位，以及圣華盛頓大學的物理學學士學關于技術與國家安全計劃CNAS技術與國家安全計劃探討了與新興技術相關的政關于人工智能安全與穩定項目CNASAI安全與穩定項目是一項為期多年、多項目的工智能相關的既定和新出現的風險。這項工作的重點是預測智能故障，改善美國S.國防部的人工智能測試和評估流程Acknowledgments助于進一步向政策制定者展示他們的見解。這份報告建立在LeartHeim和JaimeSevil。作為一家致力于組織，知識和個人誠信的最高標準的研究和政策保持嚴格的知識獨立性和對其思想，項目，出版物，活動和其他容僅反映其作者的觀點。根據其使命和價值觀，CNAS不參與游全遵守所有適用的聯邦、州和地方法律。CNAS不會代表任何實TABLEOFCONTENTS01執行摘要03Introduction0607080912成本和對AI模型的訪問對政策制定者的影響了解成本和計算增長相關工作當前最佳估計和假設第二部分：分析172123272832成本和計算預測成本增長限制硬件改進的限制增殖硬件受限演員的成本計算監管閾值35Conclusion36附錄44精選參考書目技術與國家安全|2024年3月執行摘要 用于訓練前沿用于訓練前沿AI模型的計算機隨著時間的推移而出現訓練計算(FLOP)20222024202620282030203220342036203820402042計算(會計成本高低計算估計和硬件約束)(95%置信區間)2@@CNASDC通過算法改進，有效的計算隨時間增長GPT-4估計計算有效計算(考慮成本和硬件限制)$1T$10B$1B$100M20222024202620282030203220342036203820402042培訓費用(任意錐形成本增長預測)高-低成本估算技術與國家安全|2024年3月 Introduction 2培訓當前前沿模型的成本3當前的趨勢表明，未來的AI系統將比當今的技術水平強大得多。3@@CNASDC研究問題AI模型的計算量和訓練成本將如何隨著時間的推進近45技術與國家安全|2024年3月成本和對AI模型的訪問了潛在危害最大和最有能力的大型語言模型具有兩用功能。@@CNASDC,一旦模型是開源的，它就會迅速擴散。TT。反補貼趨勢增加模型訪問23 7技術與國家安全|2024年3月了解成本和計算增長例用更多的計算量和更多的訓練數據訓練更大的模型可以提高性能。@@CNASDC34計算長算法效率36改進和計算費用的增加，未來的前沿模型將使用更多的計算。算法的改進使研究人員能夠更有效地使用這種計算，從而獲得更好的性能。本文將增加的計算和算法改進的綜合效果顯示為的有效計算能力）表示。38相關工作TT9@CNASDC訓練計算(FLOP)增量改進2022GPT224估計計2算02620282030203220342036203820402042有效計算202220282030203220342036203820402042202220282030203220342036203820402042@@CNASDC41算法的改進會影響模型使用計算的效率。技術與國家安全|2024年3月475558當前最佳估計和假設@@CNASDC硬件性能成本增長62算法效率64當前成本當前計算256725Assumptions技術與國家安全|2024年3月第二部分：分析技術與國家安全|2024年3月成本和計算預測II圖2.1|訓練前沿圖2.1|訓練前沿AI模型的成本隨著時間的推移而上升（當前趨勢的正向投影）最終培訓運行的成本$10T$1T$100B$100B$10B$1B$100M20222024202620282030203220342036203820402042@@CNASDC圖2.2|用于訓練前沿AI模型的計算機隨著時間的推移而出現（當前趨勢的正向投影）訓練計算(FLOP)20222024202620282030203220342036203820402042（當前趨勢的正向投影）有效計算2024202620282030202220322034204220362038204020242026202820302022203220342042技術與國家安全|2024年3月（當前趨勢的正向投影）202420272030203320362022年的最終培訓費用美元$280M$50B$600BFinding。（當前趨勢的正向投影）202420272030203320362022年的最終培訓費用美元$280M$3.6B$50B$600B2022年的最終培訓費用美元Finding成本增長限制大公司可能會以數十人的順序集結每年數十億美元的培訓費用。漸縮的成本增長預測@@CNASDC(任意縮編成本增長項目)最終培訓運行的成本$10T$100B$100B$10B$100M20222024202620282030203220342036203820402042(縮減成本增長預測)訓練計算(FLOP)202220222024202620282030203220342036203820402042在漸縮的成本增長預測下計算 硬件改進的限制 @CNASDC技術與國家安全|2024年3@CNASDC巨大的成本和大量的計算仍然是訓練計算最密集的前沿模型的入門代價。84技術與國家安全|2024年3月圖4.2|前沿模型培訓成本(任意縮編成本增長項目)圖4.1圖4.2|前沿模型培訓成本(任意縮編成本增長項目)最終培訓運行的成本（2022美元最終培訓運行的成本（2022美元）$10T10$10T10$1T10×$1T$100B10$100B10$10B×$10B10$1B10$1B10$100M20222024202620282030203220342036203820402042圖4.3|培訓計算(2031年前后縮減成本預測和硬件限制圖4.3|培訓計算(2031年前后縮減成本預測和硬件限制)（折線成本項目和硬件限制周圍2031)訓練計算有效計算有效計算10101010×10101010101010101010101010×101010102022202420262028203020322034204220362038204020222024202620282030203220342042203620382040ff@@CNASDC表2.1|前沿模型培訓成本和隨時間的計算20242027203020332036$30BFindingTABLE2.2|前沿模型訓練成本和有效計算隨時間變化202420272030203320362022年的最終培訓費用美元$220M$30B2022年FLOP等效有效計算growth)Finding增殖型，從而減緩了擴散。然而，隨著時間的推,最終培訓成本變得足夠低，以至于愿意開源該模型的參與者可以負擔得起。例如，第一個版本的Stable最終培訓運行的成本$100B$10B元$10B $1B$1B$100M$1000萬202220242026202820302032@CNASDC技術與國家安全|2024年3@CNASDC。FINDINGFINDING硬件受限演員的成本了算法效率的進步將使訓練模型與曾經的前沿模型具有同等能力，僅在幾年內就可以負擔得起。@CNASDC$100B$10B$1B$100M$1000萬最終培訓運行的成本最終培訓運行的成本202220242026202820302032得任何硬件改進的情況下訓練前沿AI模被拒絕。@CNASDC最終培訓運行的成本最終培訓運行的成本$120B$100Bbenefitfromalgorithmicprogress.benefitfromalgorithmicprogress.$10B$1B$100M$100M$1000202220242026202820302032技術與國家安全|2024年3月FINDING在前沿AI模型中。即使不考慮工程挑戰，使用更多的得負擔不起。然而，算法效率的進步將使訓練模型具有與當的能力，僅在幾年內就可以負擔得起。如果算法改進仍硬件限制的最可能影響將使這些參與者對任何給定級別的FINDING在前沿AI模型中。即使不考慮工程挑戰，使用更多的得負擔不起。然而，算法效率的進步將使訓練模型具有與當的能力，僅在幾年內就可以負擔得起。如果算法改進仍硬件限制的最可能影響將使這些參與者對任何給定級別的 計算監管閾值 262626@CNASDC技術與國家安全|2024年3月@CNASDC圖7.1|火車費用A10隨著時間的推移，FLOP調節閾值模型遞減最終培訓運行的成本$155M$100M$100$10M$10$1M$1$100K20242025202620272028202920302031203220332034圖7.2|訓練容量等于A10的模型的成本2024年的FLOP模型隨著時間的推移而下降最終培訓運行的成本$155M$100M$10M$1$1M$100202420252026202720282029203020312032203320342024202520262027202820292030203120322033203426252626技術與國家安全|2024年3月Conclusion@@CNASDC量性技術與國家安全|2024年3月 附錄A：計算增長的其他限制 硬件限制22到數據限制@@CNASDC工程挑戰技術與國家安全|2024年3月觀察到的增長率倍增期每年的訂單(OOMs/yr)多年來達到公制10×改進來源公制訓練計算(FLOP)用于訓練大型模型的計算(FLOP)機器學習GPU性價比(FLOP/s/美元）大型語言模型算法效率@@CNASDC 估算計算成本 為40技術與國家安全|2024年3月成本預測的不確定性對初始起始成本的敏感性對增長率的敏感性圖A.1|前沿模型訓練成本隨時間變化(靈敏度分析)$100M最終培訓運行的成本（2022美元）$50M起始成本$90M起始成本$30M起始成本5000萬美元的起始成本,高低成本增長估計(95%CI)2022202420262028203020322034203620382040204220222024@CNASDC表A.2|2022年美元培訓成本的中，高和低估計（直進投影）202420272030203320369.7個月成本加倍$50B$600B7.3個月成本加倍$490M$450B$400T13.5個月成本加倍$1.7M$40B表A.3|隨著時間的推移訓練計算的中、高和低估計（直進投影）20242027203020332036表A.4|實現培訓成本增長的中，高和低估計的培訓成本里程碑的年份（直進投影)2022年培訓成本$5億美元$5B$10B$20B9.7個月成本加倍20257.3個月成本加倍2024202513.5個月成本加倍20262030表A.5|實現中，高，低估計訓練計算增長的訓練計算里程碑的年份（直進投影）FLOP1026中的訓練計算10271028102910307.0個月計算加倍202420305.7個月計算加倍202320308.6個月計算加倍2024技術與國家安全|2024年3月 附錄E：逐步成本增長預測 圖A.2|前沿模型隨時間變化的培訓成本(縮減成本增長項目)$10T$1T$100B$10B$1B$100M最終培訓運行的成本（2022美元）20222024202620282030203220342036203820402042表A.6|成本增長的各種情況下的模型培訓成本和成本倍增率20242027203020332036恒定成本倍增率9.7個月$50B$600B翻番率增加+0.5月/年$90B$400B倍增率增加+1.0$2.4M$30B$80B月/年)翻番率增加+1.5$4B$30B月/年))翻番率增加+2.5$200M$800M$4B月/年))))@@CNASDC精選參考書目AI趨勢-.。.Dorner,FlorianE.MeasuringProgressinDeep.Grace,Katja.AlgorithmicProgressinSixDomains.44技術與國家安全|2024年3月.何安森等。語言建模的算法進展。即將出版。.Hoffman,Jordan,etal.TrainingCompute-OptimalL.Kaplan,Jared,etal.ScalingLawsforNeuralLanguageabs/2001.08361...Sevilla,Jaime,etal.ComputeTrendsacrossThreeErasofMachineLearning.arXiv.org,March9,2022https:///abs/2202.05924.@@CNASDC美國政府政策46@@CNASDC,opeai-ceo-sam-），），davidtayar5/stats/1627690520456691712;KyleWigger“Athropic的5億美元，4年計劃承接OpeAI”thathropics-5b-4年計劃采取。。 技術與國家安全|2024年3月www-files.anthropic.com/production/images/chinsights-finds-sm9aa9f81a446198ac5402aaf97a87/bcg-the-the-future-of-jobs-Hoffmann等人，TrainingCom-putresearch/publications/llama-2-open-fouresearch/publications/llama-2-open-fou@@CNASDC36.KonstantinPilz等人，“提高計算效率和AI能力的擴散”，“語言建模的月，https://docs。谷歌。com/doc-gPeXdSJgFlwIpvavc0atjHGM82Q--compte-cetric-framewo。。publication/ai-aAlgorithmicProgress.p49技術與國家安全|2024年3月xyING/核試驗歷史/曼哈頓項目/，xyING/核試驗歷史/曼哈頓項目/，google.com/drive/1O99z9b1I5O66bT78r9ScslE_nOjscrollTo=CytB-er25到2.0×1026FLOP.Epochdata/epochdb/table;