原生多模態成為發展主 超長上下文理解能力不斷突 傳統人機交互方式被顛覆重 大模型的應用模式日益豐富、產業生態愈 算力短缺問題突出，制約大模型持續發 模型結構創新難度大，可解釋性問題加 高質量數據供給不足，成為模型訓練新瓶 大模型的技術特性帶來了新的安全風

大模型的訓練強依賴大規模的基礎設34資源挑 技術挑 公共云為訓練全球領先的大模型提供必要條 公共云提供高效率和低成 公共云為大模型提供全面安全保 算力短缺的根本原因是供應無法滿足需 公共云最大化發揮稀缺計算資源的價值，推 公共云可協同利用多來源算力，豐富算力生

開源生態對于大模型的誕生具有基礎46開源生態是大模型技術發展和應用推48大模型開源的核心意義是普 開源生態助力提升大模型透明度與安全 開源生態加速大模型發展和應 開源生態助力我國搶占產業生態制高 開源生態促進多方協同安全治 開源生態確保模型安全評估客觀公 開源生態幫助建立業界對大模型技術的信 合成數據是解決高質量訓練數據供給58構建更匹配模型部署要求的高質量應61數據上云推動模型應用數據生態建設，提供保61檢索增強是模型高質量用數的可行方 以更開放、務實、多元的方式促進高質量數

法律法規、標準規范、倫理道德原則的性質 組織保障是一切體系化治理能力的基 圍繞全生命周期的技術治理措 針對用途和場景的應用風險治 以安全使用管理防范濫用誤用行 多方協同治理的價 多方協同治理的特 多方協同治理中的產業貢

個人生活新助 產業智能新模 公共服務新體

附錄C：人工智能開源社區：魔搭 百煉提供強大而實惠的計算資 百煉提供豐富的模型供 百煉提供模型全生命周期的服 百煉提供構建應用的完整工具 合規性與安全

11 GoogleGemini1.5Pro，能夠同時處理和理解文本、

大模型上下文窗口在過去一年不斷突破。GPT-4128Ktoken數十小時音頻、數萬行代碼，以及超過百萬的單詞。GoogleGemini、阿里巴巴的Qwen-Long

2 H100GPU2024B10016000H200GPUH1008-12速上升。OpenAIGPT-425000A100GPUGeminiGPU

AIGC1礎 Llama3技術報告中披露的405B參數規模模型的信息為例。計算資源方面，Llama316000H100GPU8NVLink7500SSD240PB2TB/s7TB/s

GPULlama316000GPUCPU54Llama341978GPUGPUcheckpoint，用于恢復和調試，一個主要挑戰是為例，MetaGPUcheckpoint Llama3405B16000H100。構建僅僅是加大資金投入就可以解決的問題。實現萬卡高效協同工作，涉及GPU與GPU90

99%。 解決高頻訪問海量數據集的問題。公共云預置的深度學習框架（如TensorFlow、PyTorch、MXNet）、開發套件，集成了高性能計算庫、分布式訓練工具、自動混2GPU成本。根據業界的統計，從使用效率看，公共云資源使用效率一般可達30%~40%；5%~10%。GPU

DDoS（IDS/IPS）、防火墻、密鑰管理服務等，為

3 H2002025 ABB7 CPU

GPUCPU5CPU713BGPUGPU1基新步伐。例如，Transformer模型的開源直接促成了后續一系列大模型的創新，如BERT、GPT能力。PyTorchTensorFlow

2用 大模型開源是對中小企業和個人開發者的普惠。01

ModelScopeCValues-Comparison145k選擇到部署的全過程，幫助開發者學習和掌握大模型的使用方法。ModelScope RAG

14B、32B，以及能力在行業內一流的72B、110B；與此同時，還開源了可執行圖像理解任務的Qwen-VL、可執行聲音理解任務的Qwen-Audio的多模態大模型等。基PC、手機、汽車、航空、天文、采礦、教育、文化、游戲等。 ModelScopeQwen202410HuggingFace40007Llama20249OpenLLMLeaderboard，Qwen20246TensorRT（英偉達的加速工具）、OpenVINO（英特爾的工具套件）、Llama-Factory（META的工具Qwen系列開源模型得到更廣泛更深入的應用，已成為全球產業界的一個主流選擇。

3化 Qwen系列

1供

博弈(Self-play)探索由弱模型監督訓練更強模型(Weak-to-Strong)的方式，即用較

隨著從訓練階段“百模大戰”走向應用階段賦能千行百業，模型對數據利用呈現“多方匯聚”的特征。例如，用戶要求結合自有文檔和外部新聞進行專項分析，系統就需要根據用戶數據，利用模型插件調用外部數據，結合模型能力做出回應。在模型應用中，用戶數據、外部數據和模型數據伴隨著多樣化的用戶需求和持續性的人機交互形成了一個高度整 RAGRAG

RG在大模型創造性表達與真實性保障之間起到橋梁作用。RG是從訓練轉向應用的通用化替代性方案，可以提升模型對專業性知識的理解能力，增強生成內容的時效性和精準性，解決了部分數據能在應用中使用但不便于訓練的矛盾。其一，RG通過備”。比如以金融、醫療、法律等專業領域問答系統為代表的NLP類應用中，通過RG讀取專業文檔和報告可以提升模型回答問題的專業性；又如在軟件工程中的代碼RG可以從代碼庫中檢索排名靠前的代碼或摘要，并將其與輸入聚合，以增強代碼的生成和總結能力。還有在科研方面，通過融合多模態領域知識，模型可以對世RG檢索查詢數據庫中已知的，在結構或功能上具有共性的蛋白質序列信息，可以豐富對目標蛋白質特征的描述，用于提升模型分析、預測蛋白質功能的能力，有助于設計全新的蛋白質序列結構。其二，RG提升了模型輸出內容的精準度和時效性，實現“模數同給用戶在交互時帶來更豐富的體驗；又如在事實核查場景中，引入外部知識庫可以更好地驗證信息的準確性和可靠性；還有在搜索等場景的下游任務中，通過信息檢索和文本生成，提高搜索召回內容的相關性和可讀性。 RAGRAGRAG

1

2融

3用

SFT&DPOSFT是一種常見的方法，往往通過在（qestion，aswer）數據集上進行訓練來調整（questionanswer（或者機器生成后人工校驗）。參與的模型只有一個，由預訓練模型初始化。訓練目標和預訓練相同，優化預測下個toen的oss。SFT可以幫助模型學習到更符合人類價值觀的回答方式，從而減少生成違法不良信息的風險。直接偏好優化DPO是一種強化學習技術，但是并不直接對模型的輸出進行評分，而是比較兩個或多個模型輸出，并選擇更好的一個。通過這種方式，模型逐漸學會生成更符合人類偏好的輸出。在DPO中，訓練信號來自對不同模型輸出的比較，而不是直接的獎勵或懲罰。DPO是目前主流的偏好對齊算法，LLama31、Qwen2等都在使用。訓練數據格式為（question,chosenanswe,ejectedanswer）。參與的模型共有兩個，一個是Actie模型，另一個是eeence模型，都從SFT模型初始化，并在訓練過程中更新ActieActiechosenanswer遠離ejectedanswer，同時確保結果不偏離eeence模型的輸出。這種方法可以更有效地捕捉到人類的細微偏好，并避免直接獎勵機制可能導致的過分簡化或操縱問題。

SFTDPOanswer；對于用戶的消極情緒，需badgood署環境的安全問題、模型應用功能場景設計中的倫理風險（2.2）。

Qwen2-72BSOTA

平臺建立：阿里內部建立了大模型攻防平臺——模御，設置了QwenChat，Qwen-VLRedChain。RedChainLangChainAgent●在數據層面，RedChain中國的人工智能法律法規；RedChain●在生成與打分工具層面，RedChainMetaPromptGuardLLM

LLMTop10不安全輸出處理：指大模型輸出未做驗證和處理，導致XSS（跨站腳本攻擊）、CVEAI（ASRC）收ProofofConcept輸入、誘導、濫用等風險（2.3）。

2024RAGAIGC（MFA）等方式確保只有授權用戶

常見的技術可以歸納為兩大類，一類是內生安全技術，包括安全微調（SFT、基于人類反饋的安全對齊（RLHF）等。另一類是對模型的輸入輸出內容進行風險識別，例如Meta的LLamaGuad，以及Google的ShieldGemma等這類模型。這類技術一般稱為外層護欄，對暴力犯罪、隱私、色情等風險進行識別，攔截用戶請求或模型輸出的內容，從而確保大模型的安全使用。化學習，從而讓模型和憲法準則進行對齊，該技術最先由Anthropic提出并用于基 attributeprompt等技術生成萬級別的數據。生成模型構建：基于萬級別的訓練數據，全參微調Qwen-14b、Qwen-32b等尺寸小模型蒸餾訓練：prompt：25,32+04,093.03,15,21,27,33+05,104.06,14,19,28,35+02,085.01,11,

舉報、應急處置、辟謠機制：內容傳播平臺建立健全的用戶舉報機制，鼓勵用戶并采取相應的處理措施，如隱藏、刪除不當內容，或對違規賬號實施限制訪問、封禁等處罰。對于已造成影響的不實信息，平臺應及時發布官方辟謠公告，利用算法推送機制擴大辟謠內容的覆蓋范圍，以正視聽。同時，通過合作權威機構和專家，提高辟謠內容的公信力和有效性，共同維護網絡環境的清朗與安全。

4治 廣泛參與和責任共擔：大模型治理涉及多學科交叉、多部門協作，強調團隊的自形成有效的風險管理文化。 治理技術的研發和應用，會顯著提高行業發展與治理水平，例如數據匿名化機制激發數據價值、數字水印技術保障生成內容的可溯源防篡改等。建議給予技術發展更

安全機制：大模型進入爆發期以來，科技企業都積極參與治理，我國大模型企業倫理審核、應急響應等方面不斷提升安全能力，對大模型的研發和應用進行了全生命周期的治理。生態管理：開閉源模型都需要對模型研發應用生態進行有效管理。近一年來，大設置更多使用者使用限制和道德要求，并依據模型能力和安全風險等級，實現靈活調控。B100

標志。推動大模型技術突破的伸縮定律（ScalingLaw）尚未見頂，人工智能正在從智能治理中國方案首次人工智能安全峰會上，28

RAG2024Qwen-Max20234的最初的通義大模型，Qwen-Max的理解能力提升46%、數學能力提升75%、代碼能力提升102%、幻覺抵御能力提升35%、指令遵循能力提升105%，模型與人類偏700GPT-4oAPPQwen-Max，繼續免費為所有用戶提供服務。

GPT-BIBI202310阿里云發布了百煉大模型平臺，開發者可通過“拖拉拽”5AICodeQwen1.53503000國企業歡迎的大模型。通義通過阿里云服務企業超過9萬、通過釘釘服務企業超過 在醫療領域，AI（Panda）的應用同樣引人注目。AIPANDACT+AI”萬人的癌癥篩查工作。20245AI反饋自動調優識別結果，AI

的“芯片”，傳統育種方式成本高、工作量大，往往需要耗時十年甚至更久。AI23

PyTorch2023 用戶體驗，滿足廣泛應用場景的需求，百煉除了提供語言模型（Qwen）之外，還提供各種模態的模型，比如視覺理解模型（Qwen-VL等）、圖像生成模型（Wanx、FLUX、OutfitAnyone等）、視頻生成模型（AnimateAnyone、EMO等）、語音識別模型（Sensevoice、Paraformer-v2）、語音生成模型（CosyVoice）。

LoRA、SFT

插件中心：PythonRAG效果提升：RAG是企業基于大模型構建應用中最常見的方式。百煉為了提升RAG的效果，采取了一系列具體的措施和技術手段，使得在RAG應用中能夠提供更chunk 27001ISO42001（國際認證聯盟（IQNet）在該領域

DDoS（IDS/IPS）、防火墻、 附錄提升國際競爭力：AI

（ModelScope，提供15000600AI已經成為中國規模最大、開發者最活躍LlaMa、StableDiffusion、書生、Qwen

MaaS數據集倉庫、模型倉庫、算力平臺是關鍵支撐。MaaS體驗零門檻、使用簡單快速、定制靈活便捷、云端模型部署是核心能力。MaaS

60中國人工智能領域頂級開源社區。魔搭社區吸引了超