生成式人工智能賦能智慧司法及相關(guān)思考況琨浙江大學(xué)計(jì)算機(jī)學(xué)院提綱2．生成式人工智能發(fā)展脈絡(luò)．生成式人工智能賦能智慧司法．生成式人工智能的不能什么是生成式人工智能什么是人工智能？什么是生成式模型？什么是人工智能？人工智能（ArtificialIntelligence）：是以機(jī)器為載體所展示出 來(lái)的人類智能，亦稱為機(jī)器智能（Machine

Intelligence）讓機(jī)器模擬人類在視覺、聽覺、語(yǔ)言和行為等方面的某些功能什么是生成式模型生成式模型學(xué)習(xí)“數(shù)據(jù)如何生成的”（聯(lián)合概率分布）目標(biāo)：學(xué)習(xí)數(shù)據(jù)背后的“完整故事”，包括數(shù)據(jù)的分布規(guī)律，甚至能自己“編故事”（生成新樣本）。像什么：一個(gè)畫家，不僅會(huì)判斷“這是貓還是狗”，還能親手畫出一只貓或狗。怎么做：先分別學(xué)習(xí)貓和狗的特征（比如貓的尖耳朵、狗的尾巴形狀），然后建模它們的整體分布規(guī)律。判別式模型學(xué)習(xí)“如何區(qū)分?jǐn)?shù)據(jù)”（條件概率或決策邊界）目標(biāo)：直接找到“區(qū)分貓狗的關(guān)鍵線索”，不關(guān)心數(shù)據(jù)本身如何生成。像什么：一個(gè)偵探，專注研究“貓和狗有什么不同”，快速抓住關(guān)鍵證據(jù)。怎么做：直接學(xué)習(xí)貓狗之間的“分界線”，不關(guān)心貓狗各自長(zhǎng)什么樣。5什么是生成式模型6判別式模型學(xué)習(xí)“如何區(qū)分?jǐn)?shù)據(jù)”（條件概率或決策邊界）目標(biāo)：直接找到“區(qū)分貓狗的關(guān)鍵線索”，不關(guān)心數(shù)據(jù)本身如何生成。像什么：一個(gè)偵探，專注研究“貓和狗有什么不同”，快速抓住關(guān)鍵證據(jù)。怎么做：直接學(xué)習(xí)貓狗之間的“分界線”，不關(guān)心貓狗各自長(zhǎng)什么樣。生成式模型學(xué)習(xí)“數(shù)據(jù)如何生成的”（聯(lián)合概率分布）目標(biāo)：學(xué)習(xí)數(shù)據(jù)背后的“完整故事”，包括數(shù)據(jù)的分布規(guī)律，甚至能自己“編故事”（生成新樣本）。像什么：一個(gè)畫家，不僅會(huì)判斷“這是貓還是狗”，還能親手畫出一只貓或狗。怎么做：先分別學(xué)習(xí)貓和狗的特征（比如貓的尖耳朵、狗的尾巴形狀），然后建模它們的整體分布規(guī)律。區(qū)分芒果和榴蓮：生成式模型：研究芒果的顏色、形狀、氣味，以及榴蓮的尖刺、氣味，甚至能“合成”一個(gè)虛擬的芒果。判別式模型：直接記住“有尖刺的是榴蓮，黃色橢圓形的是芒果”，遇到水果時(shí)快速對(duì)比。什么是生成式人工智能生成式人工智能技術(shù)，是指具有文本、圖片、

音頻、視頻等內(nèi)容生成能力的模型及相關(guān)技術(shù)。《生成式人工智能服務(wù)管理暫行辦法》生成式人工智能的典型代表：ChatGPTChatGPT：大數(shù)據(jù)+超算力，現(xiàn)象級(jí)AI應(yīng)用引發(fā)范式革命生成式人工智能的到來(lái)生成式人工智能發(fā)展脈絡(luò)---以GPT為例GPT-1（2018）：開啟預(yù)訓(xùn)練范式核心突破：基于Transformer解碼器架構(gòu)，采用“無(wú)監(jiān)督 預(yù)訓(xùn)練+任務(wù)微調(diào)”的訓(xùn)練模式，參數(shù)1.17億。任務(wù)微調(diào)指在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用特定任務(wù)的數(shù)據(jù)繼 續(xù)訓(xùn)練，來(lái)優(yōu)化其在目標(biāo)任務(wù)上的性能。通俗來(lái)說(shuō)，就是給 一個(gè)“什么都會(huì)一點(diǎn)但不精通的通才”做專項(xiàng)特訓(xùn)。能力特點(diǎn)：掌握基礎(chǔ)語(yǔ)義規(guī)律，但生成文本較機(jī)械，像剛 學(xué)會(huì)造句的小學(xué)生。GPT-12018GPT-22019GPT-32020ChatGPT2022GPT-420239生成式人工智能發(fā)展脈絡(luò)---以GPT為例GPT-12018GPT-22019GPT-32020ChatGPT2022GPT-4202310GPT-2（2019）：展現(xiàn)零樣本學(xué)習(xí)能力規(guī)模升級(jí)：參數(shù)增至15億，訓(xùn)練數(shù)據(jù)擴(kuò)展至40GB網(wǎng)頁(yè)文本。技術(shù)亮點(diǎn)：證明了無(wú)需任務(wù)微調(diào)即可完成翻譯、摘要等任務(wù)，生成文本連貫且富有創(chuàng)意，如撰寫短篇小說(shuō)。社會(huì)爭(zhēng)議：因可能生成虛假信息，OpenAI一度限制其開源。生成式人工智能發(fā)展脈絡(luò)---以GPT為例GPT-3（2020）：參數(shù)爆炸與少樣本學(xué)習(xí)參數(shù)躍遷：1750億參數(shù)創(chuàng)紀(jì)錄，訓(xùn)練數(shù)據(jù)涵蓋45TB互聯(lián)網(wǎng)內(nèi)容。能力質(zhì)變：少樣本學(xué)習(xí)：對(duì)于一個(gè)全新的任務(wù)，只需要給其提供1-5個(gè)示范案例，AI就能根據(jù)原有知識(shí)，迅速掌握全新的技能任務(wù)通用性突破：具有卓越的語(yǔ)言理解能力，和一定的歸納、演繹邏輯推理能力。局限性：存在“幻覺”問題，可能編造看似合理但錯(cuò)誤的內(nèi)容。GPT-12018GPT-22019GPT-32020ChatGPT2022GPT-4202311生成式人工智能發(fā)展脈絡(luò)---以GPT為例。ChatGPT（2022）：對(duì)話式AI的里程碑技術(shù)革新：基于GPT-3.5，引入三階段訓(xùn)練：海量文本預(yù)訓(xùn)練：構(gòu)建語(yǔ)言知識(shí)庫(kù)；人工標(biāo)注示范：學(xué)習(xí)對(duì)話禮儀與安全準(zhǔn)則；人類反饋強(qiáng)化學(xué)習(xí)：通過人類反饋減少無(wú)益、有害輸出應(yīng)用爆發(fā)：成為寫作助手、編程導(dǎo)師、多語(yǔ)言翻譯工具。GPT-12018GPT-22019GPT-32020ChatGPT2022GPT-4202312生成式人工智能發(fā)展脈絡(luò)---以GPT為例GPT-4（2023-2024）：多模態(tài)與系統(tǒng)化思維架構(gòu)升級(jí)：參數(shù)規(guī)模上，1.8萬(wàn)億參數(shù)，采用混合專家（MoE）架構(gòu)提升效率；多模態(tài)融合上，支持圖像輸入與文本生成，如解析醫(yī)學(xué)影像生成診斷報(bào)告。能力躍遷：GPT-4在美國(guó)法考、GRE、SAT等排名提升至人類考生前10%水平；在法律、醫(yī)療等垂直領(lǐng)域表現(xiàn)接近人類專家。GPT-12018GPT-22019GPT-32020ChatGPT2022GPT-4202313GPT的訓(xùn)練三板斧之一:

完形填空形式下文字接龍（自監(jiān)督學(xué)習(xí)）原話：

一輛

列車緩慢

行駛

在

崎嶇的

山路上移除單詞：

一輛

列車

行駛

在

崎嶇的

山路上預(yù)測(cè)填空：一輛列車緩慢行駛在崎嶇的山路上在訓(xùn)練時(shí)，人工智能模型會(huì)不斷地在句子中‘挖去’一個(gè)單詞，根據(jù)剩下單詞的上下文來(lái)填空，即預(yù)測(cè)最合適的‘填空詞’出現(xiàn)的概率，這一過程為‘自監(jiān)督學(xué)習(xí)’。GPT的訓(xùn)練三板斧之二:

提示學(xué)習(xí)與指令微調(diào)（人教機(jī)學(xué)）提示學(xué)習(xí)．

讓人工智能模型說(shuō)人話、做人事。．

手工設(shè)計(jì)提示和指令微調(diào)被譽(yù)為人工智能私語(yǔ)者（AI

whisperer）．

經(jīng)師易得、人師難求．

情感預(yù)測(cè)任務(wù)。輸入：“I

missed

the

bustoday.I

felt

so

.”其中“I

felt

so”就是提示詞（prompt），然后使用大模型用一個(gè)表示情感的詞填空。．

翻譯任務(wù)。輸入：“English:I

missed

thebus

today.

French:

.”

其中“English:”和“French:”

就是提示詞，然后使用大模型應(yīng)該再空位填入相應(yīng)的法語(yǔ)句子。“提示”是一種提供給預(yù)訓(xùn)練語(yǔ)言模型的線索，讓預(yù)訓(xùn)練語(yǔ)言模型能更好的理解人類的問題。指令微調(diào)指令微調(diào)，是指在已經(jīng)訓(xùn)練好的語(yǔ)言模型的基礎(chǔ)上，通過使用有標(biāo)注的特定任務(wù)數(shù)據(jù)進(jìn)行進(jìn)一步的微調(diào)，從而使得模型具備遵循指令的能力。GPT的訓(xùn)練三板斧之三:

人類反饋下強(qiáng)化學(xué)習(xí)（嘗試與探索）謀定而后動(dòng)，知止而有得人工智能三大要素:

數(shù)據(jù)是燃料、模型是引擎、算力是加速器．

MCP神經(jīng)元．

Perceptron． feedforward

NN神經(jīng)網(wǎng)絡(luò)早期前向神經(jīng)網(wǎng)絡(luò)seq2seq序列學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)． recurrent

NN．

LSTMWord2vec詞向量引入

Self-attention單詞之間關(guān)聯(lián)關(guān)系transformerSelf-supervisedPromptTransfer

&

Fine-tune語(yǔ)言大模型

Large

Language

ModelChatGPT數(shù)據(jù)：訓(xùn)練中使用了45TB數(shù)據(jù)、近1

萬(wàn)億個(gè)單詞（約1351萬(wàn)本牛津詞典所包含單詞數(shù)量）以及數(shù)十億行源代碼。據(jù)估計(jì)全球高質(zhì)量文本數(shù)據(jù)的總存量在5萬(wàn)億token左右，人工智能算法可能在一個(gè)數(shù)量級(jí)內(nèi)，耗盡世界上所有有用的語(yǔ)言訓(xùn)練數(shù)據(jù)供應(yīng)。模型：包含了1750億參數(shù)，將這些參數(shù)全部打印在A4紙張上，一張一張疊加后，疊加高度將超過上海中心大廈632米高度。算力：ChatGPT的訓(xùn)練門檻是1萬(wàn)張英偉達(dá)V100芯片、約10億人民幣，模型訓(xùn)練算力開銷是每秒運(yùn)算一千萬(wàn)億次，需運(yùn)行3640天（

3640

PetaFLOPs

per

day

）。大數(shù)據(jù)、大模型、大算力下以“共生則關(guān)聯(lián)”原則實(shí)現(xiàn)了統(tǒng)計(jì)關(guān)聯(lián)關(guān)系的挖掘。人類反饋強(qiáng)化學(xué)習(xí)（instrucGPT）codex（chain-

of-thought,120億參數(shù)）大模型的擴(kuò)展定律：數(shù)據(jù)是燃料、模型是引擎、算力是加速器GPT-12018GPT-22019GPT-32020ChatGPT2022GPT-420231.17億15億1750億1750億1.8萬(wàn)億模型參數(shù)數(shù)據(jù)規(guī)模損失函數(shù)大模型的“擴(kuò)展定律”（scaling

law），即隨著模型規(guī)模、訓(xùn)練數(shù)據(jù)和計(jì)算資源的增加,模型性能會(huì)得到顯著提升,并且這些關(guān)系遵循可預(yù)測(cè)的模式。DeepSeek崛起之因：模型算法和工程優(yōu)化的系統(tǒng)級(jí)協(xié)同創(chuàng)新DeepSeek模型在2048塊英偉達(dá)H800

GPU（針對(duì)中國(guó)市場(chǎng)的低配版

GPU）集群上完成訓(xùn)練，打破了大語(yǔ)言模型以大算力為核心的預(yù)期天花板，為在受限資源下探索通用人工智能開辟了新的道路。算法和工程創(chuàng)新主要包括了混

合專家模型、低秩注意力機(jī)制、強(qiáng)化學(xué)習(xí)推理、小模型蒸餾，以及諸如FP8混合精度和GPU部署優(yōu)化等工程創(chuàng)新。生成式人工智能發(fā)展脈絡(luò)---以DeepSeek為例DeepSeekLLM2023.11DeepSeek-V22024.05DeepSeek-V32024.12DeepSeek-R12025.0120/qq_22866291/article/details/145501376參數(shù)量：參數(shù)規(guī)模達(dá)670億，擁有7B和67B的base及chat版本特色：具備強(qiáng)大的語(yǔ)言理解與生成能力，采用先進(jìn)注意力機(jī)制和大規(guī)模無(wú)監(jiān)督預(yù)訓(xùn)練技術(shù)，能處理文本生成、問答系統(tǒng)、文本摘要等多種自然語(yǔ)言處理任務(wù)，語(yǔ)言泛化能力突出。意義：標(biāo)志著DeepSeek正式進(jìn)軍通用人工智能領(lǐng)域，為用戶提供全新自然語(yǔ)言處理解決方案，推動(dòng)通用大模型技術(shù)發(fā)展和應(yīng)用。DeepSeek

LLM:

Scaling

Open-Source

Language

Models

with

Longtermism生成式人工智能發(fā)展脈絡(luò)---以DeepSeek為例DeepSeekLLM2023.11DeepSeek-V22024.05DeepSeek-V32024.12DeepSeek-R12025.01/qq_22866291/article/details/145501376參數(shù)量：總參數(shù)達(dá)到2360億特色：開源混合專家(MOE)模型，通過MOE架構(gòu)，能根據(jù)任務(wù)特點(diǎn)動(dòng)態(tài)分配計(jì)算資源，在長(zhǎng)文本處理、復(fù)雜語(yǔ)義理解方面表現(xiàn)出色，可實(shí)現(xiàn)更精準(zhǔn)的語(yǔ)言理解和生成。意義：展示了DeepSeek在大規(guī)模模型架構(gòu)設(shè)計(jì)上的技術(shù)實(shí)力，為整個(gè)大模型領(lǐng)域引入新思路，推動(dòng)混合專家架構(gòu)在實(shí)際應(yīng)用中的發(fā)展。DeepSeek-V2:

A

Strong,

Economical,

and

Efficient

Mixture-of-Experts

Language

Model生成式人工智能發(fā)展脈絡(luò)---以DeepSeek為例DeepSeekLLM2023.11DeepSeek-V22024.05DeepSeek-V32024.12DeepSeek-R12025.01參數(shù)量：總參數(shù)高達(dá)6710億，每token激活370億參數(shù)特色：采用創(chuàng)新的MoE架構(gòu)和FP8混合精度訓(xùn)練，在長(zhǎng)文本生成、代碼理解和數(shù)學(xué)推理等任務(wù)中表現(xiàn)卓越，能處理復(fù)雜數(shù)學(xué)問題，準(zhǔn)確解析各類編程語(yǔ)言，長(zhǎng)文本生成內(nèi)容連貫、邏輯清晰。意義：鞏固了DeepSeek在大模型領(lǐng)域的領(lǐng)先地位，展示其在技術(shù)創(chuàng)新和性能優(yōu)化方面的卓越能力，為行業(yè)樹立新標(biāo)桿。DeepSeek-V3

Technical

Report/qq_22866291/article/details/145501376生成式人工智能發(fā)展脈絡(luò)---以DeepSeek為例DeepSeekLLM2023.11DeepSeek-V22024.05DeepSeek-V32024.12DeepSeek-R12025.01DeepSeek-R1:

IncentivizingReasoningCapability

in

LLMs

via

Reinforcement

Leamning/qq_22866291/article/details/145501376參數(shù)量：最大6710億，也有通過蒸餾得到的參數(shù)在15億到700億之間的不同規(guī)模版本特色：新一代推理模型，性能與OpenAl的o1正式版持平并開源。在僅有少量標(biāo)注數(shù)據(jù)的 情況下，通過大規(guī)模使用強(qiáng)化學(xué)習(xí)技術(shù)，極大提升模型推理能力，在數(shù)學(xué)、代碼以及各種復(fù) 雜邏輯推理任務(wù)上表現(xiàn)出色。意義：打破了國(guó)際社會(huì)對(duì)AI研發(fā)“高投入、長(zhǎng)周期”的固有認(rèn)知，其開源和低成本特點(diǎn)， 有助于普及AI技術(shù)，讓更多開發(fā)者參與到人工智能的創(chuàng)新中，影響全球人工智能競(jìng)爭(zhēng)格局。生成式人工智能發(fā)展脈絡(luò)---以DeepSeek為例DeepSeekCoderDeepSeekLLMDeepSeekMoE代碼智能領(lǐng)域開拓者作為首個(gè)開源代碼大模型，支持多種編程語(yǔ)言，基于

Transformer

架構(gòu)優(yōu)化，能有效助力代碼生成、調(diào)試以及數(shù)據(jù)分析任務(wù)，開啟了DeepSeek

在人工智能細(xì)分領(lǐng)域的探索進(jìn)軍通用人工智能具備強(qiáng)大的語(yǔ)言理解與生成能力，采用先進(jìn)注意力機(jī)制和大規(guī)模無(wú)監(jiān)督預(yù)訓(xùn)練技術(shù)，標(biāo)志著DeepSeek

正式進(jìn)軍通用人工智能領(lǐng)域，為用戶提供全新自然語(yǔ)言處理解決方案，推動(dòng)通用大模型技術(shù)發(fā)展和應(yīng)用。DeepSeekMathDeepSeekV2DeepSeekCoder

V2DeepSeekVL2DeepSeekV3DeepSeekR1JanusPro2023.11.02MoE核心技術(shù)創(chuàng)新采用混合專家（MoE）架構(gòu)，可根據(jù)任務(wù)動(dòng)態(tài)分配計(jì)算資源，大幅提升模型效率與性能，增強(qiáng)模型在復(fù)雜任務(wù)處理上的表現(xiàn)。革新了大模型架構(gòu)設(shè)計(jì)思路。數(shù)學(xué)推理領(lǐng)域開拓者以DeepSeek-Coder-v1.5

7B為基礎(chǔ)，在從C

o

m

m

o

nCrawl

中提取的數(shù)學(xué)相關(guān)

token

以及自然語(yǔ)言和代碼數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，訓(xùn)練規(guī)模達(dá)5000

億token

，在數(shù)學(xué)推理任務(wù)上表現(xiàn)優(yōu)秀。代碼智能第二代開源的混合專家（MoE）代碼語(yǔ)言模型，在代碼特定任務(wù)中達(dá)到了與GPT4-Turbo相當(dāng)?shù)男阅埽诖a生成、理解和代碼智能相關(guān)任務(wù)上有顯著提升。進(jìn)一步提升了代碼大模型的性能表現(xiàn)。技術(shù)創(chuàng)新性能飛躍采用創(chuàng)新的MoE架構(gòu)和FP8混合精度訓(xùn)練，在長(zhǎng)文本生成、代碼理解和數(shù)學(xué)推理等任務(wù)中表現(xiàn)卓越，能處理復(fù)雜數(shù)學(xué)問題，準(zhǔn)確解析各類編程語(yǔ)言，長(zhǎng)文本生成內(nèi)容連貫、邏輯清晰。2023.11.29

2024.01.11多模態(tài)生成市面上唯一能同時(shí)兼顧多模態(tài)理解和文生圖且保持高性能的模型，在圖像生成和視覺分析方面成果顯著。2024.02.052024.05.07

2024.06.17

2024.12.132024.12.262025.01.20

2025.01.28混合專家架構(gòu)新突破第二代開源混合專家（MoE）模型，通過MoE

架構(gòu)，能根據(jù)任務(wù)特點(diǎn)動(dòng)態(tài)分配計(jì)算資源，在長(zhǎng)文本處理、復(fù)雜語(yǔ)義理解方面表現(xiàn)出色，可實(shí)現(xiàn)更精準(zhǔn)的語(yǔ)言理解和生成。多模態(tài)理解大模型混合專家（MoE）視覺-語(yǔ)言模型，在多模態(tài)理解，尤其是視覺與語(yǔ)言結(jié)合的任務(wù)上表現(xiàn)出色，增強(qiáng)了模型對(duì)圖像內(nèi)容理解并關(guān)聯(lián)語(yǔ)言描述的能力。推理技術(shù)重大改革新一代推理模型，性能與OpenAI的o1

正式版持平并開源。在僅有少量標(biāo)注數(shù)據(jù)的情況下，通過大規(guī)模使用強(qiáng)化學(xué)習(xí)技術(shù)，極大提升模型推理能力，在數(shù)學(xué)、代碼以及各種復(fù)雜邏輯推理任務(wù)上表現(xiàn)出色。/qq_22866291/article/details/145501376DeepSeek-R1：強(qiáng)化學(xué)習(xí)推理、小模型蒸餾以及工程化努力DeepSeek-V3-BaseDeepSeek-R1-Zero冷啟動(dòng)數(shù)據(jù)進(jìn)行GRPO強(qiáng)化學(xué)習(xí)篩選思維鏈數(shù)據(jù)樣本DeepSeek-R1用冷啟動(dòng)數(shù)據(jù)進(jìn)行微調(diào)進(jìn)行GRPO強(qiáng)化學(xué)習(xí)蒸餾數(shù)據(jù)預(yù)訓(xùn)練模型

Llama和Qwen蒸餾模型用蒸餾數(shù)據(jù)進(jìn)行微調(diào)Deepseek創(chuàng)新體系

V3：基座構(gòu)建混合專家模型（6710億參數(shù)）多頭潛在注意力機(jī)制混合精度加速計(jì)算負(fù)載均衡策略R1：推理增強(qiáng)結(jié)果+形式雙導(dǎo)向多階段強(qiáng)化學(xué)習(xí)輕人工自動(dòng)化驗(yàn)證機(jī)制輕量化蒸餾策略提綱26．生成式人工智能發(fā)展脈絡(luò)．生成式人工智能賦能智慧司法．生成式人工智能的不能當(dāng)前司法審判存在的主要問題和痛點(diǎn)案多人少,345件/人/年并且持續(xù)上升簡(jiǎn)單案件花費(fèi)大量精力，重復(fù)勞動(dòng)多案件審理周期長(zhǎng)，群眾滿意度不高ABC法官智慧司法智能審判算法公平提速升效裁判標(biāo)準(zhǔn)難統(tǒng)一，同案同判缺標(biāo)尺D模型可解釋27智慧司法智能審判系統(tǒng)框架28本院認(rèn)為自動(dòng)生成問題：給定原告訴請(qǐng)和事實(shí)描述,目標(biāo)是生成法官對(duì)原告述請(qǐng)支持與否 的文本描述(判決及其理由)挑戰(zhàn)：數(shù)據(jù)混淆偏差，因?yàn)樵嬷辉趧僭V率高時(shí)下才起訴，導(dǎo)致超過76%的民間借貸案件的原告訴請(qǐng)是被支持的想法：引入因果反事實(shí)模型，解決數(shù)據(jù)驅(qū)動(dòng)所導(dǎo)致的混淆偏差29基于法律知識(shí)的可解釋性判決30問題：給定原告訴請(qǐng)和事實(shí)描述,目標(biāo)是預(yù)測(cè)法官對(duì)原告訴請(qǐng)支持與否挑戰(zhàn)：數(shù)據(jù)驅(qū)動(dòng)+知識(shí)指導(dǎo)，如何讓模型學(xué)習(xí)法律判案知識(shí)想法：使用一階謂詞邏輯對(duì)法律知識(shí)進(jìn)行編碼，并將一階謂詞邏輯表達(dá)式轉(zhuǎn)化為可微的、端到端訓(xùn)練的神經(jīng)網(wǎng)絡(luò)組成部分小模型賦能智慧司法業(yè)務(wù)應(yīng)用爭(zhēng)議焦點(diǎn)生成裁判文書生成法官話術(shù)生成智能法官助理“小智”裁判文書生成完整度90~95%當(dāng)庭宣判率>90%（before:

40-50%）縮短庭審時(shí)間2-3小時(shí)

20-30分鐘大模型引發(fā)范式革命ChatGPT：高算力+大數(shù)據(jù)，現(xiàn)象級(jí)AI應(yīng)用引發(fā)范式革命類ChatGPT通用大模型在法律領(lǐng)域存在的一些問題法律知識(shí)問題：無(wú)法提供可靠的參考內(nèi)容（如法條引用），法律需要權(quán)威可靠的知識(shí)知識(shí)更新問題：無(wú)法檢索案件、文書；無(wú)法實(shí)施更新數(shù)據(jù)，法律業(yè)務(wù)需要可更新信息業(yè)務(wù)對(duì)其問題：?jiǎn)栴}話術(shù)不夠準(zhǔn)確，存在知識(shí)混淆問題（夾帶西方法學(xué)觀點(diǎn)）32評(píng)估測(cè)試時(shí)擴(kuò)展大語(yǔ)言模型的法律推理能力：OpenAI

o1、DeepSeek-R1及其他評(píng)估的大模型與法律任務(wù)9個(gè)通用及相應(yīng)的擴(kuò)展大模型17個(gè)法律推理任務(wù)（10項(xiàng)中文任務(wù)和7項(xiàng)英文任務(wù)）33評(píng)估測(cè)試時(shí)擴(kuò)展大語(yǔ)言模型的法律推理能力：OpenAI

o1、DeepSeek-R1及其他英文法律推理任務(wù)上的評(píng)測(cè)結(jié)果：DeepSeek-R1英文法律推理能力不俗，在多個(gè)任務(wù)上媲美OpenAI-o1模型。評(píng)估測(cè)試時(shí)擴(kuò)展大語(yǔ)言模型的法律推理能力：OpenAI

o1、DeepSeek-R1及其他中文法律推理任務(wù)上的評(píng)測(cè)結(jié)果：DeepSeek-R1展現(xiàn)了強(qiáng)大的中文法律推理能力，在多個(gè)任務(wù)上超過OpenAI-o1模型。但其在法律多跳任務(wù)推理（71.67%），法律判決預(yù)測(cè)（78%），辯論挖掘（57.79%）等方面準(zhǔn)確率還有待進(jìn)一步提升。評(píng)估測(cè)試時(shí)擴(kuò)展大語(yǔ)言模型的法律推理能力：OpenAI

o1、DeepSeek-R1及其他錯(cuò)誤分析DeepSeek-R1在中英文法律任務(wù)中的錯(cuò)誤分析揭示了幾個(gè)關(guān)鍵不足：法律知識(shí)儲(chǔ)備不足且滯后法律問題理解能力有限推理過程中存在事實(shí)性幻覺構(gòu)建高質(zhì)量法律數(shù)據(jù)與知識(shí)訓(xùn)練司法垂直領(lǐng)域大模型從通用到垂直領(lǐng)域?qū)Ｓ茫核痉I(lǐng)域垂直大模型“智海-錄問”中文司法知識(shí)數(shù)據(jù)40G3189部法律50504部法規(guī)第一輪：{“instruction”:本院查明,被告人酒后...

請(qǐng)分析案情。“output”:根據(jù)上述內(nèi)容，可以認(rèn)定本案的核心要素包括醉酒駕駛、致人受傷、酒后逃逸...},

第二輪：{“instruction”:根據(jù)上述分析，請(qǐng)預(yù)測(cè)罪名。“output”:本案預(yù)測(cè)的罪名是危險(xiǎn)駕駛罪}第三輪：{“instruction”:請(qǐng)給出處罰意見。

“output”:結(jié)合嫌疑人逃逸的情節(jié)，建議考慮拘役三個(gè)月，并罰款6000元}…指令微調(diào)數(shù)據(jù)140K條指令預(yù)訓(xùn)練指令微調(diào)智海-錄問基座模型知識(shí)庫(kù)如果喝了兩斤白酒后開車，會(huì)有什么后果？已知信息：危險(xiǎn)駕駛罪是指在醉酒狀態(tài)...根據(jù)上述已知信息，回答用戶的問題。

問題是：如果喝了兩斤白酒后開車，會(huì)有什么后果？喝了兩斤白酒后開車可能會(huì)面臨以下法律后果:危險(xiǎn)駕駛罪行車證和駕駛證吊銷罰款...綜上所述，請(qǐng)勿酒后駕車。《最高人民法院、最高人民檢察院、

公安部關(guān)于辦理醉酒駕駛機(jī)動(dòng)車刑事案件適用法律若干問題的意見》...知識(shí)注入多輪指令-回答對(duì)20多種司法子任務(wù)《中華人民共和國(guó)刑法》《中華人民共和國(guó)民法典》...法條庫(kù)類案庫(kù)邏輯學(xué)習(xí)知識(shí)增強(qiáng)司法解釋法律教材“智海-錄問”整體架構(gòu)從通用到垂直領(lǐng)域?qū)Ｓ茫核痉I(lǐng)域垂直大模型“智海-錄問”Github開源：/zhihaiLLM/wisdomInterrogatory阿里巴巴魔搭（

ModelScope

）社區(qū)開源和開放

/models/wisdomOcean/wisdomInterrogatory/summary/studios/wisdomOcean/wisdomInterrogatory/summary浙江大學(xué)與智慧司法技術(shù)總師系統(tǒng)、上海交通大學(xué)、達(dá)摩院和科大訊飛等聯(lián)合發(fā)布了行業(yè)首個(gè)《法律大

模型評(píng)估指標(biāo)和測(cè)評(píng)方法（試行版）》，旨在推動(dòng)法律大模型的研發(fā)、評(píng)測(cè)和應(yīng)用的規(guī)范化從通用到垂直領(lǐng)域?qū)Ｓ茫盒g(shù)業(yè)有專攻目前大模型Deepseek（6710億）ChatGPT（1750億）PaLM（5400億）

GlaM（1.2萬(wàn)億）百度“文心”（2600億）簡(jiǎn)化版大模型LLaMA-70億（meta

70億），PaLM-Gecko（谷歌，細(xì)節(jié)未知），ChatGLM-60億（60億），F(xiàn)lan-T5（110億）微調(diào)方法指令微調(diào)，提示學(xué)習(xí)，反饋學(xué)習(xí)，合成數(shù)據(jù)學(xué)習(xí)，前綴微調(diào)，低秩適配（LoRA），p-tuning方法領(lǐng)域大模型生物大模型法律大模型教育大模型化學(xué)大模型大小模型協(xié)同賦能智慧司法司法判決預(yù)測(cè)輔助任務(wù)Yiquan

Wu,

Kun

Kuang,

Fei

Wu,

et

al.

"Precedent-Enhanced

Legal

Judgment

Prediction

with

LLM

and

Domain-Model

Collaboration."

EMNLP,

2023.智海-錄問2.0智海-錄問1.0智海-錄問2.0意圖識(shí)別與反問智能體學(xué)習(xí)大小模型協(xié)同端云協(xié)同學(xué)習(xí)……提問回答小結(jié)通用大模型具有很強(qiáng)的推理能力，在法律專業(yè)領(lǐng)域的能力需 要進(jìn)一步提升。可以通過構(gòu)建司法垂直領(lǐng)域大模型的方式來(lái)提成大模型在司 法領(lǐng)域的推理能力，實(shí)現(xiàn)由通用到垂直領(lǐng)域?qū)Ｓ玫霓D(zhuǎn)變。DeepSeek-R1政法場(chǎng)景面臨關(guān)鍵理論技術(shù)瓶頸，亟需突破大模型幻覺問題政法知識(shí)不完備思維鏈缺乏政法行業(yè)專業(yè)性存在的問題缺乏政法數(shù)據(jù)、知識(shí)以及政法推理思維鏈政法部分專業(yè)任務(wù)效果欠佳

構(gòu)建政法場(chǎng)景高質(zhì)量數(shù)據(jù)、知識(shí)和政法領(lǐng)域?qū)Ｓ兴季S鏈預(yù)訓(xùn)練、有監(jiān)督微調(diào)、強(qiáng)化學(xué)習(xí)數(shù)據(jù)和知識(shí)蒸餾因果邏輯與知識(shí)注入

政法思維鏈推理增強(qiáng)大小模型多智能體協(xié)同政法場(chǎng)景測(cè)評(píng)與賦能打造國(guó)內(nèi)首個(gè)原生政法大模型，構(gòu)建政法行業(yè)領(lǐng)先的推理大模型（R1）解決方案在政法領(lǐng)域案情理解、知識(shí)問答、邏輯推理、文書生成等任務(wù)上表現(xiàn)專業(yè)性和準(zhǔn)確性方案一：基于DeepSeek-R1數(shù)據(jù)蒸餾訓(xùn)練政法大模型Qwen-14B政法大模型偏好學(xué)習(xí)思維鏈模擬政法知識(shí)庫(kù)政法知識(shí)檢索增強(qiáng)問題：村里有一對(duì)父母，為了收受彩禮錢，竟然把自己的女兒許配給了一個(gè)女兒不喜歡的人。這種情況，是不是違法的？回答思維鏈回答QA對(duì)拒絕采樣數(shù)據(jù)蒸餾DeepSeek-R1-Disti-Qwen-14B<問題,思維鏈，答案>已經(jīng)準(zhǔn)備了60萬(wàn)條<問題,思維鏈，答案>回復(fù)偏好對(duì)，涵蓋超過10種政法場(chǎng)景和任務(wù)，正在生成“幻覺”更低、回復(fù)更專業(yè)的政法專用思維鏈方案二：基于GPT+Deepseek實(shí)現(xiàn)路徑訓(xùn)練政法大模型Qwen-14B政法大模型政法基座預(yù)訓(xùn)練模型政法數(shù)據(jù)與知識(shí)注入政法指令與任務(wù)理解政法推理能力增強(qiáng)本院認(rèn)為：<案情重述>…0<爭(zhēng)議焦點(diǎn)>…<法條適用><訴求回應(yīng)>…<裁判結(jié)果>……《最高人民法院、最高人民

檢察院、公安部關(guān)于辦理醉酒駕駛機(jī)動(dòng)車刑事案件適用法律若干問題的意見》…政法預(yù)訓(xùn)練法律法規(guī)司法解釋指令微調(diào)數(shù)據(jù)收集數(shù)據(jù)清洗數(shù)據(jù)改造政法語(yǔ)料價(jià)值觀對(duì)齊安全性設(shè)計(jì)獎(jiǎng)勵(lì)規(guī)則強(qiáng)化學(xué)習(xí)知識(shí)蒸餾Q：請(qǐng)你仔細(xì)計(jì)算文書中涉

及的犯罪總金額無(wú)需給出計(jì)算過程，只需要給出最終金額。文書：…A：上文涉及到的犯罪金額

2600.0元。高知識(shí)密度指令問答對(duì)政法領(lǐng)域特有復(fù)合推理邏輯法學(xué)期刊提綱46．生成式人工智能發(fā)展脈絡(luò)．生成式人工智能賦能智慧司法．生成式人工智能的不能人工智能算法在我們生活中無(wú)處不在8:30

am8:00

am10:00

am4:00

pm6:00

pm8:00

pm47人工智能的不能Source:

The

New

YorkTimes特斯拉第一次車毀人亡(2016.5.7)谷歌公司的圖像標(biāo)注系統(tǒng)(2016.6)熊貓：57.7%48添加噪音長(zhǎng)臂猿：99.3%對(duì)抗攻擊人工智能學(xué)習(xí)特點(diǎn)為什么圖像會(huì)被識(shí)別為“狗”？為什么會(huì)用“草地”預(yù)測(cè)狗？為什么不同測(cè)試結(jié)果差異大？模型存在不可解釋，不可泛化等問題數(shù)據(jù)驅(qū)動(dòng)狗p

=

93%概率輸出關(guān)聯(lián)學(xué)習(xí)深度學(xué)習(xí)等人工智能學(xué)習(xí)特點(diǎn)關(guān)聯(lián)的三種來(lái)源狗草地樣本選擇地濕下雨撐傘下雨地濕因果混淆偏差選擇偏差虛假關(guān)聯(lián):當(dāng)忽略X

時(shí)，T

和Y

相關(guān)虛假關(guān)聯(lián):當(dāng)給定S時(shí)，T

和Y

相關(guān)可解釋穩(wěn)定/魯棒可決策大模型的學(xué)習(xí)特點(diǎn)也是數(shù)據(jù)驅(qū)動(dòng)，關(guān)聯(lián)學(xué)習(xí)自然語(yǔ)言合成的核心神經(jīng)網(wǎng)絡(luò)是Transformer

模型．

原話：一輛列車緩慢行駛在崎嶇的山路上．

移除單詞：

一輛

列車

行駛

在崎嶇的

山路上．

預(yù)測(cè)填空：一輛列車緩慢行駛在崎嶇的山路上predict

the

nexttokensupervised

fine-tuningReinforcement

Learningfrom

Human

Feedback對(duì)齊（Alignment）與數(shù)據(jù)空間對(duì)齊與人類指令對(duì)齊與人類反饋對(duì)齊消除反饋(recurrent)機(jī)制Google

(2017):

Attention

is

all

youneedattention：?jiǎn)卧~共生概率學(xué)習(xí)單詞和單詞之間關(guān)聯(lián)關(guān)系

（in-context

meaning）項(xiàng)莊 舞劍

意在 沛公大模型的學(xué)習(xí)特點(diǎn)也是數(shù)據(jù)驅(qū)動(dòng)，關(guān)聯(lián)學(xué)習(xí)Sora

“超級(jí)涌現(xiàn)力”將把AI引向何方（文匯報(bào)：2024年2月24日）從Chat到Sora:對(duì)合成內(nèi)容中最小單元進(jìn)行有意義的關(guān)聯(lián)組合，猶如昨日重現(xiàn)時(shí)空子塊有意義的時(shí)序組合像素點(diǎn)有意義的空間組合單詞有意義的線性組合在保持連貫的上下文語(yǔ)境中，對(duì)若干個(gè)單詞進(jìn)行有意義線性組合，從而連綴成一個(gè)會(huì)意句子；在保持合理的空間布局下，對(duì)眾多圖像小塊進(jìn)行有意義結(jié)構(gòu)組合，拼合為一幅精彩圖像；在保持一致的連續(xù)時(shí)空內(nèi)，對(duì)一系列時(shí)空子塊進(jìn)行有意義時(shí)空組合，從而拼接成一段動(dòng)感視頻。關(guān)聯(lián)學(xué)習(xí)導(dǎo)致人工智能的不能1

數(shù)據(jù)關(guān)聯(lián)不可解釋54關(guān)