第四屆聲紋識(shí)別產(chǎn)業(yè)發(fā)展與創(chuàng)新研討會(huì)魯棒聲紋識(shí)別的對(duì)抗防御Robustspeakerrecognitionagainstadversarialattacks一、研究背景及研究意義二、聲紋對(duì)抗樣本攻擊三、聲紋對(duì)抗樣本防御3聲紋驗(yàn)證一、研究背景及研究意義聲紋驗(yàn)證聲紋認(rèn)證聲紋認(rèn)證聲紋日志聲紋日志一、研究背景及研究意義聲紋識(shí)別有廣泛的應(yīng)用空間聲紋識(shí)別有廣泛的應(yīng)用空間國安與司法身份認(rèn)證與安全會(huì)議日志與紀(jì)要國安與司法身份認(rèn)證與安全聲紋識(shí)別系統(tǒng)在遭受攻擊時(shí)表現(xiàn)出一定的脆弱性聲紋識(shí)別系統(tǒng)在遭受攻擊時(shí)表現(xiàn)出一定的脆弱性45一、研究背景及研究意義聲紋識(shí)別系統(tǒng)在遭受攻擊時(shí)表現(xiàn)出一定的脆弱性聲紋識(shí)別系統(tǒng)在遭受攻擊時(shí)表現(xiàn)出一定的脆弱性一、研究背景及研究意義聲紋對(duì)抗樣本攻擊不改變聲紋統(tǒng)計(jì)特性聲紋對(duì)抗樣本攻擊不改變聲紋統(tǒng)計(jì)特性VoiceAssistants利用聲紋識(shí)別系統(tǒng)本身的脆弱性，攻擊方式具有隱蔽性利用聲紋識(shí)別系統(tǒng)本身的脆弱性，攻擊方式具有隱蔽性6一、研究背景及研究意義二、聲紋對(duì)抗樣本攻擊三、聲紋對(duì)抗樣本防御8二、聲紋對(duì)抗樣本攻擊-研究現(xiàn)狀優(yōu)點(diǎn)缺點(diǎn)基于梯度/優(yōu)化攻擊成功率高、信噪對(duì)抗樣本的時(shí)間長不需訪問梯度，僅靠置信度或決策就可以攻擊成功率較低；查詢過多時(shí)容易被檢測(cè)到基于生成網(wǎng)絡(luò)測(cè)試階段不需訪問梯攻擊成功率和信噪比難以平衡不需要訪問目標(biāo)模型結(jié)構(gòu)，具有現(xiàn)實(shí)意義對(duì)抗樣本遷移性弱，黑盒攻擊成功率低注：白盒：攻擊者了解被攻擊的系統(tǒng)的細(xì)節(jié)黑盒：攻擊者不了解被攻擊的系統(tǒng)9二、聲紋對(duì)抗樣本攻擊-關(guān)鍵科學(xué)問題與技術(shù)路線集成學(xué)習(xí)模型決策過程二、聲紋對(duì)抗樣本攻擊-白盒攻擊?Saliencymaploss:?Angularloss:Lf=(m)TmLangular=a(T212(Here,isthespeakerembeddingofvoice)L=fLf＋aLangular＋nLnorm＋SLspeaker提高白盒攻擊的攻擊能力提高白盒攻擊的攻擊能力二、聲紋對(duì)抗樣本攻擊-白盒攻擊同時(shí)提高了對(duì)抗樣本的信噪比和攻擊成功率，且具有高時(shí)效性同時(shí)提高了對(duì)抗樣本的信噪比和攻擊成功率，且具有高時(shí)效性11二、聲紋對(duì)抗樣本攻擊-黑盒遷移攻擊通過通過MDCT變換提高白盒攻擊的黑盒遷移能力二、聲紋對(duì)抗樣本攻擊-黑盒遷移攻擊單模型攻擊單模型攻擊造成聲紋識(shí)別系統(tǒng)的錯(cuò)誤率（單模型攻擊造成聲紋識(shí)別系統(tǒng)的錯(cuò)誤率（EER）達(dá)到44%二、聲紋對(duì)抗樣本攻擊-黑盒遷移攻擊多模型組合攻擊多模型組合攻擊造成聲紋識(shí)別系統(tǒng)的錯(cuò)誤率（多模型組合攻擊造成聲紋識(shí)別系統(tǒng)的錯(cuò)誤率（EER）達(dá)到65%一、研究背景及研究意義二、聲紋對(duì)抗樣本攻擊三、聲紋對(duì)抗樣本防御三、聲紋對(duì)抗樣本防御-研究現(xiàn)狀優(yōu)點(diǎn)缺點(diǎn)研究方向聲紋識(shí)別模型模型訓(xùn)練規(guī)模大，對(duì)抗樣本造成聲紋識(shí)別模型精度下降、泛化能力依賴于所使用的對(duì)抗攻改進(jìn)訓(xùn)練數(shù)據(jù)的合成方法對(duì)任何樣本都對(duì)任意樣本都進(jìn)行語音純化），系統(tǒng)性能下降，泛化能力依賴于所使用的對(duì)抗攻擊種類提高語音純化質(zhì)量被誤判的純凈樣本會(huì)被丟棄注1：混合訓(xùn)練和純化本質(zhì)相同，但是混合訓(xùn)練需要修改聲紋識(shí)別模型7三、聲紋對(duì)抗樣本防御-純化防御178三、聲紋對(duì)抗樣本防御-純化防御28白盒攻擊結(jié)果黑盒攻擊結(jié)果純凈語音三、聲紋對(duì)抗樣本防御-純化防御3提高純化防御的泛化能力是未來亟待解決的關(guān)鍵問題提高純化防御的泛化能力是未來亟待解決的關(guān)鍵問題0三、聲紋對(duì)抗樣本攻防-對(duì)抗樣本檢測(cè)10掩模方法基于規(guī)則的掩模1基于規(guī)則的掩模2掩模方法22三、聲紋對(duì)抗樣本防御-對(duì)抗樣本檢測(cè)2對(duì)攻擊方法具有通用性22verification,,IEEE/ACMTASLP2023.三、聲紋對(duì)抗樣本防御-對(duì)抗樣本檢測(cè)22種聲紋識(shí)別系統(tǒng)5種比較方法防御能力相對(duì)提高超過防御能力相對(duì)提高超過30%一、研究背景及研究意義二、聲紋對(duì)抗樣本攻擊三、聲紋對(duì)抗樣本防御?聲紋對(duì)抗攻擊?基于顯著性檢測(cè)的對(duì)抗樣本生成?黑盒遷移攻擊?基于MDCT變換的對(duì)抗樣本遷移性增強(qiáng)法?聲紋對(duì)抗防御?