2050MonitoringDataCollection2050MonitoringDataCollectionBadCaseFeedbackModelManagementModelDebugrGartner1到2022年,80%的手機(jī)將內(nèi)置端側(cè)AI能力。AI論文數(shù)目2010-2019ForecastPeriodbyMarketsandMarketsAttractiveOpportunitiesinMobileAIForecastPeriodbyMarketsandMarkets17.83B5.1B20182023最新研究利用通過手機(jī)音頻檢測COVID-19ModelSDKintegrationFeatureExtractionMLMLEngineModelValuation端智能算法完善,應(yīng)用涌現(xiàn),但簡單到移動(dòng)開發(fā)快速上手了嗎2移動(dòng)工程師型結(jié)構(gòu)型產(chǎn)出結(jié)果問題定義數(shù)據(jù)采集算法設(shè)計(jì)模型訓(xùn)練壓縮/轉(zhuǎn)換推理預(yù)測業(yè)務(wù)調(diào)用場景應(yīng)用無案例,定義問題難無案例,定義問題難無模型,訓(xùn)練門檻高有模型,部署調(diào)試難有模型,高效運(yùn)行難廠商各自做生態(tài)廠商各自做生態(tài)缺少一個(gè)站在應(yīng)用開發(fā)視角,構(gòu)建完整端AI技術(shù)體系普及AI應(yīng)用。Usagescenarios搜索推薦拍立淘消息觸達(dá)推送Usagescenarios搜索推薦拍立淘消息觸達(dá)推送直播DomainSpeci?cFrameworkDataProcess(Walle)Image/VideoProcess端AI技術(shù)棧跨生態(tài):覆蓋碎片終端硬件和系統(tǒng)生態(tài)全鏈路:覆蓋端側(cè)AI應(yīng)用開發(fā)全流程低門檻:開箱即用算法和低門檻訓(xùn)練MLDevSystemMLFrameworkChips&OS多異構(gòu)設(shè)備,多OS支持AppARAR導(dǎo)購集團(tuán)App>30,外部App>20手淘場景>25,算法任務(wù)>65ASRAudioProcessMNN工作臺(tái)MNN工作臺(tái)MNN服務(wù)端MNN運(yùn)行時(shí)NumpyNumpyLiteMNN.jsMNNOpenCVLiteARMARM站在App視角,讓移動(dòng)開發(fā)成為端側(cè)AI普及應(yīng)用的生力軍。3x3s1d13x3s2d1ARM3x3s1d13x3s2d1ARM系統(tǒng)碎片化硬件碎片化挑戰(zhàn):環(huán)境碎片、算力不足、資源受限depthwsieTransformerTransformerCaffeTensorFlowPyTorchPaddlePaddle參數(shù)碎片化模型碎片化框架碎片化MNN本質(zhì):實(shí)現(xiàn)不同模型在不同設(shè)備上最高效運(yùn)行化、搜索用化、搜索用消除冗余(結(jié)構(gòu)、數(shù)值、指令、讀寫消除冗余(結(jié)構(gòu)、數(shù)值、指令、讀寫)匹配硬件特性模型小型化內(nèi)存緩存重用多后端不同OP歸一化Caffe轉(zhuǎn)換前端TensorFlow轉(zhuǎn)換前端轉(zhuǎn)換前端MNN模型優(yōu)化模型量化何計(jì)算OP/算子硬件無關(guān):維度、類型資源分配硬Caffe轉(zhuǎn)換前端TensorFlow轉(zhuǎn)換前端轉(zhuǎn)換前端MNN模型優(yōu)化模型量化何計(jì)算OP/算子硬件無關(guān):維度、類型資源分配硬件相關(guān):內(nèi)存、計(jì)算基礎(chǔ)算子O(B)*~20工作量:O(NxB)N:OPnumber,B:BackendMNNARMARM模型轉(zhuǎn)換擎支持OP模型轉(zhuǎn)換ARM/X86OpenCLMetalCUDAMNN/MNN(幾何計(jì)算)owLite/形狀計(jì)算OP幾何計(jì)算00MNN業(yè)界方案1業(yè)界方案261.7563.8264.34MoblieNetv1MobileNetv2驍龍845CPUMNN業(yè)界方案1業(yè)界方案2 8.289.078.289.070MoblieNetv1MobileNetv2驍龍845GPU縮能力ngMNN訓(xùn)練;TF訓(xùn)練插件;PAI取決于訓(xùn)練數(shù)據(jù)、量化層,一般高于PTQOver?ow-awareQuantizationMNN訓(xùn)練;TF訓(xùn)練插件;PAI取決于訓(xùn)練數(shù)據(jù)、量化層,一般高于PTQMNN量化工具;MNN工作臺(tái);PAI取決于校準(zhǔn)數(shù)據(jù)集僅權(quán)值量化模型權(quán)值整型存儲(chǔ),浮點(diǎn)計(jì)算MNN量化工具;MNN工作臺(tái)精度高,DataFree枝隨機(jī)非機(jī)構(gòu)化剪枝+稀疏編碼;結(jié)構(gòu)化剪枝開發(fā)中;可結(jié)合量化取決于訓(xùn)練數(shù)據(jù)、稀疏比率DAMOSAN-MbasedASRTrainASRSDKDAMOSAN-MbasedASRTrainASRSDKredictdata業(yè)務(wù)情況:淘寶直播語音搶答玩法”一猜到底”,薇婭、李佳琦等頭部明星主播參與。技術(shù)指標(biāo):模型大小<15MB,內(nèi)存占用<60MB,1秒語音20ms實(shí)時(shí)識(shí)別。工業(yè)界首個(gè)用于直播的移動(dòng)端語音識(shí)別AAppaudiotextmodeaudiotextmodelscalesMNNMNNConvert&Quant模型首次部署SDK封裝調(diào)試效模型首次部署SDK封裝調(diào)試效果打包集成模型\代碼更新用開發(fā)算法需求現(xiàn)有算法能力NO低門檻訓(xùn)練模型部署應(yīng)用開算法開發(fā):部署鏈路長且阻,難以實(shí)現(xiàn)獨(dú)立迭代。AI普惠應(yīng)用開發(fā):場景碎片化,算法模型不足,訓(xùn)練門檻高。基本思路1、解耦算法和移動(dòng)開發(fā),讓算法開發(fā)獨(dú)立迭代;2、降低AI門檻,讓AI成為普通開發(fā)的有力武器;MNN工作臺(tái) 端AI研發(fā)范式MNN服務(wù)端MNN運(yùn)行時(shí)AI服務(wù)跨平臺(tái)SDK運(yùn)維監(jiān)控&算法迭代極簡部署&高效運(yùn)算前后處理Python轉(zhuǎn)換、優(yōu)化MNNPlayground業(yè)務(wù)App模型MNN標(biāo)準(zhǔn)APINumPyOpenCV…前后處理Python轉(zhuǎn)換、優(yōu)化MNNPlayground業(yè)務(wù)App模型MNN標(biāo)準(zhǔn)APINumPyOpenCV…1、解耦算法和移動(dòng)開發(fā),讓算法開發(fā)獨(dú)立迭代;2、降低AI門檻,讓AI成為普通開發(fā)的有力武器;算法工程師移動(dòng)工程師端AI服務(wù)端模模型服務(wù)模模型tf/pytorch驗(yàn)證無門檻訓(xùn)練無門檻訓(xùn)練預(yù)預(yù)置模型集MNN工作臺(tái)(MNN工作臺(tái)(PC軟件)AIForEveryone核心功能IDE工具:前后處理代碼編寫、調(diào)試、發(fā)布;模型訓(xùn)練:GUI引導(dǎo)式實(shí)現(xiàn)低門檻模型訓(xùn)練;應(yīng)用市場:開箱即用算法集+成熟解決方案;核心價(jià)值算法開發(fā):一站式開發(fā)部署,實(shí)現(xiàn)獨(dú)立迭代;移動(dòng)開發(fā):零門檻交互訓(xùn)練,實(shí)現(xiàn)創(chuàng)意落地;端AI門戶:全域端AI門戶,透出有什么能做什么;dAppPlayground試(模型+py代碼)看點(diǎn)算法處理過程視頻幀算法算法模型轉(zhuǎn)換(tf/py)模型壓縮前后處理優(yōu)化評(píng)估 MNN工作臺(tái)(PC軟件)推流直播間看點(diǎn)分發(fā)(搜索、推薦推流直播間(模型+py代碼)MNNMNNPlayground(三端一致)K收集欺詐圖片迭代數(shù)據(jù)客戶端服務(wù)端 上報(bào)提提醒舉報(bào)目標(biāo)檢測-識(shí)別二維碼區(qū)域文本分類-內(nèi)容是否欺詐線MNN工作臺(tái)、MNN運(yùn)行時(shí)、MNNPlayground公測中,官網(wǎng):https://www.mnn.zone/任務(wù)配置模型更新…新任務(wù)配置模型更新…新薦結(jié)果上報(bào)薦請(qǐng)求數(shù)據(jù)計(jì)算數(shù)據(jù)計(jì)算特征提取推理預(yù)測…特征提取、模型運(yùn)行前置到端側(cè)本質(zhì):將云端特征提取、模型運(yùn)行前置到端側(cè)核心優(yōu)勢:?實(shí)時(shí)性?豐富數(shù)據(jù)?數(shù)據(jù)隱私?降低成本端端手淘手淘天貓閑魚CBU…云任務(wù)管理灰度發(fā)布Walle平臺(tái)/灰度發(fā)布AB實(shí)驗(yàn)實(shí)時(shí)數(shù)據(jù)通道VMMNNMNN工作臺(tái)任務(wù)開發(fā)調(diào)試驗(yàn)證任務(wù)發(fā)布背景:50個(gè)/頁,推薦結(jié)果實(shí)時(shí)性不強(qiáng)目標(biāo):邊瀏覽邊調(diào)整推薦結(jié)果,提高推薦的用戶感知和觸達(dá)方案:端側(cè)采集手勢、速度、時(shí)長、詳情,實(shí)時(shí)判斷意圖,優(yōu)化點(diǎn)擊率為正負(fù)反饋新ctr背景:50個(gè)/頁,推薦結(jié)果實(shí)時(shí)性不強(qiáng)目標(biāo):邊瀏覽邊調(diào)整推薦結(jié)果,提高推薦的用戶感知和觸達(dá)方案:端側(cè)采集手勢、速度、時(shí)長、詳情,實(shí)時(shí)判斷意圖,優(yōu)化點(diǎn)擊率為正負(fù)反饋新ctr預(yù)測首猜分坑位2019/2020年雙11大規(guī)模應(yīng)用,DPV和GMV獲得明顯提升。應(yīng)用生態(tài)算法能力、解決方案一站式AI開發(fā)平臺(tái)推理引擎模型優(yōu)化Python模型轉(zhuǎn)化C+應(yīng)用生態(tài)算法能力、解決方案一站式AI開發(fā)平臺(tái)推理引擎模型優(yōu)化Python模型轉(zhuǎn)化C++(iOS/Android)Transform、Bert模型壓縮JS(Web/小程序)終端設(shè)備做ML模型推理運(yùn)行+訓(xùn)練,及創(chuàng)新應(yīng)用。MNN官網(wǎng):https://www.mnn.zone/集團(tuán)App>30,外部App>20,MNNstar終端設(shè)備做ML模型推理運(yùn)行+訓(xùn)練,及創(chuàng)新應(yīng)用。手淘場景>25,算法任務(wù)>65,運(yùn)行次數(shù)>500億次/天MNN工作臺(tái)端AI研發(fā)范式MNN服務(wù)端MNN端AI研發(fā)范式MNN服務(wù)端