2024』2024年，AI與實時互動技術的結合達到了前所未有的高度，推動了行業(yè)的發(fā)展與變革。5月，OpenAI發(fā)布了GPT-4o，并展示了其對話功能，仿佛電影《HER》中的智能助手走入了現實生活。緊隨其后，6月，a16z發(fā)布了關于語音AI的展望報告，詳細分析了這一市場的巨大潛力，并為未來的語音AI發(fā)展繪制了藍圖。之后，其他行業(yè)領軍企業(yè)如Cartesia和BessemerVenturePartners也紛紛發(fā)布了自己的洞察報告，深入探討了語音AI和實時互動技術的前景。態(tài)AI、語音AI等領域的技術布局和市場戰(zhàn)略。這一切都標志著實時互動技術與AI的結合進入了一個全新的發(fā)展階段。隨著這兩項技術的深度融合，我們已經看到它們在多個領域和場景中展現出巨大的應用潛力，也賦予了智能體越來越可用的能力，語音助手可以幫助用戶打電話、操作終端設備；AI能為用戶提供情感陪伴；而能夠糾正語音的口語陪練也讓學習更加個性化和高效。這些創(chuàng)新的應用讓智能體變得愈加智能、實用和貼近用戶需求。在這一背景下，RTE開發(fā)者社區(qū)與InfoQ研究中心聯(lián)合發(fā)布了本份報告，旨在深入探討實時互動技術與AI結合的現狀、挑戰(zhàn)與未來趨勢。我們希望通過這份報告，為行業(yè)從業(yè)者、技術開發(fā)者以及創(chuàng)新者們提供有價值的洞察，幫助他們更好地理解技術融合的機遇與挑戰(zhàn)，推動技術本報告專注于探索如何利用實時互動技術與AI相結合，來提升用戶體驗，以及社區(qū)是如何幫助VoiceAgent生態(tài)建設和發(fā)展的。我們相信，這些洞察將為行業(yè)的持續(xù)創(chuàng)新和發(fā)展提供重要參考。前言實時互動（RTE）行業(yè)定義回顧在報告的開頭，我們再次回顧實時互動（RTE）的定義。實時互動（RTE）是遠程互動、多維溝通、身臨其境的交互活動。對互聯(lián)網技術架構提出更高要求，其特性主要體現在實時性和互動性兩個方面。 實時互動（RTE）以實時性和互動性為核心特點※※（Real-TimeEngagement）（Real-TimeEngagement）,造就VOTE開測在本輪浪潮的早期，行業(yè)的焦點集中在模型的規(guī)模與通用性上，尤其是對AGI的追逐。然而，隨著時間的推移，越來越多的從業(yè)者開始轉向AI的實際應用落地，尋求更具現實意義的創(chuàng)新與突破。AI1.0的三駕馬車——算力、數據和算法，在這一新時代中展現出新的特征。但在應用落地的關鍵階段，它們必須更加強調解決實際應用 傳統(tǒng)1.0的三駕馬車應用落地下，三駕馬車的轉變與新特征數據數據追求模型的大規(guī)模和全能追求模型的大規(guī)模和全能基礎設施層面A算力分布不均，云邊端模式仍在探索中算力分布不均，云邊端模式仍在探索中當前云、邊、端的算力資源分布尚未均衡，具體分配需要根據場景仍需要行業(yè)和場景的專有數據積累仍需要行業(yè)和場景的專有數據積累數據數量和質量的必要性已經得到普遍認可，但能捕捉行業(yè)需求獨特性的專有數據，其獲取和積累往往面臨隱私、安全等多重挑戰(zhàn)。算法逐漸形成共識，但如何精準把握需求仍是挑戰(zhàn)算法逐漸形成共識，但如何精準把握需求仍是挑戰(zhàn)效率上趨于穩(wěn)定和成熟，但在實際落地過程中，仍需結合具體場景1.2AI與RTE從獨立走向交融，共同開啟實時互動體驗新紀元1998年最早的CDN服務提供商Akamai誕生2000年音視頻編解碼工具及開發(fā)套件1998年最早的CDN服務提供商Akamai誕生2000年音視頻編解碼工具及開發(fā)套件2013年2019年5G商用，為低延遲實時傳輸做好基礎設施基礎2014年RTCPaaS服務商聲網成立，并于次年舉辦亞太區(qū)首屆音視頻實時通話框4G商用，為實時音音視頻實時通話框4G商用，為實時音視頻的傳輸環(huán)節(jié)奠定基礎RTE行業(yè)活力RTEAI+RTE來到全面融合時代2024年5月，支持文本、音頻、視合作伙伴Agora、LiveKit和Twilio11月，WebRTC作者之一，RTEAI+RTE來到全面融合時代2024年5月，支持文本、音頻、視合作伙伴Agora、LiveKit和Twilio11月，WebRTC作者之一，JustinUberti宣布加入OpenAI實時互動場景得到進一步延展，情感陪伴、AI播客、AI學伴等場景的交互更加自然和真實AI覺多模態(tài)推理的GPT-4o發(fā)布10月，OpenAI發(fā)布支持語音實時交互的RealtimeAPI，并官宣3家2009年起2011年2014年2015年起2016年起2017年2022年底2023年年底起語音識別領域著重探索方式，語音識別準確率突破90%Siri增加語音朗讀功能Alexa上市等）融入視頻超分算法語音合成領域開始探索神經網絡構建方式語音各領域開始探索完全端到端模型Runway、Sora、可靈、即夢先后發(fā)布1.3從獨立到共生，歷經四大階段，行業(yè)正在進入實時互動智能時代實時互動智能實時互動智能AIAI+RTERTE+AI數據回傳，加速模型迭代，同時提升多模態(tài)和語音AI的吞吐速度，為部署和推理提供更強支撐RTE+AI數據回傳，加速模型迭代，同時提升多模態(tài)和語音AI的吞吐速度，為部署和推理提供更強支撐VVVV互動與AI深度融合，彼此互為原生，形成密不可分的整體，共同構建更智能、更沉浸式的用戶體驗VVVAIAI與RTE雙線并行率等AI算法來優(yōu)化實時視頻畫質0404能、實時交互等方面不斷提升，但尚未形成深度協(xié)同現更好的響應速度和交互體驗03030202VVV1.4交互體驗新突破：實時、互動與沉浸的重塑在實時互動智能中，交互體驗突破了用戶對實時性（毫秒級延遲）、互動性（語音、視頻、表情的多模態(tài)融合）、沉浸感（AR/VR真實程度）的感知。02010201極低延遲，極速響應通過采集、傳輸等環(huán)節(jié)的優(yōu)化，實現毫秒級的響應時極低延遲，極速響應通過采集、傳輸等環(huán)節(jié)的優(yōu)化，實現毫秒級的響應時通過語音合成技術和大模型帶來的理解能力，實時互動智能不僅能模擬接近人類的聲音，還能根據情境表達豐富的情感，呈現高度擬人化的語音體驗04030403嘈雜環(huán)境，正常對話噪聲抑制、噪音過濾，語音增強，實現在嘈雜環(huán)境下嘈雜環(huán)境，正常對話噪聲抑制、噪音過濾，語音增強，實現在嘈雜環(huán)境下對話互動，創(chuàng)造更自然的沉浸式對話體驗1.5技術進步拓展應用邊界：從傳統(tǒng)場景創(chuàng)新到新興場景創(chuàng)造通過AI和RTE技術的不斷進步，許多此前存在局限性的應用場景得到了顯著優(yōu)化。這些進步不僅推動了傳統(tǒng)場景的創(chuàng)新，也為新興應用場景的拓展提供了更多可能，帶動了社交與娛樂、生活服務、教育與培訓、企業(yè)與辦公等領域的變革。實時互動智能場景進化實時互動智能場景進化個性化生活助理視頻客服遠程心理咨詢智能車機智能監(jiān)控……遠程問診語音客服健身鏡企業(yè)與辦公個性化辦公助理個性化生活助理視頻客服遠程心理咨詢智能車機智能監(jiān)控……遠程問診語音客服健身鏡企業(yè)與辦公個性化辦公助理企業(yè)知識顧問互聯(lián)網法庭數據分析虛擬門店/營業(yè)廳遠程業(yè)務辦理智能編碼企業(yè)內容專家視頻會議線上面試語音翻譯……教育與培訓AI教學/培訓AI做題輔導授課直播互動XR教學/培訓英語口語練習……社交與娛樂AI輔助特效互動游戲情感陪伴社交媒體運營虛擬演唱會智能NPC虛擬主播語音聊天賽事直播虛擬展館游戲語音游戲直播XR社交AI陪聊AI隊友AI寵物……1.6高性能、高準確到好體驗成為實時互動智能發(fā)展的新評價標準高性能高性能高準確高準確新衡量標準好體驗好體驗 實時互動智能新評價標準的三大維度應用場景新挑戰(zhàn)，造就VOICEAGENT新的產業(yè)架構2.1VoiceAgent——實時互動智能的破局者實時互動智能生態(tài)仍處于早期階段，生態(tài)內的關系尚未完全明晰，但各方都在快速探索業(yè)務落地的可能性。.在這之中，VoiceAgent作為實時互動智能中確定性較高的分支，以其自然直觀的交互形式和成熟可靠的技術實現VoiceAgentVoiceAgent的工作流程，并提高了實時性與語義理解的質交互方式：語音交互方式更接近人類自然溝通，具備天然的語言邏輯和情感表達優(yōu)勢。這使用戶不需要適應復雜的操作界面或學習曲線，減少交互中的應用場景：語音交互通常被限定于特定場景，如語音助手、導航、實時翻譯等，其使用路徑和目標明交互方式：語音交互方式更接近人類自然溝通，具備天然的語言邏輯和情感表達優(yōu)勢。這使用戶不需要適應復雜的操作界面或學習曲線，減少交互中的應用場景：語音交互通常被限定于特定場景，如語音助手、導航、實時翻譯等，其使用路徑和目標明2.2通用和行業(yè)玩家正在共建VoiceAgent產業(yè)生態(tài)產品產品增長階段Agent產產品研發(fā)期產品生命周期AI智能體braintrust智能體生命周期管理實時翻譯/會議協(xié)作互動播客AIPC汽車機器人智能外呼11x招聘教育終端設備智能體藍心小V華為小藝小愛同學游戲AI智能體情感陪伴內置語音智能體的垂類應用應用搭建硬件設備智能體托管chromaRAG智能體框架Agent編排TENAgents智能體托管chromaRAG智能體框架Agent編排TENAgentsLvektAgentsta?Lang語音模型（TTS、STT、語音模型（TTS、STT、ASR、VAD、端到端等）語音增強/降噪視頻模型聲網":hume":hume底層底層Infra和API選擇Amphion2noiseAmphion2noise模型提供模型提供ModelOPSOMetatogether.aiANTHROP\CModelOPSOMetatogether.aiANTHROP\C數據服務算力服務RTE（實時互動）API數據服務算力服務RTE（實時互動）APIaqoraitwiio聲網Lvekitaqoraitwiio聲網Lvekit2.3VoiceAgent產業(yè)生態(tài)上下游鏈路較長，跨層協(xié)作難度大上下游鏈路長、生態(tài)協(xié)作效率低的問題仍然突出。在現狀中，產品側快速變化的需求難以高效傳遞至基礎設施和中間層，響應速度受限；同時，工具與標準缺乏統(tǒng)一，跨層協(xié)作 VoiceAgent的產業(yè)架構現狀以基礎設施為核心，產品生態(tài)協(xié)作效率受阻以基礎設施為核心，產品生態(tài)協(xié)作效率受阻能與場景適配仍在探索中，缺乏通用性或標準化方案。制約了生態(tài)協(xié)同效率的提升80%20%80%基礎設施及中間層產品側基礎設施及中間層包含從底層Infra和包含從底層Infra和API選擇到智能體平臺的一系列，為了實現VoiceAgent最終應用實現的工具及平臺02上下游鏈條長，導致響應速度慢02上下游鏈條長，導致響應速度慢應用側快速變化的場景需求，難以通過多層鏈路迅速反饋到基礎設施，放慢了響應速度以實時翻譯為例，可能涉及的上下游協(xié)作：端云協(xié)同調度特定場景和行業(yè)專有名詞知識庫構建翻譯智能體框端云協(xié)同調度特定場景和行業(yè)專有名詞知識庫構建翻譯智能體框架構建實時翻譯應用搭建端到端模型優(yōu)化耳機、翻譯筆等翻耳機、翻譯筆等翻譯設備交互適配等設備適配弱網適配2.4VoiceAgent產品側面臨算力、工具、終端與流量的多重生態(tài)協(xié)作挑戰(zhàn)在實時互動智能領域，VoiceAgent應用的未來充滿潛力，但目前仍面臨算力、終端、流量和工具四大關鍵挑戰(zhàn)。這些挑戰(zhàn)不僅影響用戶體驗的提升，更需要整個生態(tài)系統(tǒng)的深算力是VoiceAgent應用落地的核心。云端算力支持高精度模型，但高成多樣化的設備和場景對終端體驗提出了更高要求，例如降噪處理、弱網對抗和低延遲交互等技術挑戰(zhàn)。單憑應用層難以全面適配，亟需硬件廠商、抗和低延遲交互等技術挑戰(zhàn)。單憑應用層難以全面適配，亟需硬件廠商、VoiceAgent4VoiceAgent4API/API/SDK與場景的協(xié)作挑戰(zhàn)的打斷處理、語句分割、多輪對話邏輯等需求未能得到有效支持，加劇了專用、更靈活的工具，成為提升開發(fā)效率的重要方向。在用戶分散的市場中，VoiceAgent應用難以通過傳統(tǒng)方式高效觸達目標群體。如何通過數據共享、算法優(yōu)化和場景協(xié)同，實現精準覆蓋、減少無效流量，成為生態(tài)共建的重要課題。2.52.5oVoiceAgent產品側面臨算力、工具、終端與流量的多重生態(tài)協(xié)作挑戰(zhàn)Agent需要格外考慮到云端和端側的算力分布，這主要來自于語音交高效的云端協(xié)同成為用戶體驗的核心高效的云端協(xié)同成為用戶體驗的核心通過云端與端側算力的智能調度和合理分配，可以根據應用場景的需求，實時動態(tài)地在云端和端側之間平衡計算任務。這樣，既能利用云端強大的算力處理復雜任務，又能在端側實現低延遲、高效能的實時響應，從而提供流暢、性能高成本高和體驗低性能高成本高和體驗低云端算力雖然能提供足夠的處理能力，能夠充分展現模型的能力，卻伴隨著較高的成本和較慢的響應速體驗佳資源有限體驗佳資源有限端側算力具有低延遲和本地處理的優(yōu)勢，能夠快速響應用戶需求，但其計算能力和存儲空間有限，尤其是度。這種延遲對于需要實時交互的實時互動智能場景而言，會很大程度地影響用戶體驗。手機等終端。因此，端側通常需要云端補充，才能處度。這種延遲對于需要實時交互的實時互動智能場景而言，會很大程度地影響用戶體驗。2.6VoiceAgent產品面臨不專用的API/SDK與場景如何協(xié)作的難題更好用的API/SDK對實時互動智能Builder的正向作用專用API更適配場景需求專用API更適配場景需求Agent場景的特殊需求。因持復雜的語音交互、自然語穩(wěn)定性與高性能保障流暢體驗穩(wěn)定性和高性能不可或缺，尤低延遲的環(huán)境下，依然能保持流暢的性能表現，避免影響用重要。它們應支持多種適配，能夠兼容不同的設備、操作系統(tǒng)和網絡環(huán)境，并支持各種編程語言和框架，方便開發(fā)者在不同的平臺和技術棧上進行靈甚至無代碼的支持，使非技術背景的人員也能通過簡單的配置或拖拽實現復雜的功能，減2.7VoiceAgent產品需要考慮應用場景與不同設備終端之間的適配協(xié)作.在VoiceAgent場景下，終端體驗從單純的設備兼容轉向更復雜的交互適配，端側體驗的重要性日益突顯。這要求開發(fā)者優(yōu)化不同終端的硬件性能和網絡適應性，確保在弱網和低延遲環(huán)境下仍能保持流暢、穩(wěn)定的用戶體驗。同時，在產品交互設計時，考慮到不同終端的操作方式和用戶習慣。 實時互動智能場景需要實現端側資源和用戶體驗的平衡.語音、視頻的快速識別與響應流暢的實時互動體驗.不同的交互方式和特點.有限的計算資源·有限的存儲空間·網絡、續(xù)航等資源資源消耗用戶體驗 需要適配的終端逐漸增多隨著應用需求變化，降噪、弱網對抗、低延遲處理等問題逐漸影響實時交互的流暢性和穩(wěn)定性。弱網或設備性能限制下，語音識別、情感表達和反饋準確性成為關鍵。不同終端的交互方式各異，開發(fā)者在適配的過程中也需要認真不同終端的硬件差異、操作系統(tǒng)限制、計算能力和存儲空間的差距，要求開發(fā)者為每種設備設計專門的適配方案。AI原生終端設備兼容交互適配AI學習機AI耳機AI玩具AI手機AIPC2.8VoiceAgent產品要同精準的流量渠道協(xié)作，進行產品推廣.通過更有性價比的流量，VoiceA更有性價比的流量對更有性價比的流量對VoiceAgent產品的助力傳導路徑更有針對性的流量有助于產品觸達更精準潛在用戶，吸引用戶深度試用產品。為后續(xù)的數據積累和模型優(yōu)化奠定基礎02隨著用戶的深入使用，平臺會獲得更多的用戶數據。對累積數據的分析和學習，可以為后續(xù)的體驗優(yōu)化提供數據支持基于積累的數據，AI模型能夠變得更加精準和高效，也為產品優(yōu)化提供了方向，對產品的實用性和互動性有更好的補充保持較高的產品競爭力，提高用戶忠誠度，最終實現長期的競爭力增長模型和產品體驗優(yōu)化數據累積和模型改進擴大產品用戶群體03 新興渠道崛起，重塑用戶連接02新型產品平臺 新興渠道崛起，重塑用戶連接02新型產品平臺2.9加入用戶體驗后，哪個領域有望誕生下一個KillerApp？在重新設定的云端協(xié)同應用難度、場景準確性要求以及用戶體驗要求，三個衡量維度下，InfoQ研究中心邀請了分析師和多位大模型對實時互動智能應用場景進行了新衡量標準打分，并征詢了多位行業(yè)專家的建議，最終生成了實時互動智能應用領域分析象限圖。 實時互動智能應用領域分析象限圖處在該區(qū)域內的應用場景具備一定的技術門檻和壁壘，但這些挑戰(zhàn)和要求尚未達到難以逾越的程度社交與娛樂教育與培訓生活服務企業(yè)與辦公氣泡大小代表該應用場景對用戶體驗的要求XRXR社交虛擬演唱會互動互動播客游戲直播賽事直播互動游戲情感陪伴遠程問診遠程問診智能監(jiān)控健身鏡程心理咨詢智能車機語音客服個性化生活助理（財務、醫(yī)療、票務、出行等）視頻客服場景準確性要求場景準確性要求XR教學/培訓培訓AI做題輔導英語口語練習虛擬門店/營業(yè)廳虛擬門店/營業(yè)廳遠程設備專家企業(yè)知識顧問遠程業(yè)務辦理線上內容專家數據分析視頻會議線上面試智能編碼個性化辦公助理互聯(lián)網法庭語言翻譯2.10開發(fā)者聲音：辦公助理、語音翻譯和內容創(chuàng)作最可能誕生KillerAPP02KillerAPP最可能爆發(fā)應用AI分身社交、AI展覽、多智能03577500AI辦公助理327實時語音翻譯與心理咨詢AI情感陪伴AI會議助手智能營銷助手企業(yè)與辦公社交娛樂教育與培訓生活服務82AI健身教練AI情感陪伴8647個性化教學規(guī)劃207225AI虛擬主播AI學習硬件AI生活助理oooRTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通3.1算力協(xié)同新思路：基礎設施、產品側與社區(qū)的三方合力在實時互動場景中，算力的云端與端側協(xié)同是實現高性能與經濟性兼顧的核心挑戰(zhàn)。基礎設施通過輕量化模型支持和透明化算力調度.為開發(fā)者提供端側友好的工具鏈;產品側聚焦功能需求拆解與資源管理優(yōu)化，實現靈活的任務分布和動態(tài)模型切換;社區(qū)則通過資源整合和合作共建，推動上下游企業(yè)協(xié)同創(chuàng)新，共同突破云端算力瓶頸。提供交流場合:通過社區(qū)力量，共建云邊協(xié)同相關的技術項目、專題討論、比賽等，推動上下游企業(yè)分享解決方案并探討合作。上下游資源整合:發(fā)揮社區(qū)的牽頭作用，整合模型壓縮工具、輕量化基礎設施及中間層基礎設施及中間層輕量化模型支持:為垂類應用提供端側友好的工具鏈如支持量化、剪枝和蒸餾的模型優(yōu)化工具，幫助開發(fā)者快速部署輕量化模型。云端協(xié)同框架:提供透明化的算力調度方案，支持開發(fā)者按需調用云產品側專注功能需求拆解:明確目標場景的核心需求，合理拆解哪些功能需優(yōu)化資源管理:在硬件允許范圍內設計運行時的動態(tài)模型切換機制，例如在高負載時啟用低資源消耗模式保障用戶體驗的穩(wěn)定性。RTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通3.2解鎖場景適配潛能：API/SDK協(xié)同的三方實踐路徑激勵開發(fā)者貢獻API/SDK:通過活動激勵開發(fā)者互相貢獻插件，聯(lián)合開源API/SDK場景手冊:按產品場景細分(如外呼、教育、情感陪伴等)，搭建基礎設施及中間層基礎設施及中間層打造專用API:圍繞典型VoiceAgent場景需求，持續(xù)改進開發(fā)易用性:通過提供靈活的參數化接口或可視化配置工產品側需要重點優(yōu)化打斷處理，教育場景則需要支持長對話邏輯與上下文保持。設計原型驗證:快速測試現有API的適配性，反饋改進建議，推動基礎設施RTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通3.3弱網、低延遲與多設備：終端適配的協(xié)作新思路.在多終端場景中，VoiceAgent的適配需求從設備兼容轉向智能協(xié)同。基礎設施通過跨終端適配框架和交互習慣優(yōu)化，構建弱網環(huán)境下的低延遲體驗;產品側聚焦場景化設計和性能優(yōu)化，確保終端交互邏輯與用戶需求高度契合;社區(qū)則通過案例集分享與專項小組協(xié)作推動行業(yè)標準化，共同突破多設備協(xié)同的技術瓶頸。終端適配專項小組:組織垂直行業(yè)工作坊，幫助終端設備明確需求，共同探討適配語音降噪、弱網抗性和延遲優(yōu)化的技術。并將相關技術提基礎設施及中間層基礎設施及中間層跨終端兼容支持:提供統(tǒng)一的多終端適配框架，抽象設備差異，簡化開發(fā)者的適配工作。提供支持弱網和低延遲場景的基礎能力，如分交互習慣優(yōu)化:支持跨設備的用戶狀態(tài)和偏好同步構建支持設備間無產品側細化場景設計:根據設備特點(如智能音箱的場景化對話、手機的移動性)優(yōu)化終端交互邏輯，使應用更貼近具體場景的用戶需求。終端性能優(yōu)化:在弱網環(huán)境或資源受限的情況下，優(yōu)先保障核心功能的流暢運行，避免用戶體驗大幅下降RTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通3.4重塑流量協(xié)同：生態(tài)、產品與社區(qū)的創(chuàng)新新實踐.在流量分散的市場中，生態(tài)、產品與社區(qū)的協(xié)同創(chuàng)新成為VoiceAgent破局的關鍵。基礎設施通過靈活的生態(tài)合作機制，助力第三方應用和硬件廠商共同推廣功能;產品側以場景化營銷策略精準觸達用戶;社區(qū)則通過原型測試、流量平臺合作和運營支持，幫助開發(fā)者快速適應市場，推動流量高效轉化。提供原型產品測試機會:通過工作坊、體驗活動、社區(qū)自媒體推薦等形式，實現提供產品運營幫助:提供場景化運營指南或陪伴活動，賦能開發(fā)者快速打入分散市場生態(tài)合作機制:提供靈活的生態(tài)合作機制，支持第三方應用和硬件廠生態(tài)合作機制:提供靈活的生態(tài)合作機制，支持第三方應用和硬件廠基礎設施及中間層產品側精細化用戶細分:基于用戶行為和需求分析，設計個性化的產品推薦和定制定精準營銷策略:根據不同市場和用戶群體的特點定制差異化的營銷活RTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通3.5VoiceAgent產品需要更多新平臺新力量，實現更精準的資源對接.在日益獨特化的應用場景中，在VoiceAgent產品快速探索和迭代的今天，原有的開發(fā)平臺、流量平臺等無法實現資源的快速匹配，亟需轉變。社區(qū)，通過更新資源對社區(qū)更新資源對接以幫助VoiceAgent產品應對算力、工具、終端和流量挑戰(zhàn)助力更適配的終端交互體驗終端適配專項小組:組織垂直行業(yè)工作坊，幫助終端設備明確需助力更適配的終端交互體驗終端適配專項小組:組織垂直行業(yè)工作坊，幫助終端設備明確需求，共同探討適配語音降噪、弱網抗性和延遲優(yōu)化的技術。并將協(xié)助探索更合理的算力架構131324.提供交流場合:通過社區(qū)力量，共建云邊協(xié)同相關的技術項目、專.上下游資源整合:發(fā)揮社區(qū)的牽頭作用，整合模型壓縮工具、輕量聯(lián)合資源開發(fā)更專用的API/SDK聯(lián)合資源開發(fā)更專用的API/SDK提供原型產品測試機會:通過工作坊、體驗活動、社區(qū)自媒體推薦等提供產品運營幫助:提供場景化運營指南或陪伴活動賦能開發(fā)者快速提供渠道鏈接更精準的用戶群激勵開發(fā)者貢獻API/SDK:通過活動激勵開發(fā)者互相貢獻插件，聯(lián)API/SDK場景手冊:按產品場景細分(如外呼、教育、情感陪伴等)，搭建場景的API/SDK，幫助場景開發(fā)者更快更精準的進行開發(fā)選RTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通3.6打破短期融合障礙，社區(qū)推動實時互動智能人才交流在去年社區(qū)的年度報告中，我們發(fā)現RTE行業(yè)本身存在著巨大的人才缺口。而根據人設部的測算，A而這兩類本身在開發(fā)者中占比就較小的群體，在實時互動智能這個融合領域內，所面臨的人才缺口將會更大。AlBuilderAlBuilderAlBuilder開發(fā)者難以獲取針對性的指導和經驗分享，也難以找尋到2.整合具備易用性的工具鏈生態(tài)目錄2.整合具備易用性的工具鏈生態(tài)目錄社區(qū)可以整合工具鏈生態(tài)，通過自媒體或使用活動推薦社區(qū)可以整合工具鏈生態(tài)，通過自媒體或使用活動推薦和完整工具鏈，為開發(fā)者提供使用和反饋兼?zhèn)涞耐陚涔TE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通3.7重塑Builder角色:VoiceAgent人才畫像的新定義得選用合適的LLM，又知道實時互動的工程化落地對于終端體驗的重要性，又特別了解特定場景的實際用戶痛點。實時互動智能Builder的人才能力韋恩圖全棧開發(fā)、工程化落地和QoE體驗精確的選擇合適的模型SKU實時互動TTS等RTE應用AInativeBuilderAI理解AlAgentAI理解AI應用RTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通3.8從社區(qū)支持到明星項目拆解：實時互動智能Builder需求深挖間的聯(lián)系，試圖探究這些項目在技術共建、產業(yè)化支持和交流場合上的關鍵模式實時互動智能明星項目關鍵模式拆解OpenVoiceSeed-TTSWhisper20LlamaIndexGPT-SoVITSOpenVoiceSeed-TTSWhisper20LlamaIndexGPT-SoVITS云資源Dify7692236LangchainElevenLabs235357SenseVoice2PaddleSpeech833338DiscordCosyVoiceChatTTSMiniMax729edge-tts9339EmotiVoiceFishSpeechPixelHack28TENFrameworkViduLeptonAITTS輸出RAGFlowAgentLive44FunASR信號與信息處理實驗室此場at?eldStableDiffusionwebuiAzureHumeAI云資源Dify7692236LangchainElevenLabs235357SenseVoice2PaddleSpeech833338DiscordCosyVoiceChatTTSMiniMax729edge-tts9339EmotiVoiceFishSpeechPixelHack28TENFrameworkViduLeptonAITTS輸出RAGFlowAgentLive44FunASR信號與信息處理實驗室此場at?eldStableDiffusionwebuiAzureHumeAIAWSAWS(Github上項目之間的共同貢獻者)RTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通33獲得算力、流量等產業(yè)化支持3.9RTE開發(fā)者社區(qū)探索新協(xié)作模式，加速VoiceAgent項目孵化因此，除了圍繞算力、工具、終端和流量的挑戰(zhàn)提供資源整合和對接外，社區(qū)還需要加速促進人才交流與技術共建。根據這些需求RTE開發(fā)者社區(qū)也在逐漸探索生態(tài)內線上技術大會(RTE大會)和展區(qū)12線下聚會(RTEOpenDay等)12技術共建分享創(chuàng)意Demo線上直播(RTEDev分享創(chuàng)意Demo44加速產品開發(fā)RTE開發(fā)者社區(qū)架起生態(tài)橋梁，加速生態(tài)溝通實時互動智能生態(tài)的未來發(fā)展預測實時互動智能生態(tài)的未來發(fā)展預測4.1實時互動進化：生態(tài)協(xié)作和應用場景助推下一代多模態(tài)交互實時互動智能以空間計算、空間智能為代表的空間技術，對于實時互動智能本身的互動體驗、應用場景和生態(tài)協(xié)作都將帶來新的機會。新的硬件類型、基于新硬件而產生的新交互方式新的硬件類型、基于新硬件而產生的新交互方式構建開放、統(tǒng)一的空間計算生態(tài)協(xié)作的再構建應用場景的再拓展21應用場景的再拓展23 實時互動體驗的再升級3空間計算通過融合AR、VR等技術，借助新的設備終端，為實時互動代碼代碼鍵盤鼠標觸控語實時互動智能生態(tài)的未來發(fā)展預測4.2實時互動智能KillerApp五大潛力場景4.2.根據本報告中的場景選擇新評價標準和開發(fā)者票選結果，選擇以下五大潛實時互動智能Kiler算法硬件適配算法硬件適配1122334455語音翻譯/會議協(xié)作語音翻譯/會議協(xié)作情感陪伴語音客服個性化生活助理(財務、醫(yī)療、票務、出行等)..國際商務會議.跨國團隊協(xié)作外貿企業(yè)的實時語音訂單協(xié)作孤獨人群的心理支持兒童早教互動.個人口語練習輔助語音陪練智能營銷外呼客服語音售后客服重要事項提醒和規(guī)劃智能家居實時控制實時互動智能生態(tài)的未來發(fā)展預測4.3打破多方挑戰(zhàn)，社區(qū)支撐良性生態(tài)交流體系共建復合型人才復合型人才開源項目.主動進行知識分享，編寫技術博客和開源項目·參與/牽頭工具鏈建設，降低普通開發(fā)者的入門門檻·參與/牽頭工具鏈建設，降低普通開發(fā)者的入門門檻建立開放的技術支持通道，如論壇、微信開發(fā)者社區(qū)主動進行跨領域知識學習和儲備需要積極參與社區(qū)討論與建設開發(fā)者社區(qū)需要主動參與項目，積累經驗建立專門的技術分享平臺，積極推廣社區(qū)成果，吸引更多開發(fā)者和企業(yè)參與需要主動參與項目，積累經驗業(yè)內企業(yè)組織實時互動智能相關的行業(yè)峰會、研討會黑客松和工作坊活動，促進技術交流和業(yè)內企業(yè)通過實習機會、專項培訓等方式培養(yǎng)通過實習機會、專項培訓等方式培養(yǎng)需要加強與社區(qū)、企業(yè)的合作實時互動智能生態(tài)的未來發(fā)展預測4.4社區(qū)助力培育兼具場景選擇和場景適配的明星項目除了場景選擇外，能夠適應場景適配也是社區(qū)參與培育的明星項目的典型特征之一。代表應用落地在實時互動場景中運行的效率要求，受到云、邊、端算力協(xié)同調度和合理架構設計的影響代表應用落地在實時互動場景中運行的效率要求，受到云、邊、端算力協(xié)同調度和合理架構設計的影響代表在特定場景中對模型的輸出精度和判斷正確性要求，受場景數據的規(guī)模和算法優(yōu)化程度的共同影響代表應用場景中用戶對交互效果、實時性、準確性及沉浸感的感知和期待明星項目通常會具備良好的結合特定場景的復雜需求優(yōu)明星項目通常會具備良好的結合特定場景的復雜需求優(yōu)明星項目將借助多模態(tài)數據(語音、文本、視覺等)的融合，提升場景理解的準確支持開發(fā)者與場景應用方(如企業(yè)客戶普通用戶)之間的反實時互動智能生態(tài)的未來發(fā)展預測RTE開發(fā)者社區(qū)由聲網及多位資深實時互動社區(qū)專家聯(lián)合發(fā)起，是聚焦實時互動領域的中立開發(fā)者社區(qū)。希望通過社區(qū)鏈接領域內的生態(tài)伙伴，激活開發(fā)者力量，萌芽更多新技術、新場景，探索實時互動領域的更多可能。45000+RTE領域200+45000+RTE領域200+杜金房(SevenDu)o盧恒(BearLu)RTE開發(fā)者社區(qū)通過「陪跑計劃」，提供更多資源支持為了更深入、更持久、更有針對性的陪伴RTEBuilder(開發(fā)者03.開發(fā)者個人成長03.開發(fā)者