5基于AI賦能的通信網絡架構和AI通用能力技術要求本文件主要規定了基于AI賦能的通信網絡智能系統的總體功能架構，以及數據采集、數據處理、AI模型訓練、AI推理、知識構筑和意圖決策的技術要求本文件適用于AI賦能的IP網絡，其他AI賦能的通信網絡可以參照執行。2規范性引用文件本文件沒有規范性引用文件。3術語和定義下列術語和定義適用于本文件。在選擇了某一機器學習模型后，在訓練數據集上使用算法進行調參，以獲得具有最優參數的模型。加載訓練好的模型，當有數據輸入到模型時能夠得到相應的輸出結果。離線訓練offlinetraining也可稱之為離線學習，所有的訓練數據在模型訓練期間必須是可用的。只有訓練完成了之后，模型才能被拿來用。在線訓練onlinetraining也可稱之為在線學習，不需要在一開始就提供完整的訓練數據集，隨者更多的實時數據到達，模型會在操作中不斷地更新離線推理offlineinference也可以稱之為靜態推理，以離線方式批量地對已有數據進行所有可能的推理，并將此類推理記錄到某個表格，或某個靜態位置以便日后讀取。6在線推理onlineinference使用存儲在某個服務器的模型，根據需要不斷進行推理，并在出現新的請求時，對新據進行推理。通過對網絡中的數據進行表征學習，通過AI模型進行固化，同時結合外部專家注入的己有經驗或事實形成知識模型庫下列縮略語適用于本文件ARIMA差分整合移動平均自回歸(AutoRegressiveIntegratedMovingAverage)BSS業務支撐系統(BusinessCNN卷積神經網絡(ConvolutionalNeuralNetworks)DNN深度神經網絡(DeepNeuralNetworks)FTP文件傳輸協議(FileTrLSTM長短期記憶(LongShort-TernMemory)NetConf網絡配置協議(NetworkConfigurationProtocol)SNMP簡單網絡管理協議(SimpleNetworkManagementProtocol)AI技術的發展源于數據驅動的深度神經網絡(DeepNeuralNetworks,DNN)技術的突破性進展，在算法精度、算力等方面都有較大提升。網絡AI技術是網絡技術與AI技術融合的一類跨界技術，特指在網絡規劃、建設、運維和優化流程中引入人工智能技術，提升網絡資源配置的精細化水平、對外部事件的響應速度以及對多用戶多業務的差異化服務能力。附錄A對人工智能在通信網絡中的應用場景進行描述。基于AI賦能的通信網絡，旨在將人工智能和網絡相結合，利用人工智能技術提供強大的分析、判斷、預測等能力，使能網元、網絡和業務系統智能化，使得未來通信網絡在其全生命周期實現自優、自愈和自治。6基于Al賦能的通信網絡智能系統總體功能架構知5皮道8云端AI支持數據處理、AI模型離線訓練和離線推理、知識構筑、意圖決策。具體如表1所示。VVVVVVVVVVVVVVVVVVVVV網元AIVVVVVV以流量識別為例，若將其部署在云端，以對大量的流量數據進行指標統計分析，應支持進行離線訓練和離線推理若將其部署在本地，將識別結果用于實時的流量策略控制。應支持離線訓練出一個識別模型，再將其部署到域內控制器或網元上，進行在線推理，該流量預測模型訓練結果會自然構筑成知識，并驅動設備相關器件依據對未來流量的預測實現意圖決策完成控制或干預流量調度此外，應支持在線訓練，以提高模型對新流量的識別準確度，提高模型泛化能力。對于數據處理，可支持有一個統一的數據平臺進行處理，可支持分布式地在各域按需處理相應地，對于AI模型訓練，需支持有一個集中式的AI模型訓練平臺，也支持在各域進行分布式訓練，多模型構筑成知識對于AI推理，需支持在一個集中平臺進行推理，,也支持在各域進行分布式的推理，多模型推理結果最終轉化為意圖決策執行動作下發。集中式的數據處理、AI模型訓練和推理的各模塊之間的交互流程如圖2所示。數據處理模塊對原始數據進行清洗、關聯、標注、特征提取等操作，以達到后續的模型訓練和推理的輸入要求，AI模型訓練通過使用訓練數據進行調參，從而生成模型，AI推理使用訓練好的模型獲得相應推理結果數據處理模型數據采集圖2集中式數據處理、訓練和推理的模塊之間的交互流程在分布式訓練情況下，AI模型訓練模塊的輸入除了訓練數據外，也接收其他調練模塊的模型參數作為輸入，分布式訓練的交互流程如圖3所示。上述標準已對通信網絡數據源分析得較為全面，本文件不再贅述。面向基于AI賦能的通信網絡系統，本文件引入一種新的數據源，即AI模型訓練和推理，包括在AI模型訓練和推理過程中產生的參數、配置文件、模型、推理結果等目前已有相關標準對通信網絡的數據類型進行研究，例如，文獻[2]從數據分析挖掘的角度，可將電信數據劃分為網絡數據、用戶數據、業務數據、終端數據和其它數據，從數據處理情況的角度，可將電信數據分為原始數據、中間數據及結果數據，從數據采集位置的角度，可將電信數據分為無線網側數據和核心網側數據：文獻[3]根據電信數據的基本特征，將其分為12個類型，包括時空數據、站點數據、資源數據、業務數據、拓撲數據、供應類信息、運營類數信息、客戶類信息、故障數據、測量數據、網絡知識庫與運營數據文獻[4]將數據分為結構化數據、半結構數據和非結構化數據。面向基于AI賦能的通信網絡系統，本文件從AI工作流的角度，將數據分為原始數據、特征數據、AI模型數據和推理結果數據。原始數據包括網絡相關的數據。即通信網絡不同業務系統的運行運營數據，用戶相關的數據，即用戶基礎信息等數據，外部環境數據，即傳感器感知到的周圍環境數據、互聯網爬蟲數據等。原始數據的數據量大，價值密度低。特征數據：原始數據經過處理，并可用于AI模型訓練和推理的數據，一般為數值向量型數據。AI模型數據：特征數據結合AI算法進行模型訓練過程中產生的數據，包括模型參數、配置文件和訓練好的模型文件等。AI推理結果數據：特征數據輸入訓練好的模型文件進行運輸后得到的輸出數據。7.3采集技術要求數據采集技術應滿足從復雜網絡中進行高效地端到端數據采集，對于數據采集的技術要求如下：a)針對信息化系統產生的結構化、半結構化數據，如業務數據、日志等，應支持使用數據數據庫表交換、文件交換(例如FTP)、WebService、Rest、消息訂閱/發布等傳統的數據交換技術進行數據采集；b)針對智能終端感知到的環境數據等非結構化數據，應支持使用前端設備接口、分布式系統接口等進行采集獲取；o)針對互聯網的海量數據，應支持使用網絡爬蟲等技術進行采集；d)應支持對網絡流信息進行自動化、細粒度的采集，例如使用telemetry等技術獲取時延、丟包等；e)應支持通過仿真模擬、技術生成對少量的負樣本數據進行采集：f)應支持由人工進行標注的標簽數據，通過離線導入、在線填寫等方式進行采集；g)應支持對采集到數據進行存儲，存儲方式如圖5所示。b)應支持將其轉換為運維人員可理解的自然語言、圖形圖表等。8.4數據關聯技術要求數據關聯是將不同來源的數據整合成相互關聯的一條或多條數據。對數據關聯的要求如a)應支持將不同業務系統的數據通過時間、空間、用戶ID、關鍵字段對應關系進行關聯b)應支持對不同業務系統的數據存在一對多、多對一、多對多關系時進行聚合：c)應支持對不同業務系統中業務支持、概念進行映射和關聯的能力，形成知識網絡。8.5數據分析技術要求數據分析技術是通過統計學方法，或機器學習等手段來發現數據中的規律，或隱藏的關聯信息，并通過圖形化的方式可視化出來。對數據分析的技術要求如下：a)應支持不同特點的數據類型的數據統計特征的計算和可視化，例如時序類數據、事件類數據、描述類數據、關系類數據等。b)應支持基于業務知識的數據深度分析和挖掘，發現數據中隱含的信息和價值。c)應支持多樣化的數據可視化技術，針對各類分析結果、數據特點進行可視化展示。d)應支持數據的質量分析報告，包含數據質量現狀分析、質量問題評估、Top質量問題處置措施推薦。8.6數據增強技術要求數據增強技術是針對數據不能滿足AI應用需求時，通過各類技術手段來增強數據的特征表現，數據增強技術的核心是反應系統的真實表現，避免引入主觀信息。對數據增強的技術要求如下：a)應支持數據補全技術，包括時序類數據、關系類數據、時間類數據等，可通過數據插補算法、系統仿真、系統模擬等技術手段來補全缺失的數據。b)應支持特征增強技術，是對現有數據特征通過各種增強手段來產生新的樣本數據。包括數據加噪/降噪、升維/降維變換、生成對抗、改變環境影響等技術手段，來產生更豐富的樣本數據。○)應支持數據輔助標注技術，是通過一定的技術/算法手段，對樣本數據實現初步的標注，并通過人工確認，將確認結果作為反憒再增強標注準確度，形成一個不斷增強的自動化的輔助標注系統，來擴充正樣本數量9.1訓練算法要求通常AI模型訓練需要基于大量數據，結合A算法進行多次的迭代訓練，才能收斂并最終獲得訓練好的模型。對AI訓練算法的要求如下：a)應支持離線訓練、在線訓練、聯邦訓練等訓練模式，并根據隱私保障需求、通信計算資源狀態進行選擇：b)應支持根據不同的場錄選擇合適的特征數據和AI算法：c)應支持根據不同目標對AI算法的配置和參數進行更改：d)應支持對相似場景下的AI算法的遷移和復用。附錄C以流量類型識別和流量預測場景為例，對AI訓練算法要求進行描述。9.2訓練指標要求AI算法在訓練數據集上進行訓練，在測試數據集上進行測試，以評估AI模型的泛化能力和其它性能，因此AI算法在訓練和測試過程中需支持對以下指標的測量，只有相應場景下的指標合格后，AI模型才能夠被部署使用。對AI訓練指標的要求如下：a)應支持準確率、召回率等描述訓練效果指標：b)應支持魯棒性、泛化性、可解釋性等描述模型適用性的指標：c)應支持公平性、隱私保護等安全方面的指標：d)應支持運算復雜度、訓練時間等訓練效率指標：e)應支持輸入輸出需求、數據依賴性等指標。附錄D以流量類型識別和流量預測場景為例，對AI訓練指標要求進行描述。9.3訓練算力要求AI模型在訓練中還需要訓練環境和一定的訓練資源開銷，因此，對訓練算力有如下要求a)應支持對AI算法運行環境的部署。包括訓練框架，例如tensorflow等：b)應支持提供AI模型訓練所需的CPU、GPU等資源：c)應支持對訓練資源的監測和可控。9.4模型交互要求在分布式訓練和聯邦訓練中，需支持AI模型在不同節點之間進行交互和共享利用。因此，對模型交互有如下要求：a)根據不同的算法和場景，應支持同步/異步/混合式模型通信交互方式：b)應支持根據通信網絡效率的需求，對模型進行壓縮、對通信調度進行調整等。10.1推理結果要求基于訓練好的模型，使用新的特征數據可進行推理和決策。對于推理結果的要求如下：a)應支持對推理結果進行規范化的描述。例如，推理結果的適用場景、適用條件、性能要求、預期目標、因果關系等：b)應支持基于推理結果對算法模型的修正和更新附錄E以QoS保障場景為例，對AI推理結果要求進行描述。10.2推理部署要求對訓練好的模型的部署要求如下：a)應支持對模型進行認證，認證符合需求后方可部署：b)應支持單個AI模型部署和多個AI模型堆疊聯合部署：c)應支持在部署AI模型時，能進行自定義的調整更新。10.3模型推理結果評估要求AI模型訓練依賴于歷史數據的分布特征，隨著業務的變化其網絡數據分布特征也可能會發生漂移，這時候用該模型進行推理，則模型推理結果失去意義。所以需要對推理結果進行持續評估，對模型推理結果的評估要求如下：a)應支持實施模型的持續評估，具體表現為將模型推理的數據特征與模型推理的結果結合實際的專家經驗進行對比b)一旦模型推理的性能(如模型準確度)下降到某一閥值。應支持重新啟動模型訓練或者模型自身支持增量訓練，增量訓練不需要重頭訓練，基于部分增加新樣本調整模型自身的參數，以實現動態自適應更新智能網絡的最終目標，是在絕大部分場景的達成自治，而單個AI模型所提供的信息往往難以支持一個良好的全局決策。要解決這個問題，就需要將來自多個渠道的信息、多個模型的訓練結果進行系統性的融合凝練，構筑“知識”,進而基于知識實現網絡自身的管理。良好的網絡自治，需要構筑的知識具備完備性和正確性，相應地就需要多模態，魯棒性和自適應動態更新技術來實現11.2多模態技術要求每一種信息的來源或者形式，都可以稱為一種模態，網絡的信息，有硬件KPI、軟件運行狀態、承載業務情況等：AI訓練的模型，有檢測類模型、預測類模型、控制類模型、調優類模型，甚至往往存在靜態導入的專家知識，以上的每一種都可以稱為一種模態知識構筑需要從多源的數據信息和多維模型訓練的結果中整合、處理，提取關鍵的信息構筑知識，控制復雜并且動態變化的網絡智能系統11.3魯棒性技術要求由于知識構筑需要具備全局觀測的特征，必然導致其需要在信息不完善，甚至相互矛盾的情況下運作。網絡如何在復雜、動態甚至存在一定程度不確定性的環境下實現自治，需要良好的魯棒控制技術。11.4自適應動態更新要求知識構筑過程中用于訓練的AI模型是基于歷史數據的分布特征學習到的知識，隨著業務的變化其網絡數據分布特征可能也會發生漂移，因此當模型性能評估結果下降到某一閾值時需要重新啟動模型訓練或模型增量訓練。以實現知識面的模型動態自適應更新，保持知識處于最新狀態。通過執行數據采集、數據處理、模型訓練、專家經驗注入實現了知識的積累，這一前向過程還不能滿足通信網絡智能系統自治的閉環要求。意圖決策，就是結合當前業務現狀，基于已經掌握的知識進行推理之后，將推理結果轉換成決策動作的過程，完成閉環控制的最后一環。同時，意圖決策還需要感知決策后的網絡新狀態，以對比驗證當前策略執行是否與預期目標一致。決策轉換技術要求知識的推理往往只是一個數值的結果或分類的判斷，并不能直接應用于控制執行，因此在推理和決策之間，需要構筑一個語言的轉譯過程，能夠讓指定的軟/硬件理解知識推理的意圖。例如，在網絡設備節能場景下，通過業務流量預測模型可以判斷未來一段時間內設備的承載負載情況，當推理結果為預測輕載時，節能的意圖需要通過轉譯形成硬件關斷的指令實現。再例如，在應用識別場景下，識別類模型會推測出應用的具體類型，如視頻類應用，這時需要對視頻類應用做QoS保障，則需要通過轉譯形成相關的配置指令改變流量數據在網絡中的路徑，最終實現QoS保障。12.2多模態技術要求與知識構筑類似，意圖決策也需要從多源AI模型推理結果中整合，處理。最終轉換成決策動作。意圖決策對于多模態的技術要求具體如下：a)多模型推理結果的融合應支持多個模型推理的結果共同實施決策的能力：例如，在應用識別過程中，模型1負責判斷當前某一條特定的流量(五元組)是否屬于未知類別模型2負責判斷該流量隸屬于哪一類已知類別。當且僅當模型1判斷該流量為已知類別時，模型2輸出的應用類型才視為可信，此時網絡會觸發相應的業務體驗保障決策過程。b)靜態規則與動態推理的融合應支持專家知識與模型推理共同實施決策的能力；例如，在流量異常檢測過程中，通常模型推理只具備上報單點異常的能力，這樣容易導致企業數據中心等復雜組網一天產生千萬級告警，運維人員難以處理的情況：此時，如果引入專家知識，定義連續若干個點異常可以合并為一個告警，這樣可以大幅降低異常告警的規模，同時可以抑制對網絡性能影響較低的零散異常，同時保障系統的穩定性和可維護性。12.3魯棒性技術要求與知識構筑類似，意圖決策需要具備全局觀測的特征，同樣可能導致其需要在信息不完善，甚至相互矛盾的情況下運作。網絡如何在復雜、動態甚至存在一定程度不確定性的環境下實現自治，需要以下良好的魯棒控制技術要求：a)具備知識模型可用性的評估手段一旦AI知識模型性能評估不滿足要求，應支持及時、準確地感知和判斷，避免錯誤的知識導致網絡智能系統的性能劣化。例如，在網絡流量預測場景中，可以通過持續監測預測值與真實值間的差異來評估模型或相關知識是否失效。b)具備知識模型不可用時的后備方案一旦業務模型的推理輸出異常，應支持具備忽略本次推理，或采取更加安全、穩妥的后備方案進行本地決策的能力。例如，在網絡流量預測場景中，一旦感知到模型或相關知識失效后，一方面需要快速啟動增量學習的方式以修正現有預測模型，另一方面可以采用新近環比或同比數據完成過渡態預測。c)具備模型知識集成化的能力為了降低單個模型或知識失效所引發的影響，可以借助集成學習的思想，采用多個模型協作的方式進行決策，可以顯著提升系統魯棒性例如，在網絡流量預測場景中，采用ARIMA、LSTM、GPR、CNN等多個模型進行綜合預測，多個模型結果取均值或中位數進行最終輸出，單個模型失效不會顯著應該推理結果。12.4反饋感知技術要求通信網絡智能系統自治是一個持續的閉環過程，應支持借助知識對現有狀態進行決策迭代，同時感知決策所帶來的影響，以便在未來不斷提升知識的準確度和決策的正確性。例如，傳統網絡擁塞控制場景下，降低TCP發送窗口大小等手段的未來策略，都是結合上一步決策及決策后業務流量的反饋所共同決定的。(資料性)人工智能在通信網絡中的應用場景A.1流量類型識別基于AI賦能的通信網絡需要支持對網絡流量類型的識別，其中網絡流以源IP地址、目的IP地址、源端口、目的端口、協議號五元素進行標識。網絡流量所屬的類別有多種維度，相應地，網絡流量的識別需要支持對不同維度的類別的識別，具體如下：a)要求能夠100%滿足對重要周知Internet協議的類別，包括SSH協議、FTP協議、SMTP協議等；b)要求支持對業務大類的識別，業務大類包括即時通信類，視頻類，瀏覽類等；○)要求支持對應用類型的識別，應用類型包括微信、Q0、微博等；d)要求支持對應用的精細化動作的識別，包括即時通信類業務的文本聊天，發送圖片等動作，微博類業務的瀏覽、轉發等A.2流量預測針對通信網絡前瞻式、主動式管理與控制需求，人工智能技術需要挖掘網絡流量在時間維度的變化趨勢規律，支持網絡流量短期、中期、長期、突發流量的精準預測。通信網絡中采集的流量數據包含多種關聯字段，例如網元、線路、端口、平均流量、高峰流量、低谷流量等。例如，以15分鐘為采集周期，平均流量則為這個十五分鐘內流量的平均值。同理，高峰流量則為十五分鐘內的最高流量，低谷流量為十五分鐘內的最低流量。要求流量預測技術能夠支持不同預測類型要求，進行精準預測。例如預測特定端口的網絡流量等。要求流量預測技術支持預測類型與預測周期結合的要求。例如，預測特定端口短期流量趨勢，預測平均流量中期變化趨勢。E行執行決策：而數據采集模塊在考慮網元處理能力和數據特征之外，還根據鏈路(存儲)利用率情況、結合業務需求，調節出最優的數據采集周期/頻率。在AI賦能的通信網絡中，無需人工配置，本地AI綜合考慮了采集信號的物理特性、設備的采集能力、鏈路帶寬利用率、存儲利用率、數據分布特征、業務需求等方面因素，在滿足業務需求的前提下，使得數據采集成本最小。(資料性)AI訓練算法要求示例C.1流量類型識別的AI訓練算法要求在網絡流量識別過程中，根據場景的不同，需選擇不同的識別方法。因此，要求支持多種流量識別方法。要求支持根據流的端口號去識別公認端口號對應的應用層協議類型，在具體實施過程中要求支持對報文的端口號進行采集；要求支持通過解析應用層中的特征字符串識別流量類型，在具體實施過程中，要求支持對報文的應用層進行提取和解析：要求支持根據應用在交互過程中的行為特征進行識別，如分析主機與哪些主機進行通信，是作為一個提供者還是請求者等，在具體實施過程中，要求支持對流量行為特征進行采集，流量特征包括：流的傳輸速率、流的報文數量、流的持續時間、上下行數據流總量等；要求支持根據流的統計學特征結合機器學習技術進行識別，在具體實施過程中，要求支持對報文特征進行采集，報文特征包括端口號，報文長度，報文到達間隔等，要求支持多種機器學習方法，機器學習方法包括有監督學習如隨機森林、神經網絡等，無監督學習如kmeans聚類，DBSCAN等，半監督學習方法，要求支持對流識別模型的訓練C.2流量預測的AI訓練算法要求網絡流量預測過程中，針對不同的預測周期、預測類型，需要選擇不同的預測方法。要求流量預測技術支持兩類預測方法，即歸納法、演繹法。要求流量預測技術支持基于歸納法的預測方法。在具體實施過程中，要求能夠基于一系列數學模型，