1面向家庭網絡的寬帶業務體驗和網絡性能數據采集技術要求本文件規定了面向家庭網絡的寬帶業務體驗指標和網絡性能指標相關數據的采集技術要求，包括軟件接口要求、采集協議、數據格式、設備要求、采集周期要求和管理維護要求等本文件適用于寬帶業務體驗及網絡性能采集設備的開發、生產和測試。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件。僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。YD/T2026-2009IP語音業務服務質量技術要求與評估方法YD/TXXXX-xxXX面向家庭網絡的寬帶業務體驗和網絡性能評價指標體系YD/TXXXX-XXXX面向家庭網絡的寬帶業務體驗和網絡性能指標測試方法IETFRFC4122通用唯一標識符(UUID)URN命名空間(AUniversallyUniqueIdentifier(UUID)URNNamespace)下列術語和定義適用于本文件。用戶撥測數據管理平臺與用戶手機APP/用戶智能終端/機頂盒等終端設備進行交互，完成寬帶業務KQI體驗數據和網絡性能數據采集過程中相關數據的收集、存儲、計算、展示等功能的軟件平臺。寬帶業務8網絡監測數據管理平臺與家庭網關設備和業務體驗KPI監測設備進行交互，完成業務體驗KPI數據和網絡性能數據采集過程中相關數據的收集、存儲、計算、展示等功能，并與數據分析系統完成數據交互功能的軟件平臺數據分析系統與寬帶業務&網絡監測數據管理平臺進行交互，獲取業務體驗KPI數據和網絡性能數據，用于數據分析和處理的系統。下列縮略語適用于本文件。ACK:接受響應幀(Acknowledge)箱3業務體驗KPI采集系統由接入網絡內的0LT、寬帶業務是網絡監測數據管理平臺和數據分析系統組成通過S接口采集業務體驗KPI數據到寬帶業務&網絡監測數據管理平臺，并通過N2接口將數據向數據分析系統進行上報網絡性能數據采集系統由家庭網絡設備、寬帶業務，網絡監測數據管理平臺和數據分析系統組成，通過M接口以監測的方式采集網絡性能部分數據，寬帶業務&網絡監測數據管理平臺通過N2接口，以數據文件方式，向數據分析系統進行數據上報本文件規定A1接口、s接口和N2接口，N1接口由用戶撥測數據管理平臺歸屬者定義，不在本文件中規定，M接口由網絡性能監測平臺歸屬者定義，不在本文件中規定。5.2用戶拔測系統用戶撥測系統如圖2所示，主要用于用戶通過撥測方法獲取家庭業務體驗KQI和網絡性能采集，業務包括網頁瀏覽、上傳/下載、互聯網視頻、IPTV、手機游戲、云游戲、在線教育/遠程辦公、云VR視頻、云VR游戲；網絡性能包括：帶寬、時延、抖動、丟包率、浸游。A1A1接口5.2.2采集功能模型用戶撥測系統的采集功能模型如圖3所示，整個模型包括接口模塊、業務體驗采集模塊、網絡性能采集模塊和基礎信息采集模塊。Wi-Fi信息圖3用戶撥測系統采集功能模型業務體驗采集模塊主要功能是終端從平臺獲取待測業務相關數據信息，完成業務KQI原始數據采集，對KQI數據和MOS值進行計算，并將所有數據上傳至平臺存儲。平臺完成所有用戶數據綜合處理，用戶圖7基于網絡監測的網絡性能數據采集系統6用戶撥測系統技術要求用戶撥測系統包含寬帶業務體驗KQI指標和網絡性能指標的采集，對應于YD/TXXXX-XX《面向家庭網絡的寬帶業務體驗和網絡性能評價指標體系》中6.1節、6.3節以及7.2.2節，YD/TXXXX-XX《面向家庭網絡的寬帶業務體驗和網絡性能指標測試方法》中6.3節，以及7.2節中的用戶撥測場景，其中語音業務由運營商或第三方測評機構使用專業測評工具完成，技術要求符合YD/T2026-2009中5.1節。6.2軟件接口A1接口是終端設備與用戶撥測數據管理平臺之間的通信接口，該接口信息通過寬帶互聯網業務通道進行帶內傳輸A1接口的主要功能包括以下兩個方面：---信息上報：包括用戶和網絡基礎信息、終端設備信息、業務采集信息、網絡性能采集信息等。---信息查詢：發送查詢指令到管理平臺，獲取測試配置信息、業務處理結果信息等圖8Al接口協設棧下面給出了接口發送的上報請求消息的格式示例：POST/[path]HTTP/1.1Accept:application/Content-Type:application/json;charsetHost:[管理平臺host:port][上報請求參數]下面給出了平臺發送的響應消息的示例7Content-Type:application/json;charset=(響應參數)消息定義為由一系列元素組成的JSON數組。消息承載在HTTP/1.1的消息體中。終端與平臺方向的各消息主要用于測試配置信息查詢、體驗分析結果上報、體驗分析結果查詢、設備基本信息上報等功能。消息包含了多種方法，具體方法如表1所示：表1A1接口方法列表GetWebList/GetSpeedserverInfo/GetIPTVGetVideol.ist/GetVRVideoWebkesult/SpecdResult/IPTVBesulWobileGaneResult/CloudGameResulVideoResult/e-LearningANDfiemofficekesult/MRVideoResult/VRGane網絡性能數據(時延/抖動/丟包)測試開始前，終端從平臺獲取部分業務測試配置，如測試網頁名稱和地址、測試視頻的名稱和地址、測速的服務器地址和名稱等。由終端發起請求，平合向終端返回對應消息，詳細參數見表2。對于手游、云游戲、在線教育、VR游戲由用戶在本地選擇并運行業務網頁編號。從0開始平臺匯總所有用戶體驗數據，定期計算出用戶業務體驗結果及排名。由終端發起請求，平臺向終端返回對應消息，具體參數見表3。表30ueryMonthlyReport方法E-LeamingANDRenoteof終端完成各種單業務測試，將包括業務KQI體驗指標的業務測試結果上報給平臺，此消息由終端向平臺發送，具體參數見表4。終端將單次測試多個業務的數據進行處理(如多個視頻測試的結果),從而獲得單次測試的KQI和M0S值。由終端向平臺發送消息，上報平臺，具體參數見表5。2:平均完全加載時間，3:平均M0S,4:最大M0S,2:平均M0S.3:平均下載速度.3:直播平均V05,4:直播最小W05,5:直播最大V0s,7:點播平均卡頓時長占比。8:點播平均V05,9:點播最小W05,1:平均操作響應時延。0:平均首次緩沖時間，1:平均卡頓次數，4:最小M0S,AvgE-LearningANDRero1:平均卡傾時長占比。1:平均卡頓時長占比，3:平均低清時長占比。5:最小M0s.0:平均黑邊面積占比，4:平均N08,5:最小M0S,針對業務服務器地址，終端進行網絡性能的監測，包括時延、抖動、丟包率。由終端向平臺發送消息，上報平臺，具體參數見表6。終端周期獲取Wi-Fi重要信息數據，包括信號強度、協商速率、同頻數量、鄰頻數量等，并將信息上報平臺，具體參數見表76代表802.1lax,7代表802.1Wi-Fi漫游測試結束后，統計Wi-Fi漫游過程中信息，包括漫游切換時刻、丟包率以及切換時長，此消息由終端向平臺發送，具體參數見表8。表8Wi-FiRoam方法上報參數表終端向平臺上報家庭網絡基本信息，包括運營商類型、簽約下行速率、SSID、終端連接類型、位置等信息，具體參數見表9。表9CollectorInfo方法上簽約下行速率(Mbps)終端獲取終端設備基本軟硬件信息，此消息由終端向平臺發送，具體參數見表10。6.5設備要求6.5.1平臺要求撥測平臺服務器配置的選擇應綜合考慮業務使用量等因素，參考配置如下一運行內存：16G及以上：一數據盤200G及以上：一服務端應用應支持多節點部署，隨著業務量增加實現應用擴容：一服務端應用滿足安全訪問要求，具備防病毒、攔截攻擊等：一服務端應用具備主備機制，主服務器死機，備服務器提供服務，不影響業務使用：一服務端應提供數據的安全訪問和存儲功能。終端符合YD/TXX-XX《面向家庭網絡的寬帶業務體驗和網絡性能指標測試方法》中6.1.1節的要求。所有任務均通過終端請求、平臺響應的方式完成。為保護用戶的隱私及安全性，平臺不會主動下發任何任務給終端。7業務體驗KPI采集系統技術要求7.1軟件接口業務體驗KPI采集系統的軟件接口包括S接口和N2接口。S接口為0LT業務監測點和寬帶業務虛網絡監測數據管理平臺之間的通信接口，平臺將傳輸模式、上報周期、指標等數據采集要求通過該接口訂閱下發給OLT業務監測點，OLT業務監測點根據要求把業務數據流上報給寬帶業務&網絡監測數據管理平臺進行處理N2接口為寬帶業務麥網絡監測數據管理平臺和數據分析系統之間的接口，主要用于將寬帶業務&網絡監測數據管理平臺采集和處理的數據上送到數據分析系統S接口采用Telemery協議實現，分為Telenetry網管側和Telemetry設備側。Telemetry網管側實現訂閱管理、數據采集功能，也即是寬帶業務&網絡監湖數據管理平臺Telemetry設備側實現數據監測和上報功能，也即是業務監測點：如圖9所示。Telemetry網管側(業務監測點圖9基于Telemetry協議的采集流程說明對于訂閱下發功能，Telemetry網管側可選擇靜態訂閱和動態訂閱靈活方式，向Telenetry設備側發起采集請求、訂閱采集數據參數，包括編碼格式、上送模式、采集周期等，如表11定義：這里靜態訂閱采用netconf協議實現，動態訂閱采用gRPC會話方式實現。對于數據推動上報功能，考慮到數據量上報的性能和及時性，可選擇使用gRPC方式或者UDP方式推送數據，并將數據上報給數據管理平臺即性能超過閱值后，是否支持Telcretry事件上報(notification)對于數據上報的編碼格式，有GPB、Json、XML.三種，為了各平臺有更好的通用性和擴展性，這里建議選擇GPB編碼格式。GPB編碼的格式說明如下a)GPB編碼依賴于數據結構的信息。GPB使用的message數據結構由proto文件定義。proto文件中的message定義可以是從YANG文件轉換而來，也可以是人工編寫的。message數據結構定義中的每個字段都有一個唯一的編號。一且proto發布了，message數據結構中各字段的編號不應再更改b)GPB編碼是通過一系列key-value來表示message數據結構中的各字段。其中key-value是每個mesage中每個字段編號(fieldindex)和字段的數據類型(wire_type)進行拼接得來的。key-value=(field_number《<3)|wire_type,也就是說key-value的最后三個位用來存儲wire類型：其中，wire_type類型對應的值見表12。012string.bytes,cmbeddedressages.packedrepeate345c)GPB編碼采用Base128Varints編碼，也即是每個字節的低7bit用于存儲數據，最高位的1bit表示是否有后續字節，如果為1,則表示后續的字節也是該數據的一部分，如果是0,則表示數據到這個字節就結束。d)由于key-value中wire_type占用了3bit,如果編號值比較大，就需要使用更多的字節來表示key-value。例如范圍為1到15的字段只需要一個字節來進行GPB編碼，包括字段號和字段的類型，范圍16到2047之間的字段編號占用兩個字節，更大的編號需要更多字節。GPB允許的編號范國是1`536870911(即29-1),其中19000~19999是GPB保留的編號不能使用。.基于gRPO傳輸協議推送數據Telemetry通過gRPC協議將經過編碼格式封裝的數據上報給采集器進行接收和存儲，gRPC協議可以用于Telemetry靜態訂閱或動態訂閱gRPC傳輸協議的編碼封裝格式如圖10所示，在TCP報文上承載的還有TLS、HTTP2、gRPC等，在gRPC內部的消息結構中就是GPB編碼的內容，包括定義的消息格式以及消息中封裝的業務數據，業務數據格式見7.3節。TelemetryRowGPBrowbytescTelemetryRowGPBrowbytescTclemetryGPBTabledataTLS(可選)P圖10中，各層含義如下：一TCP層：底層通信協議，基于TCP連接：一TLS層：該層是可選的，基于TLS1.2加密通道和雙向證書認證等：一HTTP2層：gRPC承載在HTTP2協議上，利用HTTP2的雙向流、流控、頭部壓縮、單連接上的多路復用請求等特性一gRPC層；遠程過程調用，定義了遠程過程調用的協議交互格式。.基于UDP傳輸協議推送數據UDP協議是一個簡單的面向數據報的傳輸層協議，不為IP提供可靠性、流控或差錯恢復功能，UDP適合可靠性要求低、傳輸經濟的網絡應用。如圖11所示，Telemetry通過UDP協議將經過編碼格式封裝的數據上報給采集器進行接收和存儲，UDP協議可以用于Telemetry靜態訂閱。在UDP報文內部有UPC消息頭，在draft-ietf-netconf-udp-pub-channel-05有分片的情況下，只占用12bytes,不包括0ptions域。在UPC消息頭外層的payload就是GPB編碼的內容，包括定義的消息格式，以及消息中封裝的業務數據，業務數據格式在7.3節定義。TelemetyGPBTabledataN2接口采用SFTP協議傳輸家庭網絡性能數據文件。協議棧如圖12所示。N2接口支持PUSH文件傳輸方式，即寬帶業務&網絡監測數據管理平臺作為SFTP客戶端，將業務體驗KPI數據傳送到數據分析系統指定的SFTP服務器上。圖12N2接口使用的協議棧73數據格式0LT業務監測點針對每用戶每業務的數據流進行采集、上報給寬帶業務基網絡監測數據管理平臺，該平臺對數據進行匯聚及有效處理后，通過N2接口上報到數據分析系統。N2接口上報的數據需要包含用戶標識、業務類型標識、業務體驗KPI數據這三類信息，格式如圖13所示。圖13業務體驗KPI數據上報總體格式圖13中，各字節含義如下：一用戶標識：可通過用戶邏輯位置信息(client-location)和用戶物理nac信息(client-mac-address)組合或使用IETFRFC4122中規定的UUID來表征家庭網關，其中，用戶邏輯位置信息可以是用戶所在的接入設備標識+框/槽位/端口號/ID,用戶物理MAC信息為用戶進行業務請求及交互所使用的MAC.一業務類型標識：來區分不同的業務類型，可以通過應用主類application-main-type(比如視頻類、游戲、在線會議類等)和應用子類application-sub-type(比如騰訊視頻等)來區分。一業務體驗KPI數據：具體要上報的數據內容，根據指標體系，上報的業務體驗KPI的采集的指標有DNS,TCP、UDP、RTP、HTTP/HTTPS這幾類，每類KPI指標采用統一的數據采集上報格式。7.3.2DNS類型上報數據格式DNS指標包括DNS請求成功率和DNS請求響應時延，上報格式需要記錄DNS請求客戶端IP、服務端IP等KPI指標，具體參數見表13。ONU格式為：v-ani.f.s.p.o.例如y-ani.,ETH端口格式為：ethernetCsmacd.f.s.請求次數一起計算DNS請求成功率(收到的請求數，無錯誤返回碼(0)/DNS總請求數)7.3.3TCP類型上報數據格式TCPKPI指標主要包括RTT時延、RTT時延抖動、丟包率、速率、TCP建鏈成功率以及TCP建鏈時延。對于TCP類型業務體驗KPI的采集，可以基于TCP連接的五元組(網絡側IP、用戶側IP、TCP協議類型、網絡側端口號、用戶側端口號)區分連接的類型，然后根據TCP面向連接的特點采集計算出各項的指標，并根據定義的采集周期上報，具體參數見表14。0NU格式為：v-ani.f.s.p.o。例如v-ani..ETH端口格式為：ethernetCsnacd.f.s.用戶的MAC地址。格式為：HH:HH:HH:HHserver-IP/client-IP/protocol/serve//類型。例如釘釘辦公，在一個UDP五元組內，還可server-IP/client-IP/protocol/server//udp/43最大值。單位：khos.單位：kbps.另外針對TCP的建鏈，指標包括TCP建鏈成功率、TCP網絡側建鏈時延和TCP用戶側建鏈時延，具體參表示0框8槽0端口的omul.ethernetCsmaod.0.1.2.表示0框1槽2端鏈成功次數/上行建鏈次數)返時間。單位：ns.7.3.4UDP類型上報數據格式基于UDP傳輸的業務，指標主要為平均這率。針對UDP類的業務體驗KPI采集，首先要基于UDP連接的五元組(網絡側IP、用戶側IP、UDP協議類型、網絡側端口號、用戶側端口號)區分連接的類型，然后根據業務監測設備采集到的報文統計及時長，計算出相應的速率信息，具體參數見表16。0NU格式為v-ani.f.s.p.o,何如v-ani.,表示0框8槽0端口的omui.ETH端口格式為：ethernetCsmaed.f.s.用戶MC標識用戶的MAC地址。格式為：H;圖；H;H:HH:HH。Y體現。server-IP/client-IP/protoool/server/類型。例如釘釘辦公，在一個UDP五元組內。還可以區分出語音、視頻類型。流描述的格式為：server-IP/client-IP/protocol/server單位：kbps.7.3.5RTP類型上報數據格式RTPKPI指標主要包括平均速率、丟包率和抖動，可應用于采用RTP協議承載的實時音視頻等應用?；赗TP傳輸特點，可以采集統計到抖動類指標，具體參數見表17:v-ani.,表示0框8槽0端口的o數中體現。server-IP/client-IP/protocol/ser式為：server-IP/client-IP/protocol/serclient-port/service-//udp/4過的總包數一起用于計算周期內的上行用戶側丟包率-上行方向用戶側丟包總數/(上行方向通過的總包數+上行方向用戶側丟包總數)的總包數一起用于計算周期內的上行網絡側丟(下行方向通過的總包數+下行方向網絡側丟包總數)統計周期內，下行流量在用戶側的丟包總數。大值，單位：ms.7.3.6HTTP/HTTPS類型上報數據格式采用HTTP/HTTPS協議的業務，指標主要包括HTTP請求成功率、HTTP首次GET響應時延和HTTPS響應時延，主要適用于網頁瀏覽這類應用。針對HTTP協議類型的，具體參數見表18。數=HTTPGET請求成功的次數HTTP發送G延HITP首次GET請求發出，到收到服務器表19HTTPS響應時延類KPI指標采ONU格式為：v-ani.f.s.p.ow-ani.,表示0框8槽0用戶的MAC地址。格式為：單位is.單位rs.遷統計周期內，首個Application統計周期內。首個ApplicationData單位s.7.4周期要求系統上報周期支持可配置，建議最小周期為lmin。7.5設備要求由于監測模塊在接入節點，因此接入節點需新增業務監測模塊，且具備一定的數據處理能力，建議處理性能/吞吐量應不小于10Gbps。業務監測模塊主要由CPU、內存、硬盤和以太網交換模塊等組成，具備通用計算、存儲以及聯網功能，其中CPU主要完成一般計算功能，內存和硬盤完成存儲和緩存，以太網交換模塊用于板卡上應用程序之間以及和外部數據的轉發和交換對于寬帶業務最網絡監測數據管理平臺要求，由于需要實時處理大數據，建議能夠具備大數據采集/處理系統的架構，具備Telemetry數據采集、大數據管理等能力，滿足批量接入節點同時上報業務體驗KPI數據的要求7.6管理維護平臺應支持遠程查詢和配置業務監測點的信息，包括：a)..查詢業務監測點的資源使用情況，包括當前的CPU和內存使用情況