ICS03.120.10

A00

中國質量協會團體標準

T/CAQXXXXX—XXXX

移動網絡質量評價準則

Criteriaformobilenetworkqualityevaluation

XXXX-XX-XX發布XXXX-XX-XX實施

中國質量協會發布

移動網絡質量評價準則

1范圍

本標準提出了基于用戶體驗的移動網絡質量評價方法。

本標準適用于通信行業測評客戶滿意度。適用于運營商建立一個面向體驗、標準一致的2G/3G/4G

移動網絡體驗評價指數體系。

本標準附錄A為移動網絡質量評價理論模型、本標準附錄B為評價指標的選擇方法、本標準附錄C為

評價指標的門限設置方法、本標準附錄D為評價指標的權重設置方法。

2規范性引用文件

下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T19000質量管理體系基礎和術語

GB/T19001質量管理體系要求

GB/T10303基于顧客感知的品牌評價指南

3術語和定義

GB/T19000界定的以及下列術語和定義適用于本文件。

3.1

網絡體驗指數(NetworkExperienceIndex,NEI)

通過重要性分析、相關性過濾和專家經驗層層篩選，最終確定能夠反映用戶網絡體驗的關鍵指標。

3.2

VOLTE(VoiceoverLong-TermEvolution)

長期演進語音承載,是一個面向手機和數據終端的高速無線通信標準,提供高清的音頻和視頻通話。

4評價要求

4.1評價理論模型

移動網絡領域網絡體驗評估存在指標多、各網絡體系不統一等問題，參照本標準附錄A，通過系統

化的指數構建方法，輸出借鑒典型抽樣（關鍵業務、關鍵指標）和加權平均，實現網絡體驗評價的數字

化評呈現。

4.2評價指標選擇流程

1

圖1評價指標選擇流程圖

4.2.1確定體驗指標全集

應基于移動網絡業務體驗全過程，通過用戶感知關聯，進行評價指標初選，確定體驗指標全集。

4.2.2指標重要性分析

指標的重要性體現為該指標的變化對網絡整體的影響，通過系統地構建指標之間的網絡關系，可以

篩選出重要的指標節點。參照本標準附錄B，通過加權基因共表達網絡分析法（WGCNA），確定移動網絡

業務體驗全過程中對網絡整體產生影響的重要性指標，同時剔除非重要性指標。

4.2.3評價指標篩選

參照本標準附錄B，通過皮爾遜相關性分析法對上面得到的重要性指標進行過濾，剔除相關性大（變

化趨勢相同）的指標，實現指數聚焦關鍵體驗和主要矛盾。

4.2.4網絡體驗指數

參照本標準附錄B，通過專家經驗審視，最終確定能夠反映用戶網絡體驗的關鍵指標。

4.3評價指標要求

4.3.1語音體驗

全程呼叫成功率

用戶無論主被叫，在建立語音通話時，應滿足：

——排除用戶早釋原因，VoLTE網絡呼叫請求成功、穩定接通；

——VoLTE網絡呼叫全程處于連續、暢通狀態。

呼叫建立時長

該指標用于評估主被叫均處于VoLTE的場景下，用戶對于語音通話建立的速度快慢感知，應滿足：

——移動網絡成功收到主叫用戶起呼請求；

——移動網絡對主叫用戶起呼請求進行快速響應。

2

4.3.2網頁體驗

網頁瀏覽成功率

用戶進行網頁瀏覽時，應滿足：

——合成頁面的請求得到成功響應；

——成功完成數據傳輸并打開頁面。

網頁打開時長

該指標用于評估用戶對于頁面打開的速度快慢感知，應滿足：

——移動網絡快速響應用戶的合成頁面請求；

——移動網絡快速完成數據傳輸并打開頁面。

4.3.3視頻體驗

視頻播放成功率

用戶進行視頻播放時，應滿足：

——移動網絡成功響應視頻播放請求；

——移動網絡成功完成數據傳輸并開始視頻播放。

視頻播放等待時長

該指標應用于評估用戶對于視頻播放的速度快慢感知，應滿足：

——移動網絡快速響應視頻播放請求；

——移動網絡快速完成數據傳輸并開始視頻播放。

視頻卡頓時長占比

該指標應用于用戶對于視頻播放流暢性的評估，應滿足：

——從視頻開始播放至播放結束的整個過程均連續、流暢；

——在視頻播放過程中不出現或盡可能少地出現卡頓現象。

4.3.4基礎能力

綜合覆蓋率

該指標應用于基站的網絡信號覆蓋能力的評估，采樣點的參考信號接收功率值應位于-110dbm及以

上。

注：dbm（decibelrelativetoonemilliwatt），分貝毫瓦，指代功率的絕對值。

下載速率(Mbps)

該指標應用于評估用戶數據下載速率的快慢感知，應滿足規定的時間內完成特定數據量的下載。

3

上傳速率(Mbps)

該指標應用于評估用戶上傳數據速率的快慢感知，應滿足規定的時間內完成特定數據量的上傳。

5結果評價

5.1維度

移動網絡質量評價從語音質量體驗（4.2）、網頁瀏覽體驗（4.3）、視頻業務體驗（4.4）、網絡

基礎能力（4.5）4個維度綜合考量一張移動通信網絡的用戶體驗感知。其中話音質量體驗由全程呼叫成

功率、呼叫建立時長2個指標體現；網頁瀏覽體驗由網頁瀏覽成功率、網頁打開時長2個指標體現；視頻

業務體驗由視頻播放成功率、視頻播放等待時長、視頻卡頓時長占比3個指標體現。網絡基礎能力由綜

合覆蓋率、下載速率、上傳速率3個指標體現。

5.2評價指標評分設置

5.2.1評價指標門限設置

移動網絡質量采用NEI數值作為結果評價。

NEI的每個指標具有基準值和挑戰值2個門限，參照本標準附錄C，基于指標類別進行設置。針對感

知類指標（如呼叫建立時延、下載速率等）,采用人因工程方法設定門限；針對統計類指標（如全程呼

叫成功率、視頻播放成功率等）,采用在險價值分析法設定門限。

5.2.2評價指標權重設置

參照本標準附錄D，評價指標權重設置原則主要考慮業務貢獻、感知影響和專家調查三部分因素。

表1移動網絡體驗指數（NEI）

基挑

指標數據指標

維度NEI指標指標定義準戰

類別來源權重

值值

VoLTE網絡接通率（語音）=（VoLTE語音始呼接通次數

+VoLTE語音終呼接通次數）/（VoLTE語音始呼總次數

+VoLTE語音終呼總次數-VoLTE語音始呼中部分響應消

全程呼叫成統計DPI信

息及487內的用戶早釋次數-VoLTE語音終呼中部分響應97%99%20%

語音體驗功率類令

消息及487內的用戶早釋次數）

（35%）

VoLTE網絡原因掉話率（語音）=VoLTE語音掉話次數/

（VoLTE語音始呼應答次數+VoLTE語音終呼應答次數）

呼叫建立時在“VoLTE始呼接續時長”定義的基礎上，單獨統計V-V感知DPI信

7315%

長（s）場景類令

網頁瀏覽成合成頁面中，90%請求得到成功響應并完成數據傳輸的比統計DPI信

97%99%10%

功率例。合成頁面成功顯示的次數/合成頁面個數。類令

網頁體驗

合成頁面中，90%請求完成數據傳輸的時間。合成頁面中

（18%）網頁打開時感知DPI信

最晚結束get的結束時間-合成頁面中首get的開始時528%

長（s）類令

間）/合成頁面個數。

視頻體驗視頻播放成統計時間段內視頻播放成功比例。[GET響應成功統計DPI信

94%99%7%

（17%）功率率]*[（傳輸足夠初緩時間播放數據的次數/合成視頻總類令

4

個數）]

評估視頻從點擊到開始播放的等待時長。從點擊視頻鏈

視頻播放等感知DPI信

接到視頻開始播放的時間。若視頻前播放廣告，則廣告526%

待時長（s）類令

時間不算在內。

計算從視頻開始播放到播放結束之間發生總卡頓時長占

視頻卡頓時比。若視頻前播放廣告，則廣告卡頓不算在內；若客戶統計DPI信0.5

2%4%

長占比進行暫停操作造成視頻未連續播放，則不算在內；客戶類令%

每次進行拖動操作造成的首次卡頓不算在內

統計

綜合覆蓋率所有小區RSRP≥-110dbm的采樣點總數/采樣點總數MR85%95%8%

類

HTTP話單的總下載數據量除以總下載傳輸時長（500KB

基礎能力下載速率感知DPI信

以上會話大小，下載時延取HTTP話單最后一個內容包時208012%

（30%）(Mbps)類令

延）

上傳速率HTTP話單的總上行數據量除以總傳輸時長（傳輸時長取感知DPI信

52010%

(Mbps)HTTP話單最后一個內容包時延）類令

5.3評分規則

NEI中各個指標的數值如優于挑戰值得100分，如劣于基準值得0分，如介于二者之間則基于感知類

指標和統計類指標涉及不同的評分規則。其中速率、時延等感知類指標對感知的影響度為非線性關系，

采用CRRA非線性函數；成功率、卡頓率等統計類指標對感知影響度為線性關系，采用線性打分。

表2NEI指標評分規則

各項指標評分規則

維度NEI指標指標類別

低于基準值基準值和挑戰值之間高于挑戰值

語音體驗全程呼叫成功率（20%）統計類0分分線性得分100分

（35%）呼叫建立時長（s）（15%）感知類0分CRRA非線性函數打分100分

網頁體驗網頁瀏覽成功率（10%）統計類0分線性得分100分

（18%）網頁打開時長（s）（8%）感知類0分CRRA非線性函數打分100分

視頻播放成功率（7%）統計類0分線性得分100分

視頻體驗

視頻播放等待時長（s）（6%）感知類0分CRRA非線性函數打分100分

（17%）

視頻卡頓時長占比（20%）統計類0分線性得分100分

綜合覆蓋率（20%）統計類0分線性得分100分

基礎能力

下載速率(Mbps)（20%）感知類0分CRRA非線性函數打分100分

（30%）

上傳速率(Mbps)（20%）感知類0分CRRA非線性函數打分100分

CPPA非線性函數打分:

（1）時延類指標（負向指標，指標值越小越好）

其中，cmax為評分上限即基準值，cmin為評分下限即挑戰值，c為指標數值。

（2）速率類指標（正向指標，指標值越大越好）

5

1080P視頻對應的上/下行速率感知函數：

720P視頻對應的上/下行速率感知函數：

其中，cmax為評分上限即挑戰值，cmin為評分下限即基準值，c為指標數值。

線性打分:

綜上，10個指標根據實際數值、門限，照此評分規則以及指標所占權重即可得到一張網絡的NEI總

得分。計算方法見下式：

NEI總得分=Σ指標得分值*指標權重………………(1)

5.4評價級別

移動網絡質量評價共分為4個級別，各級描述如下：

表3移動網絡質量評價級別

級別級別I(優秀)級別II（良好）級別III（中等）級別IV（較差）

描述90≤NEI總得分≤10075≤NEI總得分＜9060≤NEI總得分＜75NEI總得分＜60

6

AA

附錄A

（資料性附錄）

理論模型參考

復雜系統綜合評價模型是系統化的指數構建方法，具體模型如下：

圖A.1復雜系統綜合評價模型

步驟1：總體目標確定，確定指數需要反映的問題和現象；

步驟2：評價指標選取，選擇需要進行評價的指標、評價對象（類似業務）、指標集（類似評價業

務的指標）；

步驟3：評價指標量化，各個指標的單位是不一致的，需要去量綱化，指數去量綱化的過程就是打

分的過程；

步驟4：權重設置，指數是針對單一指標的綜合計算結果，針對每個指標，需要基于其重要性進行

權重設置，最后計算綜合得分；

步驟5：綜合評價設計，基于單指標得分和指標權重進行綜合計算（一般為直接加權）；

步驟6：閉環驗證，即驗證指數與要反映的社會現象的匹配度情況。

7

附錄B

（資料性附錄）

評價指標的選擇方法

步驟1：應基于移動網絡業務體驗全過程，通過用戶感知關聯，進行評價指標初選，確定體驗指標

全集。

步驟2：加權基因共表達網絡分析法(WeightedGeneCo-expressionNetworkAnalysis，WGCNA)，

用于描述不同樣品之間基因關聯模式的系統生物學方法，可以用來鑒定高度協同變化的基因集,并根據

基因集的內連性和基因集與表型之間的關聯鑒定候補生物標記基因或治療靶點。

通過WGCNA方法計算指標的重要性（連接度表征重要性）進行指標選擇。指標的重要性體現為該指

標的變化對網絡整體的影響，等于該指標與網絡中其它每個指標的全面相似性的總和，計算公式如下：

n

i=i,j

j=1

其中ω_ij表征指標i與j的全面相似性，公式如下:

liAilAjl+Aij

ifij

TopOverlapij=wij=minliAil?Aij,ljAjl?Aij+1

1ifi=j

其中，A_ij表示指標i和j之間的相關性，A_il表示指標i和l之間的相關性，A_jl表示指標j和l之間

的相關性，l為網絡中任一其它指標。

通過公式可以看出全面相似性不僅考慮兩個指標之間的相關性，還從網絡的角度分析這兩個指標是

否有共同相關性較高的其它指標。

步驟3：通過計算兩兩指標的相關性，剔除相關性大的指標

相關性是反應兩個指標變化趨勢的一致性程度，建模中使用的是皮爾遜相關系數。如下是相關系數

的計算公式:

Cov(X,Y)

r(X,Y)=

VarXVarY

步驟4：專家評價法，人工二次確定最終指標集。

8

BB

附錄C

（資料性附錄）

評價指標的門限設置方法

針對感知類指標(MOS、時延、視頻卡頓等)，采用人因工程方法研究人體感知極限能力與業務體驗

指標之間的關系（例如用戶瞳孔變化），確定指標的上下限。

人因工程方法說明：研究利用人的感知極限能力與人的眼球瞳孔直徑之間的緊密關系，通過視線追

蹤儀測量用戶瞳孔尺寸的變化，獲得用戶的感知心理，反應極限（如零覺察、零等待）。

圖B.1人因工程法

針對統計類指標(完成率、中斷率等)，采用在險價值分析法（VaR），在險價值分析就是分析對象

在一定概率下（風險承受因子ω=5%）出現極大值的下限和極小值的上限，對應門限可作為該對象上下

門限設置的參考。

圖B.2在險價值分析法（VaR）

VaR是基于極值分布函數以及其與分布函數的關系，得到指標的分布函數，基于分布函數和輸入的

風險承受因子得到對應的指標上下限。其中極值分布函數公式如下：

?

x?u

1?,x+

G（x,u,,)=0

0,x+

9