《交通運輸信息技術應用創新適配測評總體要求》_第1頁
《交通運輸信息技術應用創新適配測評總體要求》_第2頁
《交通運輸信息技術應用創新適配測評總體要求》_第3頁
《交通運輸信息技術應用創新適配測評總體要求》_第4頁
《交通運輸信息技術應用創新適配測評總體要求》_第5頁
已閱讀5頁,還剩11頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

ICS35.240.60

CCSR07

團體標準

T/CCTASXX—2021

交通運輸信息技術應用創新適配

測評總體要求

(征求意見稿)

(2023年7月)

XXXX-XX-XX發布XXXX-XX-XX實施

中國交通運輸協會??發布

T/CCTASXX—2021

交通運輸信息技術應用創新適配測評總體要求

1范圍

本文件規定了交通運輸行業信創適配要求和測評要求,包含基礎軟件和基礎硬件適配認定和驗證、

以及應用軟件測評要求。

本文件適用于交通運輸行業信創適配測評分類范圍中的應用軟件建設方、應用軟件測評需求方及應

用軟件測評提供方開展信創應用軟件測評工作。

2規范性引用文件

下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中,注日期的引用文件,

僅該日期對應的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本

文件。

IEEE729-1983軟件工程術語標準詞匯表;

GB/T25000.10-2016系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第10部分:系統與軟

件質量模型;

GB/T25000.51-2016系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)

的質量要求和測試細則;

GB/T4754-2017《國民經濟行業分類》G.交通運輸、倉儲、郵政行業分類;

GB/T17532-2005術語工作計算機應用詞匯;

JT/T904-2014交通運輸行業信息系統安全等級保護定級指南;

JT/T747.4-2020交通運輸信息資源目錄體系第4部分:公路水路信息資源分類。

3術語和定義

下列術語和定義適用于本文件。

信創

信息技術應用創新產業的簡稱。

交通運輸行業信息系統

由硬件、軟件、信息資源、信息用戶和規章制度組成,支撐交通運輸行業采集(或獲取)、處理、存

儲、傳輸、分配和檢索信息的人機一體化系統。

[來源:JT/T904—2014,3.2]

供方

與需方簽訂協議,為其提供產品或服務的組織或個人。本文特指應用軟件測評提供方。

[來源:GB/T25000.51-2016]

需方

從供方獲取或采購產品或服務的利益相關方。本文特指應用軟件測評需求方。

[來源:GB/T25000.51-2016]

送測樣品

1

T/CCTASXX—2021

指需方向供方提交的應用軟件系統或軟硬件系統組合產品,待供方進行信創測評的對象。

4交通運輸行業信創適配測評分類

根據行業業務屬性特點,交通運輸行業信創適配測評分類按照“業務領域—信息系統特征”進行分類,

并以本文件為基礎開展業務分類領域標準制定。

業務領域分類

表4-1:交通運輸行業信創適配測評業務領域分類表

序號類別含義說明

與鐵路交通運輸方式相關的信息系統,包括:鐵路旅客運輸、鐵路貨物運輸、鐵路

鐵路運輸

1安全管理、調度指揮、行車組織、生產作業等為主的業務系統。

與道路交通運輸相關的信息系統,包括城市公共交通運輸,公路旅客運輸,道路貨

道路運輸

2物運輸、道路運輸輔助活動等為主的業務系統。

與水上交通運輸相關的信息系統,包括水上旅客運輸,水上貨物運輸,水上運輸輔

水上運輸

3助活動、航道管理、港口管理、海事管理和救撈管理等為主的業務系統。

與航空交通運輸方式相關的信息系統,包括:航空客貨運輸、通用航空服務、航空

航空運輸

4運輸輔助活動等為主的業務系統。

與郵政行業相關的信息系統,包括:郵政基本服務、快遞服務、其他寄遞服務為主

郵政業

5的業務系統。

與兩種及兩種以上運輸方式相關的信息系統,或者與交通運輸行業行政辦公、規劃、

其他

6財務、人事、法規、科技、信息、黨務等相關的信息系統。

[來源:GB/T4754-2017《國民經濟行業分類》G.交通運輸、倉儲、郵政行業分類]

信息系統特征分類

表4-2:交通運輸行業信創適配測評信息系統特征分類表

序號特征分類含義說明典型系統

如海事衛星通信系統、北斗定位系統、高速公

包括能夠支撐多個交通運輸行業信

基礎支撐路信息通信干線傳輸系統、大數據平臺、云服

息系統實現計算、操作、存儲、安

類信息系務管理平臺、數據中臺、業務中臺、桌面云辦

1全防護或通信等方面所依賴的基礎

統公服務平臺、超融合平臺、各類綜合業務系統

設施和管理系統。

集成平臺等。

包括行業內各類、、政務

MISERP如道路貨運車輛公共監管與服務平臺、危險貨

業務服務應用等,也包括支撐交通運輸客貨

物道路運輸電子運單管理系統、重點營運車輛

類信息系運輸服務、決策應急保障等業務,

2聯網聯控系統平臺、高速公路聯網收費系統清

統提供生產運營服務、政務服務、安

分結算系統等。

全監管等功能的信息系統。

對交通運輸基礎設施運營、運輸工

運行控制如鐵路調度系統、城市公交調度系統、地鐵綜

具運行起協調控制作用,或者調度

類信息系合監控平臺、集裝箱碼頭生產管理系統、高速

3指揮貨物、旅客運輸生產組織的信

統公路不停車收費系統等。

息系統。(ETC)

其他信息包括行業難以劃分為以上具體分類

4系統系統的應用系統

[來源:JT/T747.4-2020《交通運輸信息資源目錄體系第4部分:公路水路信息資源分類》表1.行業分類類目代碼表]

5測評準備

2

T/CCTASXX—2021

測試環境

需方應提交基礎軟件和基礎硬件環境部署說明;供方按部署說明進行環境搭建,并提供測試場地、

網絡和供電環境。軟件測試環境具備中立性和規范性。

送測樣品

本文件所描述的送測樣品,以信創應用軟件樣品為主,需方對送測樣品負責。送測前,需方應提供

相關交付件給供方進行可信審核等驗證工作,包括但不限于:基礎軟件適配報告、測試代碼或測試數據。

送測所涉及的樣品應滿足如下要求:

a)送測樣品組合中所有選用的產品,應為正式設計定型或發布的產品,應有配套的產品手冊、

使用說明、合格證或裝箱配置單等;

b)送測樣品組合中所選用的產品,應提供自主知識產權證明材料;

c)若送測樣品組合中存在整機或外設產品,應通過3C測試或認證,提供相關證書或測試報告復

印件;

d)若送測樣品組合中存在第三方組件,應提供各組件的版權說明和開源情況等信息。

一致性認定

5.3.1同一組合認定

送測樣品變更組合后,在保證穩定與兼容的前提下,經需方與供方協商后,可視為同一組合認定,

不必重復測試。具體包括:

a)鼠標、鍵盤、顯示器變更;

b)升級內存的型號及容量;

c)升級硬盤的型號及容量;

d)將機械硬盤升級為固態硬盤;

e)增加內置或外置光驅;

f)升級應用軟件子版本,但不涉及耦合性模塊、功能、接口等發生變更。

5.3.2非同一組合認定

出現以下情況視為非同一組合認定,應重新測試,包括但不限于:

a)組合中所用樣品對應的平臺體系架構發生變化;

b)組合中基礎軟件環境發生變化;

c)應用軟件主版本升級;

d)應用軟件子版本升級,且耦合性模塊、功能、接口等發生變更;

e)經供方統一協商認為應重新測試的場景。

適配認定

5.4.1需方

需方應根據送測樣品組合的實際情況,提供可能涉及的下列企業適配認證或信創軟硬件產品第三方

適配認證材料給供方,做為基礎軟件和基礎硬件適配認定依據。

a)CPU

b)操作系統/桌面云

c)中間件

d)數據庫

e)虛擬化產品

f)云服務

g)安全保密軟硬件

5.4.2供方

3

T/CCTASXX—2021

根據需方提供的認證材料,開展以下適配認定工作:

a)終端/服務器/專用機/存儲設備/網絡設備/打印設備等

i.核心芯片是否采用信創產品,并安全風險可控,是否存在“供應鏈風險”情況;

ii.技術路線選型是否兼容,性能、穩定性是否滿足需求;

iii.整機及存儲是否符合信創要求,安全風險是否自主可控。

b)操作系統/桌面云

i.操作系統/桌面云是否采用信創產品,是否具備自主知識產權,是否滿足自主可控要求;

ii.操作系統/桌面云是否與送測樣品進行了適配,滿足兼容性要求。

c)中間件/數據庫/虛擬化

i.是否采用信創產品,并具備自主知識產權,滿足自主可控要求;

ii.是否滿足高并發業務承載相關要求;

iii.是否針對所使用的基礎軟件和基礎硬件環境進行了適配,滿足兼容性要求。

d)云服務

i.是否采用信創產品,并具備自主知識產權,滿足自主可控要求;

ii.是否滿足送測樣品業務使用需求;

iii.是否對底層軟件及關聯系統進行了適配,滿足兼容性要求。

e)安全保密軟硬件

i.是否采用信創產品,并具備自主知識產權,滿足自主可控要求;

ii.是否對部署環境所涉及的軟硬件進行了適配測評,滿足兼容性等要求。

f)組織實施能力和條件

i.當前是否具備信創產品實施條件,是否應購買非信創產品授權或非信創廠商實施;

ii.是否存在基礎軟件和基礎硬件環境的供應鏈風險。

6測評

測評范圍

本文件測評范圍包括適配驗證和應用軟件測評兩部分內容,其中適配認定按本文件5.4內容執行,

適配驗證按本文件6.3內容執行,應用軟件測評按本文件6.5內容執行。適配驗證中的基礎軟件包括操系

統、數據庫系統、中間件、語言處理系統(包括編譯程序、解釋程序和匯編程序)。適配驗證中的基礎

硬件是指計算機中所有電子器件、機械設備的總稱,主要包括:中央處理器(CPU),存儲器、輸入/

輸出設備等組成。

測試工具

測試工具應為商業或開源產品,滿足測評所需基礎軟件和基礎硬件環境,包括但不限于手工功能測

評、基于接口的自動化測評、性能測試、安全漏洞掃描等。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價6.2.6測試工具和環境資源》]

適配驗證

適配要求是指送測樣品自身應符合信創或非信創的基礎軟件和基礎硬件環境下適配驗證規范流程。

6.3.1適配驗證規范流程

送測樣品適配驗證包括前期準備、基礎環境搭建、應用安裝部署、全面適配測試、數據庫遷移測試、

適配性能測試六個階段。具體送測樣品適配驗證流程見表6-1。

表6-1:送測樣品適配驗證流程表

序號階段內容

1前期準備根據送測樣品確定驗證邊界,編寫測試用例。

4

T/CCTASXX—2021

序號階段內容

根據送測樣品基礎環境要求,搭建包括客戶端基礎硬件、客戶端基礎軟

2基礎環境搭建

件、服務器端基礎硬件、服務器端基礎軟件的準備。

3應用安裝部署在基礎環境搭建后,將送測樣品下進行安裝部署。

在基礎環境搭建后,通過雙端適配要求,對送測樣品各個模塊的功能的

4全面適配測試

使用狀況進行全面測試。

5數據庫遷移測試在基礎環境搭建后,對送測樣品數據庫的可遷移性及遷移效率開展測試。

6適配性能測試在基礎環境搭建后,對送測樣品的性能開展測試。

6.3.2基礎環境搭建范圍

送測樣品適配驗證的基礎環境搭建范圍,應結合交通運輸行業信創產業發展的實際情況,明確信創

基礎軟件和基礎硬件的范圍。由于信創產業技術發展迭代速度較快,未來基礎環境搭建范圍不排除發生

變更或融合的情況。具體實施過程可根據實際情況,在確認環境適配的前提下按實際需求進行調整選擇。

6.3.3雙端適配

送測樣品應兼容信創或非信創的基礎軟件和基礎硬件,并可實現在信創和非信創混合環境下送測樣

品正常訪問和使用。雙端適配分為三個階段:客戶端適配、服務器端適配、雙端適配。適配要求見表6-2。

表6-2:雙端適配要求表

序號適配模式雙端適配內容

1客戶端適配部署于非信創服務器,可同時被非信創客戶端和信創客戶端訪問。

2服務器端適配部署于信創服務器,可同時被非信創客戶端和信創客戶端訪問。

3雙端全適配完成客戶端適配和服務器端適配。

6.3.4數據庫遷移測試

送測樣品應支持信創數據庫產品,并可實現通用的數據庫遷移適配方法并成功,同時記錄測試樣本

數據庫遷移效率,估算整體數據遷移周期和風險性。

測評流程

根據不同項目測試需求不同,測評流程共分為三個階段:

第一階段為可移植性和兼容性測評;

第二階段進行功能性測評,確保應用軟件在基礎軟件和基礎硬件環境下正常運行全部功能;

第三階段進行可靠性、性能效率、安全性、易用性等測評工作。

應用軟件測評

6.5.1可移植性

a)測評目的

應用軟件在移植到信創基礎軟件和基礎硬件環境后的行為能力。

b)測評指標

表6-3:測評指標-可移植性

序號指標名稱指標說明

1適應性應用軟件是否有效地適應于信創基礎軟件和基礎硬件環境。

2應用軟件在信創基礎軟件和基礎硬件環境下是否能夠有效地進行安裝和卸載。

易安裝性

3安裝和卸載過程是否實現了自動化。

5

T/CCTASXX—2021

序號指標名稱指標說明

4是否提供了安裝文檔,安裝文檔是否通俗易懂。

應用軟件在信創基礎軟件和基礎硬件環境下是否能夠成功地進行重新安裝和升

5

易替換性級。

6在重新安裝和升級后,舊版本的數據在新版本軟件下是否能夠正確使用。

[來源:GB/T25000.10-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第10部分:系統與軟件質量模型》

中有關可移植性的陳述]

c)測試項

表6-4測試項-可移植性

序號測試項測試項說明

適應服務器端信創操作系用戶能夠在服務器端的信創操作系統環境中完成應用軟件的安

1統環境裝部署,并正常啟動使用。

適應客戶端信創操作系統用戶能夠在客戶端信創操作系統環境中完成應用軟件的安裝部

2環境署,并正常啟動使用。

用戶能夠在信創數據庫環境中完成應用軟件的安裝部署,并正常

適應信創數據庫環境

3啟動使用。

用戶能夠在信創中間件環境中完成應用軟件的安裝部署,并正常

適應信創中間件環境

4啟動使用。

對于B/S結構的應用軟件,用戶能夠在不同的瀏覽器環境中正常

適應信創瀏覽器環境

5使用軟件。

適應交通運輸行業特殊運對于運行在交通運輸行業特有的特殊運行環境,應著重進行測

6行環境試,判斷是否能完成應用軟件的安裝部署,并正常啟動使用。

用戶能夠在規定的信創環境下實施安裝,能夠成功地安裝并正確

安裝與運行

7運行軟件。

用戶能夠在規定的信創環境下重新安裝和升級,重新安裝和升級

重新安裝和升級

8后軟件能夠正確運行使用。

9系統卸載用戶能夠停止系統運行,并成功卸載軟件。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)

的質量要求和測試細則》]

6.5.2兼容性

a)測試目的

應用軟件在信創基礎軟件和基礎硬件環境下與其他產品軟件交換信息和執行其所需功能的程度。

b)測評指標

表6-5:測評指標-兼容性

序號指標名稱指標說明

應用軟件在與其他軟件產品共享信創基礎軟件環境和資源時,是否能夠有效

1

共存性執行其所需功能。

2應用軟件不會對其他軟件造成負面影響。

應用軟件如果涉及到與其他軟件產品的相互調用或數據交換,調用過程是否

3互操作性

順暢,數據交換是否準確及時,軟件之間是否能夠共同協作完成其所需功能。

[來源:GB/T25000.10-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第10部分:系統與軟件質量模型》

中有關兼容性的陳述]

c)測試項

6

T/CCTASXX—2021

表6-6測試項-兼容性

序號測試項測試項說明

1信創辦公軟件兼容兼容不同信創辦公軟件類型與版本范圍。

2安全軟件兼容兼容不同信創防病毒系統或安全系統類型與版本范圍。

兼容信創外設(如打印機、掃描儀、攝像頭等),應用軟件可正常訪

3外設兼容

問和操作外部設備。

交通運輸行業特有兼容交通運輸行業特有的電子設備,例如道路監控設備、高速ETC設備、

4

電子設備兼容船用電子設備等。

兼容其他軟件產品,在與其他軟件產品發生相互調用或數據交換時能

5兼容其他軟件產品

夠成功完成其所需功能。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)

的質量要求和測試細則》]

6.5.3功能性

a)測試目的

應用軟件在信創基礎軟件和基礎硬件環境下滿足其要求功能的程度。

b)測評指標

表6-7:測評指標-功能性

序號指標名稱指標說明

應用軟件在信創基礎軟件和基礎硬件環境下,用戶所需要使用的基本功能是否

1

完備性實現齊備。

2應用軟件適配中,不應該存在因為技術實現障礙導致的關鍵功能刪減。

在執行應用軟件適配的輸入輸出測試時,輸出結果和輸出精度應符合相關文檔

3正確性

要求,與預期輸出結果保持一致。

應用軟件在用戶文檔要求的限制范圍和信創基礎軟件和基礎硬件環境下,是否

4

能夠實現其陳述的功能。

適合性

用戶根據用戶文檔,是否能夠對軟件進行控制與操作,是否能夠成功完成規定

5

的任務。

[來源:GB/T25000.10-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第10部分:系統與軟件質量模型》

中有關功能性的陳述]

c)測試項

表6-8測試項-功能性

序號測試項測試項說明

1基礎功能項支持產品說明書及用戶文檔定義出基本功能。

2擴展功能項支持特定用戶場景及用戶需求的擴展功能。

通過對每一階段處理前后系統狀態檢查的方式,驗證每一階段處理完畢

3業務處理流程

后數據的完整性和準確性,判斷系統功能是否滿足需求。

交通運輸行業特有針對交通運輸行業特有的業務功能,進行專項功能驗證測試,判斷系統

4

業務功能驗證測試功能是否滿足交通運輸行業特有業務需求。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)

的質量要求和測試細則》]

6.5.4性能效率

7

T/CCTASXX—2021

a)測試目的

應用軟件在信創基礎軟件和基礎硬件環境下執行其功能時的及時度和使用資源量的有效性。

b)測評指標

表6-9:測評指標-性能效率

序號指標名稱指標說明

應用軟件在信創基礎軟件和基礎硬件環境下執行其功能時,響應時間、處理時

1時間特性

間及吞吐率是否滿足需求要求,是否處于合理范圍內。

應用軟件在信創基礎軟件和基礎硬件環境下執行其功能時,所使用的資源數量

2資源利用性和類型,包括CPU占用率、內存使用率、IO占用率、帶寬占用率、數據庫資源

利用率等資源利用相關參數是否滿足需求要求,是否處于合理范圍內。

應用軟件參數的最大限量,包括最大并發用戶數、最大數據記錄數、最大文件

3容量

長度、最大帶寬等容量相關參數是否滿足需求要求,是否處于合理范圍內。

[來源:GB/T25000.10-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第10部分:系統與軟件質量模型》

中有關性能效率的陳述]

c)測試項

表6-10測試項-性能效率

序號測試項測試項說明

1單一并發測試針對單個性能測試點,構建一個性能測試場景實施的性能測試。

在合理的基礎數據容量下,用戶按一定比例并發進行核心功能的組合操作,

并持續運行一段時間。

為了盡量模擬生產線上運行的業務壓力或用戶使用場景,測試系統的整體性

2混合并發測試

能是否滿足性能需求,把經過一定規則篩選的性能測試點,按照合乎實際邏

輯的虛擬用戶請求、并發,組合成一個混合場景。混合場景的特征,通常包

含兩個或者兩個以上的腳本組,執行時間較長。

企業互認證適配驗證的基礎環境性能表現,應滿足交通運輸行業信創產業應

企業互認適配用基礎要求,滿足核心業務應用承載要求。根據交通運輸行業的業務需求特

3

性能測試性,參考業界主流做法,針對計算、網絡、存儲各子系統進行性能測試,對

核心業務系統尤其是數據庫承載進行綜合性能測試。

交通運輸行業對于交通運輸行業特殊的性能要求,例如多用戶高并發的復雜使用場景,應

4

特殊性能要求重點進行測試。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)

的質量要求和測試細則》]

6.5.5可靠性

a)測試目的

應用軟件在信創基礎軟件和基礎硬件環境下,在規定時間內,軟件不引起系統失效的概率。

b)測評指標

表6-11:測評指標-可靠性

序號指標名稱指標說明

應用軟件在一定的負載壓力下使用時,是否能夠持續為用戶提供相應服務。軟件

1成熟性故障數,平均失效間隔時間,發生失效的比例,系統的完整性級別是否處于合理

范圍內。

8

T/CCTASXX—2021

序號指標名稱指標說明

應用軟件在預定的操作時間中,實際可用時間的比例、平均無故障時間是否處于

2可用性

合理范圍內。

因用戶操作或硬件環境影響導致應用軟件出現錯誤或異常時,軟件應給出合理的

3容錯性

提示信息和處理方式,不應該出現數據丟失。

應用軟件在發生中斷或失效時,能否恢復到正常運行狀態,能否恢復受影響的數

4易恢復性

據,恢復所需時間長短和代價是否在合理范圍內。

[來源:GB/T25000.10-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第10部分:系統與軟件質量模型》

中有關功能性的陳述]

c)測試項

表6-12測試項-可靠性

序號測試項測試項說明

并發用戶評測應用系統核心功能,采用必要的測試工具進行壓力測試,

驗證事務的失敗率。模擬的用戶數應比實際用戶數多;模擬的數據量應

1單一并發壓力測試比實際系統運行一段時間后的數據量多;并發用戶數據占總用戶數的比

例應按照實際業務場景估算,可以根據系統使用的頻度在該范圍內選擇

合適的比例;壓力持續的時間應比一般操作時間長。

基于第1項的測試數據,使用應用系統性能測試腳本模擬用戶訪問。應用

2單點故障恢復測試服務器恢復后,在不停止服務的情況下恢復多機負載均衡;數據服務器

恢復后,應該能在不停止服務的情況下恢復服務,數據不丟失。

3完整壓測日志在壓力測過程中,提供完整的性能測試日志文件。

4多壓測報告對比多次執行的壓力測試,對測試報告進行橫向對比。

交通運輸行業關鍵對于交通運輸行業可能影響到人民生命財產安全的關鍵軟件,應進行專

5

軟件可靠性測試項可靠性測試。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)

的質量要求和測試細則》]

6.5.6易用性

a)測試目的

應用軟件在信創基礎軟件和基礎硬件環境下,當特定用戶使用時,在有效性、效率和滿意度方面達

到的規定目標的程度。

b)測評指標

表6-13測評指標-易用性

序號指標名稱指標說明

1易用性產品在特定使用環境下為了特定的目標可以為特定的用戶使用的程度。

用戶要用多長時間才能夠學會如何使用某一特定的功能,及評估軟件系統

2易學性

的幫助和文檔有效性。

產品在用戶沒有受到培訓情況下對軟件系統的認識程度,包括明顯的功

3易操作性

能,描述的完整性,延時功能及有效性,輸入的有效性等。

4用戶界面舒適性評估軟件系統的外觀、主要受屏幕設計、顏色等因素的影響。

[來源:GB/T25000.10-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第10部分:系統與軟件質量模型》

中有關易用性的陳述]

c)測試項

9

T/CCTASXX—2021

表6-14測試項-易用性

序號測試項測試項說明

a)基于初始條件,產品的功能與實際用戶可以方便找到操作功能的接近程度;

b)是否具備演示功能,演示功能有效性比例;

c)輸入框中是否有提示用戶輸入有效性提示信息;

1易用性測試

d)對于交通運輸行業的特有人群(例如交通運輸工具的駕駛人員、交通設備的

操縱人員、交通運輸活動的直接領導、指揮人員、交通運輸安全的管理人員等)

是否在易用性方面為其單獨考慮。

a)是否有幫助性文檔,幫助文檔的有效性檢查;

2易學性測試b)是否有幫助性信息輔助用戶繼續操作,包括誤操作以及越界操作等;

c)對于交通運輸行業的特有人群,是否在易學性方面為其單獨考慮。

a)使用中默認值的可用性;

b)完成指定任務的步驟復雜性程度;

c)用戶操作完成指定任務總體復雜度;

d)完成指定任務過程中誤操作的次數;

e)實務操作是否有糾正;

f)用戶誤操作后對完成任務的影響程度;

易操作性測

3g)用戶誤操作后,恢復之前狀態的能力;

h)使用中的消息的可理解性;

i)運新狀態的易監控性;

j)界面元素的易定制性;

k)界面布局的易定制性;

l)快捷鍵的易定義性;

m)對于交通運輸行業的特有人群,是否在易操作性方面為其單獨考慮。

a)界面色彩對視覺的吸引性;

b)界面元素是否統一一致,舒適程度如何;

用戶界面舒c)界面元素的尺寸比例合理性;

4

適性測試d)布局合理性;

e)用戶直觀感受度;

f)對于交通運輸行業的特有人群,是否在用戶界面舒適性方面為其單獨考慮。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)

的質量要求和測試細則》]

安全與保密測評

6.6.1安全測評應按照JT/T1417-2022執行

6.6.2保密測評應按照BMZ1-2000、BMZ3-2001、BMB20-2007執行

供應鏈測評

供應鏈安全風險管理應按GB/T36637-2018執行。

代碼測評

應用軟件代碼在提交審查前,應當開展代碼測評,并滿足以下要求:

a)應提供代碼自主率佐證材料;

b)所有代碼注釋清晰,語法正確,編譯通過;

c)日志代碼完整,業務日志、系統日志分開,中文描述,脫敏處理,狀態變更,全部清晰明確;

d)測試代碼覆蓋全部分支和流程,項目引用關系明確,依賴關系清晰,配置文件描述準確。

10

T/CCTASXX—2021

供方依據需方源代碼進行代碼自主率、代碼審核、代碼開源成分與安全檢測等工作。

7測評終止

7.1.1正常終止條件

測評活動根據需方要求開展一輪或多輪測試,按照供方依據本標準制定的測試大綱要求完成所規定

的所有測試,則測試正常終止。

7.1.2異常終止條件

測試過程中,若出現以下情況則測試異常終止,停止測試。

a)需方提出終止測試;

b)由于設備或軟件故障導致系統無法運行且8小時內無法修復;

c)系統負載測試崩潰3次;

d)未經允許修改軟硬件配置;

e)軟件測試環境受到干擾,如服務器被臨時征用,或服務器的其它使用會對測評結果造成干擾。

8測評問題

8.1.1嚴重程度分級

根據IEEE729-1983對軟件缺陷定義,以及GB/T25000.51-2016對異常情況說明,將測評問題按照嚴

重程度分級如下:

a)致命性問題

導致測評工作無法繼續的問題,如系統崩潰或無法執行、資源嚴重不足、應用模塊無法啟動或異常

退出、內存泄露、用戶數據丟失或破壞、設備死機或重啟、嚴重的數值計算錯誤、功能設計與需求嚴重

不符等。

b)嚴重性問題

在測評工作可繼續的情況下出現影響系統功能或操作的問題或不符合信創相關標準的問題,如功能

未實現、系統刷新錯誤、數值計算錯誤、數據通訊錯誤等。

在測評工作可繼續的情況下出現影響系統功能或操作的問題、性能問題或不符合信創相關標準的問

題,如功能未實現、系統刷新錯誤、數值計算錯誤、數據通訊錯誤、異常資源損耗、性能與預期目標相

差巨大等。

c)一般性問題

界面方面的問題,如操作界面錯誤、邊界條件下錯誤、提示信息錯誤、特定條件下的非主要功能失

效、非主要功能可通過操作繞過的功能缺陷等。

d)建議性問題

只對易用性有影響的問題,如軟件功能規格差異、界面顯示不規范、輔助說明描述不清楚、提示文

字未采用專業術語、可輸入區域和只讀區域無明確區分等。

8.1.2可重現程度分級

根據IEEE729-1983對軟件缺陷定義,以及GB/T25000.51-2016對異常情況說明,將測評問題按照可

重現程度分級如下:

a)總是出現

b)有時出現

c)隨機出現

d)未嘗試

e)不可再現

f)N/A

11

T/CCTASXX—2021

8.1.3測評問題處理

測評問題內容以“9.1.2異常報告”內容為準并反饋需方,需方根據異常報告進行糾正,供方根據糾

正后的送測樣本開展復測工作。復測次數由供方和需方協商確定。

9測評結果

9.1.1執行報告

a)執行報告應包括測試用例結果的全部匯總。

b)執行報告應證實已按測試計劃執行了所有測試用例。

c)對于每個測試用例,執行報告均應包括以下內容:

i.測試用例的標識符;

ii.測試執行日期;

iii.實施測試的人員姓名和職責;

iv.測試用例執行的結果;

v.發現的異常清單;

vi.對于每一異常,要引用相應的異常情況報告;

vii.可陳述的對基于GB/T25000.10-2016的質量特性的引用。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品

(RUSP)的質量要求和測試細則》中6.4測試結果要求]

9.1.2異常情況報告

a)異常情況報告應包括所發現的全部異常匯總。如果有的話,還應包括糾正情況和通過再測試的

驗證情況。

b)對于每個異常,異常情況報告的說明性部分應包括如下內容:

i.異常的標識符;

ii.軟件的標識符;

iii.對異常的說明;

iv.執行測試用例中異常發生點;

v.異常的嚴重程度和可重現程度;

vi.可陳述的對基于GB/T25000.10-2016的質量特性的引用。

c)異常情況報告的糾正部分應論證發現的所有異常均已糾正,或者未糾正的原因。

d)異常情況報告的糾正部分對每個糾正項應包含如下內容:

i.糾正項的標識符;

ii.糾正的日期;

iii.糾正者的姓名;

iv.對應于糾正項的修改標識符;

v.糾正項的可能影響;

vi.糾正者可能有的評論。

e)異常情況報告中經重新測試驗證的部分,應證實所有已糾正的功能都具有用戶文檔集中定義的

行為。

f)異常情況報告中經重新測試驗證的部分對每個驗證項應包含如下內容:

i.驗證項的標識符;

ii.驗證日期;

iii.驗證者的姓名;

iv.用于驗證的測試用例;

v.驗證的結果;

vi.可陳述的對基于GB/T25000.10-2016的質量特性的引用。

12

T/CCTASXX—2021

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品

(RUSP)的質量要求和測試細則》中6.4測試結果要求]

9.1.3測評結果的評估

關于執行報告和異常情況報告的評估應表明:在所使用的判定測評結果是否在該軟件的符合性準則

的界限內,所有的期望行為是可獲得的。

[來源:GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品

(RUSP)的質量要求和測試細則》中6.4測試結果要求]

10

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論