ICS35.080DB37DB37/T3048—2017自主可控軟件測(cè)試與認(rèn)證規(guī)范2017-112017-11-2017-12-山東省質(zhì)量技術(shù)監(jiān)督局發(fā)布I前言 1范圍 1 13術(shù)語(yǔ)和定義 14自主可控軟件要求 24.1自主性要求 24.2用戶文檔要求 24.3軟件質(zhì)量要求 25測(cè)試內(nèi)容 35.1總則 35.2自主性測(cè)試 35.3功能性測(cè)試 35.4安全性測(cè)試 45.5可靠性測(cè)試 45.6易用性測(cè)試 55.7性能效率測(cè)試 55.8維護(hù)性測(cè)試 55.9兼容性測(cè)試 55.10用戶文檔測(cè)試 66測(cè)試流程 66.1測(cè)試樣品提交 66.2測(cè)試需求分析 66.3測(cè)試計(jì)劃 66.4測(cè)試設(shè)計(jì) 76.5測(cè)試環(huán)境準(zhǔn)備 76.6測(cè)試執(zhí)行 76.7測(cè)試結(jié)果匯總與分析 76.8測(cè)試結(jié)果評(píng)價(jià) 76.9報(bào)告編制 77測(cè)試實(shí)施要求 87.1測(cè)試計(jì)劃要求 87.2測(cè)試用例要求 87.3測(cè)試執(zhí)行記錄要求 87.4符合性評(píng)價(jià)報(bào)告要求 88認(rèn)證 88.1認(rèn)證要求 8 98.3認(rèn)證實(shí)施 98.4認(rèn)證證書(shū) 9DB37/T3048—2017本標(biāo)準(zhǔn)按照GB/T1.1—2009給出的規(guī)則起草。本標(biāo)準(zhǔn)由山東省經(jīng)濟(jì)和信息化委員會(huì)提出并歸口。本標(biāo)準(zhǔn)起草單位：山東省計(jì)算中心(國(guó)家超級(jí)計(jì)算濟(jì)南中心)、山東省軟件評(píng)測(cè)中心、山東道普測(cè)評(píng)技術(shù)有限公司、山東中創(chuàng)軟件商用中間件股份有限公司、山東瀚高基礎(chǔ)軟件股份有限公司、國(guó)家網(wǎng)絡(luò)軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心(濟(jì)南)、山東億云信息技術(shù)有限公司、山大電力有限責(zé)任公司、山東山大華天軟件有限公司、山東正中計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)咨詢有限公司、山東華迪智能技術(shù)有限公司。本標(biāo)準(zhǔn)主要起草人：楊美紅、韓慶良、韓明軍、張海燕、劉娜、鄭玉華、周長(zhǎng)倫、李繼才、張峻、吳梅磊、張建成、李釗、王平、張偉、張文治。1DB37/T3048—2017自主可控軟件測(cè)試與認(rèn)證規(guī)范本標(biāo)準(zhǔn)規(guī)定了自主可控軟件要求、測(cè)試內(nèi)容、測(cè)試流程、測(cè)試實(shí)施要求和認(rèn)證。本標(biāo)準(zhǔn)適用于自主可控軟件的標(biāo)準(zhǔn)符合性測(cè)試與認(rèn)證，也可供軟件生產(chǎn)商在設(shè)計(jì)、驗(yàn)證、日常檢測(cè)和維護(hù)時(shí)參考。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T25000.51—2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)(SQuaRE)第51部分：就緒可用軟件產(chǎn)品(RUSP)的質(zhì)量要求和測(cè)試細(xì)則3術(shù)語(yǔ)和定義GB/T25000.51—2016界定的以及下列術(shù)語(yǔ)和定義適用于本文件。國(guó)產(chǎn)軟件在中華人民共和國(guó)境內(nèi)最終形成，其著作權(quán)歸屬中華人民共和國(guó)境內(nèi)的自然人、法人或其他組織，并且在國(guó)內(nèi)的開(kāi)發(fā)成本不低于總開(kāi)發(fā)成本的百分之五十的軟件產(chǎn)品。自主可控軟件由軟件生產(chǎn)商自身研發(fā)設(shè)計(jì)，全面掌握產(chǎn)品核心技術(shù)，擁有自主知識(shí)產(chǎn)權(quán)，可由軟件生產(chǎn)商自主維護(hù)來(lái)應(yīng)對(duì)安全威脅的國(guó)產(chǎn)軟件。符合性評(píng)價(jià)報(bào)告說(shuō)明對(duì)自主可控軟件實(shí)施評(píng)價(jià)的行為和結(jié)果的文檔。測(cè)試機(jī)構(gòu)獲得中國(guó)實(shí)驗(yàn)室國(guó)家認(rèn)可委員會(huì)認(rèn)可的具有軟件檢測(cè)能力的機(jī)構(gòu)，認(rèn)可的檢測(cè)能力范圍應(yīng)至少包括對(duì)軟件功能性、可靠性、易用性，及性能效率的測(cè)試。2DB37/T3048—2017認(rèn)證機(jī)構(gòu)依據(jù)該標(biāo)準(zhǔn)對(duì)自主可控軟件實(shí)施認(rèn)證的組織機(jī)構(gòu)。4自主可控軟件要求軟件應(yīng)自主研發(fā)，且擁有自主知識(shí)產(chǎn)權(quán)。4.2.1可用性要求用戶文檔對(duì)于該軟件的用戶應(yīng)是可用的。4.2.2完備性要求用戶文檔應(yīng)具有唯一標(biāo)識(shí)，應(yīng)包含使用該軟件所必需的信息，應(yīng)說(shuō)明最終用戶能調(diào)用的所有功能。4.2.3正確性要求用戶文檔中所有信息都應(yīng)是正確的，且不應(yīng)有歧義的信息。4.2.4一致性要求用戶文檔不應(yīng)自相矛盾、互相矛盾，以及與產(chǎn)品說(shuō)明矛盾。用戶文檔應(yīng)采用軟件特定讀者可理解的術(shù)語(yǔ)和文體。4.3軟件質(zhì)量要求4.3.1功能性要求軟件的功能是否能執(zhí)行是可識(shí)別的；在給定的限制范圍內(nèi)，用戶文檔中所陳述的所有功能應(yīng)是可執(zhí)軟件應(yīng)能夠保護(hù)信息和數(shù)據(jù)，使未授權(quán)的人員或系統(tǒng)不能閱讀或修改這些信息和數(shù)據(jù)，而不拒絕授權(quán)人員或系統(tǒng)對(duì)它們的訪問(wèn)。4.3.3可靠性要求軟件應(yīng)按照用戶文檔中定義的可靠性特征來(lái)執(zhí)行，應(yīng)識(shí)別違反句法條件的輸入，并且不應(yīng)作為許可的輸入加以處理；在用戶文檔陳述的限制范圍內(nèi)使用時(shí)，不應(yīng)丟失數(shù)據(jù)。有關(guān)軟件執(zhí)行的各種問(wèn)題、消息和結(jié)果都應(yīng)是易理解的；對(duì)具有嚴(yán)重后果的功能執(zhí)行應(yīng)是可撤銷(xiāo)的，或者軟件應(yīng)給出這種后果的明顯警告，并且在這種命令執(zhí)行前要求確認(rèn)。4.3.5性能效率要求3DB37/T3048—2017軟件應(yīng)符合產(chǎn)品說(shuō)明中有關(guān)性能效率的陳述。4.3.6維護(hù)性要求軟件應(yīng)按照用戶文檔中定義的維護(hù)性特征來(lái)執(zhí)行。軟件應(yīng)按照用戶文檔和產(chǎn)品說(shuō)明中所定義的兼容性特征來(lái)執(zhí)行。針對(duì)自主可控軟件，從自主性、功能性、安全性、可靠性、易用性、性能效率、維護(hù)性、兼容性和用戶文檔等九個(gè)方面進(jìn)行測(cè)試。其中，性能效率、維護(hù)性和兼容性部分作為考察項(xiàng)，其測(cè)試結(jié)果能夠更全面地展現(xiàn)軟件相應(yīng)能力，但不用于軟件整體測(cè)試結(jié)果的評(píng)價(jià)。針對(duì)自主可控軟件要求，給出以下主要的測(cè)試項(xiàng)目。在實(shí)際執(zhí)行過(guò)程中，可根據(jù)自主可控軟件自身特點(diǎn)及軟件生產(chǎn)商要求增加測(cè)試項(xiàng)目。對(duì)于自主性測(cè)試、功能性測(cè)試、安全性測(cè)試、可靠性測(cè)試、易用性測(cè)試和用戶文檔測(cè)試等六個(gè)類別，在符合性評(píng)價(jià)報(bào)告中應(yīng)至少列出以下所有測(cè)試項(xiàng)目，對(duì)其中不適用的測(cè)試項(xiàng)目，應(yīng)說(shuō)明其不適用原因。測(cè)試內(nèi)容如表1所示：表1自主性測(cè)試內(nèi)容測(cè)試項(xiàng)目項(xiàng)目說(shuō)明自主管理可行性與計(jì)劃研究應(yīng)有相應(yīng)的文檔或記錄能夠證明對(duì)軟件進(jìn)行了可行性分析，并制定了開(kāi)發(fā)計(jì)劃。需求分析應(yīng)有相應(yīng)的文檔或記錄能夠證明對(duì)軟件進(jìn)行了需求分析。軟件設(shè)計(jì)應(yīng)有相應(yīng)的文檔或記錄能夠證明對(duì)軟件進(jìn)行了設(shè)計(jì)。質(zhì)量控制應(yīng)有相應(yīng)的文檔或記錄能夠證明對(duì)軟件進(jìn)行了質(zhì)量控制。版本控制應(yīng)有相應(yīng)的文檔、記錄能夠證明對(duì)軟件進(jìn)行了版本控制。自主研發(fā)源代碼可執(zhí)行驗(yàn)證軟件源代碼編譯后生成的軟件的功能完整，且與用戶文檔描述的軟件功能一致。源代碼自主研發(fā)驗(yàn)證軟件所有功能都應(yīng)有對(duì)應(yīng)的源代碼，且軟件核心功能應(yīng)由自主研發(fā)的源代碼獨(dú)立實(shí)現(xiàn)。5.3功能性測(cè)試測(cè)試內(nèi)容如表2所示：表2功能性測(cè)試內(nèi)容測(cè)試項(xiàng)目項(xiàng)目說(shuō)明完備性功能實(shí)現(xiàn)的完整性軟件中應(yīng)包括產(chǎn)品說(shuō)明中所描述的所有功能。正確性功能的正確性產(chǎn)品說(shuō)明中所有的功能應(yīng)都能正確執(zhí)行。精度軟件中所有精度應(yīng)與產(chǎn)品說(shuō)明中的精度要求一致。4DB37/T3048—2017測(cè)試內(nèi)容如表3所示：測(cè)試項(xiàng)目項(xiàng)目說(shuō)明身份鑒別鑒別機(jī)制軟件應(yīng)提供專用的登錄控制模塊對(duì)登錄用戶進(jìn)行身份標(biāo)識(shí)和鑒別。登錄失敗處理軟件連續(xù)多次登錄失敗時(shí)，可采取限制非法登錄次數(shù)、結(jié)束會(huì)話等措施。強(qiáng)口令策略軟件應(yīng)啟用強(qiáng)口令策略，口令長(zhǎng)度、類型等具有復(fù)雜度限制。會(huì)話超時(shí)機(jī)制軟件提供會(huì)話超時(shí)機(jī)制；會(huì)話超時(shí)后，應(yīng)使會(huì)話進(jìn)入休眠狀態(tài)或中斷連接。錯(cuò)誤提示信息軟件認(rèn)證錯(cuò)誤提示信息中不存在確切錯(cuò)誤分類信息。用戶權(quán)限控制權(quán)限控制功能軟件具有權(quán)限控制策略，對(duì)于每個(gè)角色用戶權(quán)限控制合理。越權(quán)控制機(jī)制軟件不存在橫向越權(quán)漏洞。軟件不存在縱向越權(quán)漏洞。權(quán)限控制范圍軟件權(quán)限控制范圍覆蓋系統(tǒng)的主要功能操作。限制默認(rèn)賬戶權(quán)限軟件嚴(yán)格限制默認(rèn)帳戶的訪問(wèn)權(quán)限，默認(rèn)用戶權(quán)限應(yīng)合理。用戶最小權(quán)限原則軟件各角色用戶應(yīng)根據(jù)業(yè)務(wù)特性及權(quán)限互斥原則，分配最小權(quán)限。訪問(wèn)審計(jì)審計(jì)的廣泛性軟件審計(jì)范圍覆蓋所有角色用戶。審計(jì)的完整性軟件限制刪除、修改或覆蓋審計(jì)記錄，維護(hù)審計(jì)活動(dòng)的完整性。審計(jì)內(nèi)容全面性軟件審計(jì)記錄的內(nèi)容至少包括事件的日期、時(shí)間、發(fā)起者信息、類型、描述和結(jié)果等。審計(jì)關(guān)鍵事件軟件重要安全事件記錄日志。數(shù)據(jù)安全數(shù)據(jù)保密性軟件重要信息或敏感信息加密傳輸或存儲(chǔ)。數(shù)據(jù)完整性應(yīng)能夠檢測(cè)到重要用戶數(shù)據(jù)在傳輸過(guò)程中完整性受到破壞。數(shù)據(jù)有效性應(yīng)提供數(shù)據(jù)有效性檢驗(yàn)功能，保證通過(guò)人機(jī)接口輸入或通過(guò)通信接口輸入的數(shù)據(jù)格式或長(zhǎng)度符合系統(tǒng)設(shè)定要求。5.5可靠性測(cè)試測(cè)試內(nèi)容如表4所示：表4可靠性測(cè)試內(nèi)容測(cè)試項(xiàng)目項(xiàng)目說(shuō)明成熟性可控制性在測(cè)試過(guò)程中，軟件不應(yīng)陷入用戶無(wú)法控制的狀態(tài)，如進(jìn)入死循環(huán)，執(zhí)行其他操作無(wú)響應(yīng)。數(shù)據(jù)完整性在測(cè)試過(guò)程中，不應(yīng)由于軟件故障而導(dǎo)致軟件丟失數(shù)據(jù)，破壞數(shù)據(jù)的完整性。避免失效在測(cè)試過(guò)程中，不應(yīng)出現(xiàn)由于軟件的故障而導(dǎo)致系統(tǒng)失效的現(xiàn)象。容錯(cuò)性抵御誤操作軟件應(yīng)對(duì)非法輸入、非法操作等進(jìn)行屏蔽處理。易恢復(fù)性在發(fā)生中斷或失效時(shí)，軟件能夠恢復(fù)直接受影響的數(shù)據(jù)，并重建期望的系統(tǒng)狀態(tài)。5.6易用性測(cè)試測(cè)試內(nèi)容如表5所示：5DB37/T3048—2017測(cè)試項(xiàng)目項(xiàng)目說(shuō)明易理解性描述的完整性用戶在閱讀產(chǎn)品說(shuō)明后應(yīng)能理解軟件的能力。明顯的功能軟件界面中所有的功能應(yīng)易于識(shí)別。功能的易理解性軟件中所有界面對(duì)應(yīng)的功能應(yīng)易于理解。易理解的輸入輸出軟件界面中所有的輸入輸出項(xiàng)應(yīng)易于理解。易學(xué)性用戶文檔和/或幫助機(jī)制的有效性軟件提供的聯(lián)機(jī)幫助系統(tǒng)和/或文檔應(yīng)能有效地指導(dǎo)用戶完成相關(guān)操作。幫助的獲得性軟件應(yīng)提供幫助的快速定位查找功能，以便用戶能正確定位所需的幫助內(nèi)容。易操作性在使用中功能操作的一致性軟件中功能操作界面的組成應(yīng)保持一致。在使用中消息的一致性軟件中提示的信息應(yīng)易于指導(dǎo)用戶操作。使用中錯(cuò)誤的糾正在使用軟件過(guò)程中，用戶應(yīng)能成功撤銷(xiāo)其錯(cuò)誤操作。使用中默認(rèn)值的可用性軟件應(yīng)提供參數(shù)值的默認(rèn)值以方便用戶使用。使用中消息的可理解性軟件中的提示信息不應(yīng)導(dǎo)致用戶操作停頓與失敗。在使用中操作錯(cuò)誤的易恢復(fù)性軟件應(yīng)對(duì)關(guān)鍵數(shù)據(jù)的操作給出警告或在執(zhí)行前要求確認(rèn)。(用戶錯(cuò)誤糾正的)可還原性軟件應(yīng)提供關(guān)鍵操作的可逆處理，以便用戶糾正錯(cuò)誤。測(cè)試內(nèi)容如表6所示：測(cè)試項(xiàng)目項(xiàng)目說(shuō)明時(shí)間特性響應(yīng)時(shí)間從發(fā)出請(qǐng)求到請(qǐng)求完成為止，用戶經(jīng)歷的平均等待時(shí)間間隔。吞吐率軟件在給定的時(shí)間周期內(nèi)有多少個(gè)任務(wù)成功的執(zhí)行。資源特性CPU利用率在測(cè)試過(guò)程中服務(wù)器端CPU的平均使用率。資源特性內(nèi)存利用率在測(cè)試過(guò)程中服務(wù)器端內(nèi)存的平均使用率。容量并發(fā)用戶數(shù)軟件能夠支撐的最大并發(fā)用戶數(shù)量。存儲(chǔ)數(shù)據(jù)項(xiàng)數(shù)量軟件能夠支撐的最大存儲(chǔ)數(shù)據(jù)項(xiàng)數(shù)量。5.8維護(hù)性測(cè)試測(cè)試內(nèi)容如表7所示：表7維護(hù)性測(cè)試內(nèi)容測(cè)試項(xiàng)目項(xiàng)目說(shuō)明易分析性狀態(tài)監(jiān)視能力在運(yùn)行中要記錄足以監(jiān)視軟件狀態(tài)的數(shù)據(jù)。易修改性參數(shù)表示的修改性軟件應(yīng)提供方便的參數(shù)修改手段，以便變更軟件適應(yīng)新的應(yīng)用。5.9兼容性測(cè)試測(cè)試內(nèi)容如表8所示：6DB37/T3048—2017測(cè)試項(xiàng)目項(xiàng)目說(shuō)明適應(yīng)性硬件環(huán)境適應(yīng)性軟件兼容產(chǎn)品說(shuō)明中要求的國(guó)產(chǎn)硬件環(huán)境。軟件環(huán)境適應(yīng)性軟件兼容產(chǎn)品說(shuō)明中要求的國(guó)產(chǎn)軟件運(yùn)行環(huán)境。共存性有效的共存性軟件能夠與產(chǎn)品說(shuō)明中列舉的國(guó)產(chǎn)軟件共存運(yùn)行。測(cè)試內(nèi)容如表9所示：測(cè)試項(xiàng)目項(xiàng)目說(shuō)明完備性標(biāo)識(shí)指示用戶文檔應(yīng)具有唯一的文檔標(biāo)識(shí)。使用信息用戶文檔應(yīng)包含使用該軟件所必需的信息。陳述所有功能用戶文檔應(yīng)說(shuō)明在產(chǎn)品說(shuō)明中陳述的所有功能以及最終用戶能調(diào)用的所有功能。差錯(cuò)和失效、數(shù)據(jù)丟失條件用戶文檔應(yīng)列出所處置的和引起應(yīng)用系統(tǒng)失效或終止的差錯(cuò)和失效，特別是那些導(dǎo)致數(shù)據(jù)丟失的應(yīng)用系統(tǒng)終止的結(jié)束條件。備份和恢復(fù)指南用戶文檔應(yīng)給出必要數(shù)據(jù)的備份和恢復(fù)指南。關(guān)鍵功能細(xì)則對(duì)于所有關(guān)鍵的軟件功能(即失效后會(huì)對(duì)安全產(chǎn)生影響或會(huì)造成重大財(cái)產(chǎn)損失或社會(huì)損失的軟件),用戶文檔應(yīng)提供完備的細(xì)則信息和參考信息。磁盤(pán)空間要求用戶文檔應(yīng)陳述安裝所要求的最小和最大磁盤(pán)空間。應(yīng)用管理對(duì)用戶要完成的應(yīng)用管理職能，用戶文檔應(yīng)包括所有必要的信息。集分標(biāo)識(shí)如果用戶文檔分若干部分提供，在該集合中至少有一處應(yīng)標(biāo)識(shí)出所有的部分。正確性用戶文檔中所有信息都應(yīng)是正確的，且不應(yīng)有歧義的信息。一致性用戶文檔不應(yīng)自相矛盾、互相矛盾，以及與產(chǎn)品說(shuō)明矛盾。易理解性用戶文檔應(yīng)采用軟件特定讀者可理解的術(shù)語(yǔ)和文體。6.1測(cè)試樣品提交送測(cè)樣品由各參測(cè)企業(yè)自主提交給測(cè)試機(jī)構(gòu)。自測(cè)試開(kāi)始后，參測(cè)企業(yè)提交的測(cè)試樣品不允許中途更換，否則視為作廢。各參測(cè)企業(yè)必須提供紙質(zhì)或電子形式的可行性分析報(bào)告、開(kāi)發(fā)計(jì)劃、需求分析說(shuō)明書(shū)、軟件設(shè)計(jì)文檔、質(zhì)量控制文檔、版本控制文檔、用戶文檔和產(chǎn)品說(shuō)明，提供含有軟件源代碼的光盤(pán)介質(zhì)，必要時(shí)有責(zé)任配合測(cè)試機(jī)構(gòu)進(jìn)行軟件安裝。6.2測(cè)試需求分析根據(jù)自主可控的軟件要求，以及用戶文檔和軟件產(chǎn)品說(shuō)明，確定測(cè)試內(nèi)容。6.3測(cè)試計(jì)劃根據(jù)測(cè)試內(nèi)容，結(jié)合軟件類型、應(yīng)用領(lǐng)域和運(yùn)行環(huán)境等信息，確定測(cè)試活動(dòng)的范圍、測(cè)試方法、測(cè)試進(jìn)度和測(cè)試風(fēng)險(xiǎn)等內(nèi)容，編制測(cè)試計(jì)劃。7DB37/T3048—20176.4測(cè)試設(shè)計(jì)根據(jù)測(cè)試內(nèi)容及測(cè)試計(jì)劃中預(yù)定的測(cè)試方法，進(jìn)行測(cè)試用例的設(shè)計(jì)。6.5測(cè)試環(huán)境準(zhǔn)備按照測(cè)試設(shè)計(jì)要求，準(zhǔn)備相應(yīng)的測(cè)試環(huán)境，包括相關(guān)軟件、硬件設(shè)備，以及網(wǎng)絡(luò)環(huán)境等。6.6測(cè)試執(zhí)行按照設(shè)計(jì)的測(cè)試用例，實(shí)施測(cè)試，形成測(cè)試記錄。6.7測(cè)試結(jié)果匯總與分析對(duì)測(cè)試記錄進(jìn)行整理和綜合分析。6.8測(cè)試結(jié)果評(píng)價(jià)6.8.1自主性評(píng)價(jià)實(shí)施評(píng)價(jià)以確定軟件自主性與4.1要求的符合程度。6.8.2用戶文檔評(píng)價(jià)實(shí)施評(píng)價(jià)以確定用戶文檔與4.2要求的符合程度。6.8.3軟件質(zhì)量評(píng)價(jià)實(shí)施評(píng)價(jià)以確定軟件質(zhì)量與4.3要求的符合程度。6.9報(bào)告編制符合性評(píng)價(jià)報(bào)告應(yīng)確立自主可控軟件與第4章要求的符合性。符合性評(píng)價(jià)報(bào)告應(yīng)包含以下各項(xiàng)：a)自主可控軟件標(biāo)識(shí)；b)執(zhí)行評(píng)價(jià)的人員姓名；c)評(píng)價(jià)完成日期以及測(cè)試完成日期；d)用于進(jìn)行測(cè)試的計(jì)算機(jī)系統(tǒng)(硬件、軟件及其配置);e)使用的文檔及其標(biāo)識(shí)；f)符合性評(píng)價(jià)活動(dòng)匯總和測(cè)試活動(dòng)匯總；g)符合性評(píng)價(jià)結(jié)果匯總和測(cè)試結(jié)果匯總；h)符合性評(píng)價(jià)的詳細(xì)結(jié)果和測(cè)試的詳細(xì)結(jié)果(應(yīng)該覆蓋所測(cè)試的每項(xiàng)測(cè)試內(nèi)容及其對(duì)應(yīng)的測(cè)試項(xiàng)目，且每個(gè)測(cè)試項(xiàng)目包括對(duì)應(yīng)的測(cè)試要點(diǎn)及詳細(xì)測(cè)試結(jié)果);i)若有時(shí)，不符合要求項(xiàng)的清單。對(duì)于紙質(zhì)的符合性評(píng)價(jià)報(bào)告而言，符合性評(píng)價(jià)報(bào)告的標(biāo)識(shí)(測(cè)試實(shí)驗(yàn)室、自主可控軟件標(biāo)識(shí)、符合性評(píng)價(jià)報(bào)告日期)及其總頁(yè)數(shù)均應(yīng)出現(xiàn)在符合性評(píng)價(jià)報(bào)告的每一頁(yè)上。符合性評(píng)價(jià)報(bào)告還應(yīng)包含：a)效果聲明：測(cè)試結(jié)果和評(píng)價(jià)只與被測(cè)試和被評(píng)價(jià)的項(xiàng)有關(guān)；b)復(fù)制聲明：除非以完整報(bào)告的形式復(fù)制，否則未經(jīng)測(cè)試實(shí)驗(yàn)室書(shū)面批準(zhǔn)不得復(fù)制符合性報(bào)告。7測(cè)試實(shí)施要求8DB37/T3048—2017自主可控軟件測(cè)試按照測(cè)試計(jì)劃、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行、測(cè)試結(jié)果評(píng)價(jià)四步驟進(jìn)行實(shí)施，每個(gè)步驟的產(chǎn)出物依次為測(cè)試計(jì)劃文檔、測(cè)試用例文檔、測(cè)試執(zhí)行記錄文檔和符合性評(píng)價(jià)報(bào)告：測(cè)試計(jì)劃要求包括：a)通過(guò)—失敗準(zhǔn)則，測(cè)試計(jì)劃應(yīng)指明用于判定測(cè)試結(jié)果是否證實(shí)軟件與產(chǎn)品說(shuō)明和用戶文檔的符合性準(zhǔn)則；b)測(cè)試環(huán)境，測(cè)試計(jì)劃應(yīng)規(guī)定將要進(jìn)行的測(cè)試所處的軟件測(cè)試環(huán)境；c)進(jìn)度，測(cè)試計(jì)劃應(yīng)規(guī)定每個(gè)測(cè)試活動(dòng)和測(cè)試?yán)锍瘫倪M(jìn)度；d)風(fēng)險(xiǎn)，測(cè)試計(jì)劃應(yīng)識(shí)別、更新并記錄測(cè)試活動(dòng)中存在的風(fēng)險(xiǎn)，并提供應(yīng)對(duì)措施；e)人力資源，測(cè)試計(jì)劃中應(yīng)明確每個(gè)測(cè)試活動(dòng)所需的人力資源情況；f)工具和環(huán)境資源，測(cè)試計(jì)劃中應(yīng)明確執(zhí)行測(cè)試活動(dòng)所需的工具；g)溝通，測(cè)試計(jì)劃中應(yīng)規(guī)定溝通機(jī)制和方式，以便在利益相關(guān)方之間共享測(cè)試文檔和測(cè)試項(xiàng)。測(cè)試用例要求包括：a)測(cè)試用例說(shuō)明，每個(gè)測(cè)試用例的說(shuō)明都應(yīng)包括：測(cè)試目標(biāo)、唯一性標(biāo)識(shí)符、測(cè)試的輸入數(shù)據(jù)和測(cè)試邊界、詳細(xì)實(shí)施步驟、系統(tǒng)的預(yù)期行為、測(cè)試用例的預(yù)期輸出、用于判斷測(cè)試用例肯定或b)測(cè)試用例應(yīng)對(duì)測(cè)試準(zhǔn)備、開(kāi)始和執(zhí)行所必須的動(dòng)作、停止和最終重新啟動(dòng)測(cè)試的條件和動(dòng)作進(jìn)行說(shuō)明；c)為提供測(cè)試的可重復(fù)性和可再現(xiàn)性，測(cè)試用例應(yīng)足夠詳細(xì)。測(cè)試執(zhí)行記錄要求包括：a)測(cè)試記錄應(yīng)包括測(cè)試用例結(jié)果的全部匯總；b)測(cè)試執(zhí)行記錄應(yīng)證實(shí)已按測(cè)試計(jì)劃執(zhí)行了所有測(cè)試用例；c)對(duì)于每個(gè)測(cè)試用例，測(cè)試執(zhí)行記錄應(yīng)包括測(cè)試用例標(biāo)識(shí)符、測(cè)試執(zhí)行日期、實(shí)施測(cè)試人員姓名和職責(zé)、測(cè)試用例執(zhí)行的結(jié)果和發(fā)現(xiàn)的異常清單等。7.4符合性評(píng)價(jià)報(bào)告要求符合性評(píng)價(jià)報(bào)告要求可依據(jù)6.9中相關(guān)內(nèi)容要求。8認(rèn)