1、深圳博物館新館數字化博物館項目驗收測試方案 驗收測試方案中國軟件評測中心二九年三月 目錄第一部分 測試計劃41.1項目目的41.2項目原則51.3依據標準51.3.1用戶文檔51.3.2測試技術標準規范61.4項目組織61.4.1項目特點分析61.4.2項目組織71.4.3項目實施過程81.4.4人員投入91.4.5項目周期計劃101.5測試評估101.5.1性能測試評估101.5.2其它測試項測試評估101.6測試配合121.7項目輸出成果121.8測試報價13第二部分 測試服務152.1信息應用系統驗收測試152.1.1概述152.1.2測試項目及方法說明152.1.2.1功能測試152.

2、1.2.2安全性測試192.1.2.3可靠性測試192.1.2.4性能測試212.1.2.5兼容性測試242.1.2.6易用性測試252.1.2.7可擴展性測試262.1.2.8用戶文檔測試262.1.3測試工具說明282.1.4測試環境說明29第三部分 測試管理303.1資源管理303.1.1人員安排303.1.2測試環境管理303.1.3測試資源管理313.2項目管理323.2.1過程管理和控制323.2.1.1原始測量數據的采集323.2.1.2測量數據的統計分析333.2.1.3測量數據的報告機制353.2.1.4測量數據的統計方法353.2.2項目溝通與協調413.2.3項目配置管理

3、443.2.4質量管理與控制473.2.5需求管理與變更503.2.6風險控制523.3文檔管理543.3.1業主提供文檔管理543.3.2集成商提交文檔管理553.3.3測試過程中產生文檔管理56第四部分 信息網絡系統測試584.1概述584.2采用標準584.3測試項目及方法說明604.3.1接地電阻測試604.3.2電能質量測試614.3.3防靜電測試624.3.4工程電氣性能測試624.3.5光纖特性測試634.3.6網絡安全和管理功能復核測試634.3.7網絡安全防護和網絡管理設備自身安全性測試644.3.8網絡設備、存儲設備和服務器設備安全性測試644.3.9網絡吞吐量測試654.

4、4測試工具說明66第五部分 硬件設備配置核查735.1網絡信息化支撐平臺735.2文化遺產數據中心755.3文化遺產數字采集系統785.4多媒體展示與觀眾服務系統81第六部分 相關案例介紹826.1國家部委、省市重點項目826.2科研課題866.3行業案例88第一部分 測試計劃1.1項目目的 驗收測試的主要目的是為信息系統工程項目提供質量保證，它是確保項目成功和雙方利益重要手段，保證系統質量和可靠性的關鍵步驟，是對系統開發過程中的系統分析系統設計和實施的最后復查。在驗收測試中，第三方專業評測機構按照gbt 17544 軟件包質量測試和要求以及用戶需求，站在中立的地位，對信息系統工程項目進行全面

5、驗收評估，形成驗收測試報告并提交雙方確認。通過系統、專業的驗收測試，評估軟件系統對設計需求的符合性，功能實現的正確性以及運行安全和性能的可靠性，全面保障信息系統工程質量。中國軟件評測中心作為中國最權威的第三方專業軟件評測機構，在軟件和應用系統測試領域具有豐富的經驗，成功地承擔了國家部委、地方政府部分以及相關行業的測試項目。對信息系統建設質量進行嚴格把關，為推動政府信息化事業發展貢獻最大的力量。在信息化系統建設過程中，中國軟件評測中心具有廣泛行業背景、豐富測試經驗、完善測試資源等優勢。中國軟件評測中心希望能夠將成熟的團隊和豐富的測試經驗用于本次項目中，為xxxx項目服務。 1.2項目原則為達到項

6、目組織與實施的嚴謹性、嚴密性和嚴肅性，做到委托方、第三方測試機構、開發商、系統集成商、應用系統使用單位等多方的滿意，項目應遵循如下原則開展：1) 嚴謹、客觀、公正、公平、公開；2) 標準統一、規則統一、減少人為干預；3) 以事實為依據、實事求是，量化客觀，減少主觀評判；4) 委托方、第三方測試機構組織、開發商配合。 為了達到上述目的，中國軟件評測中心將在下述原則之下開展工作：1) 委托原則：中國軟件評測中心與委托方簽訂書面的本項目測試委托合同，開展本項目的測試工作；2) 獨立公正原則：中國軟件評測中心將公正、獨立、自主地開展測試工作，竭誠為委托方服務，不受其他任何第三方的干擾；3) 依法原則：

7、中國軟件評測中心的測試活動應符合國家現行的有關強制性標準、規范和規定；4) 回避原則：中國軟件評測中心不從事與本項目有關的其他任何業務，作為公正、獨立的第三方測試機構，對本項目的開發商在業務上以及核心技術上不構成競爭關系，并且一旦中國軟件評測中心承擔測試工作，將不直接與任何參測企業有任何直接聯系；5) 保密原則：中國軟件評測中心對在測試過程中所涉及的有關本項目財務以及技術方案等方面的資料嚴格保密。1.3依據標準1.3.1用戶文檔 1.3.2測試技術標準規范n gb/t 175441998 信息技術 軟件包 質量要求和測試n gb/t 162602006 軟件工程 產品質量n gb/t 1890

8、52002 軟件工程 產品評價n gb/t 85672006 計算機軟件文檔編制規范n cstcjsbz02應用軟件產品測試規范n cstcjsbz03軟件產品測試評分標準 1.4項目組織1.4.1項目特點分析1) 為了配合委托方的工作，評測中心承擔相關項目的測試工作將在測試管理中重點考慮測試時間和測試質量的結合，將根據驗收測評服務協議中的要求，按時完成測試任務，合理調整投入的人力資源，同時合理安排測試工作時間，做到優質高效。2) 為了保證委托方項目的建設質量，測試質量無疑是測試工作的重點，為了保證測試質量，評測中心針對該項目成立了質量控制組和項目監督組，負責測試過程中的質量監督工作。3) 在

9、本次項目測試工作過程中需要委托方、監理方、開發方和測試方的共同參與，項目的協調和工作的配合很重要，為此評測中心將配備經驗豐富的項目經理管理和協調該項目。4) 本次測試為了更加滿足業務需要，測試人員將嚴格按照需求進行測試，并對開發方和測試方有爭議的問題提交委托方，進行最后需求確認。5) 根據深圳博物館新館數字化博物館項目的重要性和特殊性，充分考慮到項目的特點，中心將投入相關經驗的測試工程師，提高測試組的整體實力。1.4.2項目組織1) 中國軟件評測中心在接受該項目的測試委托任務后，將成立專門的測試項目組負責相關的測試工作。該項目組采用項目經理負責制，項目經理直接接受中國軟件評測中心測試中心主任的

10、領導，并接受科技質量部的質量監督和審查；2) 項目經理接受委托方的監督，負責整個項目的測試過程進度、質量控制，負責協調安排測試資源，負責向委托方領導和評測中心領導匯報測試情況；3) 項目經理下設功能測試組、性能測試組、文檔工作組以及質量控制組： n 功能測試組：負責該應用系統的功能、安全可靠性、易用性、兼容性、用戶文檔等質量特性測試，并對項目經理負責；n 性能測試組：負責系統的負載壓力性能測試，并對項目經理負責；n 文檔工作組：負責本項目測試過程中，所有測試文檔的管理、控制和審核等；n 質量監督組：負責本項目測試過程中的測試質量監督和檢查，直接對測試項目經理負責，并受科技質量部的指導，有權停止

11、測試，并對出現的質量問題的糾正提供建議。1.4.3項目實施過程1) 項目組與委托單位進行詳細的測試需求溝通，確定具體的測試需求；2) 項目組根據測試需求制定相應的測試方案和測試實施規范；3) 測試實施規范由項目經理組織相關人員進行技術評審；4) 評審通過后，項目組進行測試環境配置或確認工作；5) 測試環境確認后，項目組開始實施具體測試工作，并負責測試結果的確認工作，測試結束后項目組形成初步測試問題單；6) 項目經理組織質量監督員及必要的技術人員對初步問題報告單進行審核，出現錯誤要求測試工程師進行重測或補測；7) 開發單位根據項目組提交的測試問題單進行被測軟件的修改工作；8) 項目組對修改后的產

12、品進行回歸測試，并根據回歸測試情況出具初步的測試報告，提交評測中心質量總監進行審核；9) 質量總監審核結束后，項目組出具并提交產品最終測試報告。1.4.4人員投入根據目前本項目實際情況，我們擬在數字化博物項目中包含的文化遺產數據中心、文化遺產數字化采集系統、多媒體展示與觀眾服務系統、深圳博物館網站系統、藏品綜合業務管理系統、專業數字化系統、行政辦公自動化系統、數字博物館綜合管理系統等八大應用系統的分別組織測試人員進行驗收測試，并在單個系統測試中預計投入以下人員（具體實施時人員可根據項目情況進行調整）：人員名稱數量所屬備注項目經理1項目經理功能測試工程師2功能測試組性能測試工程師1性能測試組質量

13、監督人員1質量監督組質量總監1科技質量部1.4.5項目周期計劃根據本次測試的情況分析，本項目預計包括8個應用信息系統，每個系統的驗收測試按照以下階段進行，時間安排大致如下： 工作內容時間（工作日）制定測試方案、測試規范制定2測試環境確認和配置、測試實施10提交測試報告3單系統測試合計15項目測試總計1201.5測試評估1.5.1性能測試評估確定在系統交易高峰期與日常業務運行期間各項指標值是否滿足需求，主要指標包括： 系統并發用戶數； 系統服務器處理請求的能力； 系統交易平均響應時間； 中間件資源使用； 數據庫資源使用。1.5.2其它測試項測試評估軟件功能測試中，將軟件出現的問題劃分為三個等級：

14、嚴重、一般、建議。具體說明如下：1)嚴重。軟件出現以下現象的問題為嚴重錯誤：應用程序造成系統死機；應用程序崩潰或出現異常退出；應用程序無響應（5分鐘（含）以上）；應用程序造成用戶數據不能保存、保存后丟失或毀壞；不能正確實現用戶數據的新增、修改及刪除功能；不能正確實現系統維護、流程配置、數據字典管理等系統管理功能；不能正確實現用戶權限控制；軟件功能實現不正確，導致業務流程無法實現；2)一般。軟件出現以下現象的問題為一般錯誤：功能實現不正確，但未導致該功能完全不能實現、業務流程無法流轉或流轉錯誤；軟件出現界面錯誤或錯別字信息；軟件給出的錯誤提示信息是錯誤或不明確的；未對應有的業務邏輯關系進行校驗；

15、出現偶發故障，且未導致數據丟失、毀壞；對用戶進行不合理或不必要的操作限制；未提供用戶文檔或用戶文檔出現錯誤；除嚴重和建議問題外的其他問題。3)建議。軟件出現以下現象的問題為建議改進錯誤：已經實現規范的功能要求，但使用不方便。1.6測試配合 測試方主要工作 編寫測試方案和測試規范； 協助委托方確定測試環境； 實施測試，提交測試問題單； 回歸測試、出具最終測試報告。 委托方主要工作 提供關于系統業務流程、系統需求、軟件使用手冊等方面技術支持； 提高或者搭建必要的測試環境； 對測試問題報告中提到的問題進行解釋和逐一確認； 當系統出現異常時，協助恢復系統。1.7項目輸出成果1、軟件測試方案軟件測試方案

16、指在正式測試實施開始前，對軟件測試項目所作的一個測試計劃和執行方案，主要包括測試目的、評測依據、評測管理、評測內容及方法、測試配合要求、測試結果、測試環境要求以及項目輸出成果等。2、測試問題報告測試問題報告指在測試實施完成后，測試工作組提交的一個軟件缺陷報告。主要內容包括問題的嚴重等級、問題產生的詳細操作過程及結果描述等。3、軟件測試報告軟件測試報告是由測試工作組提交的最終測試結果報告，主要內容包括對軟件功能及其它質量特性的綜合評價、測試要求的各項質量特性的具體等級評分、詳細測試結果描述以及軟件的測試環境描述等。1.8測試報價根據目前本類型項目測試的有關要求，結合本項目擬投入的測試人員安排，本

17、項目的報價核算如下（具體價格根據項目模塊的大小及系統功能復雜程度再進行協商）： 第二部分 測試服務2.1信息應用系統驗收測試2.1.1概述信息應用系統的質量水平、開發商的工程支持和維護能力，都是直接影響到系統能否保持持續穩定、可靠運行的大事。考慮到項目的重要性，為保障項目的建設質量，我們將對系統進行全面、系統、科學的質量驗收，在應用系統投入正式運營之前進行嚴格質量把關。驗收測試的主要內容包括：功能測試、安全性測試、可靠性測試、性能測試、兼容性測試、易用性測試、可擴展性測試、用戶文檔測試等幾方面。本次驗收測試將對項目中文化遺產數據中心、文化遺產數字化采集系統、多媒體展示與觀眾服務系統、深圳博物館

18、網站系統、藏品綜合業務管理系統、專業數字化系統、行政辦公自動化系統、數字博物館綜合管理系統等八大應用系統進行全方面的驗收測試。2.1.2測試項目及方法說明2.1.2.1功能測試 作為第三方獨立測試機構，功能測試主要采用的是黑盒測試方法。黑盒測試法應制訂覆蓋委托方提供的需求規格說明書和總體設計書中要求的全部功能點和主要業務流程的測試用例，通過測試用例的執行，分別對功能點和業務流程進行測試。1.1功能測試方法本次功能測試中采用黑盒測試策略，主要測試用例設計方法包括因果圖分析、等價類劃分、邊界值分析、錯誤推測法：1) 因果圖法：采用因果圖法，以委托方提供的需求規格說明書和總體設計書為依據設計業務功能

19、點測試案例；2) 等價類劃分法：對業務流程進行等價類劃分，測試用例應是業務主流程和流程主分支的最小集，所有的判別分支都能被覆蓋，在流程覆蓋的同時，完成等價功能的測試；3) 邊界值分析法在功能測試中，針對功能說明中的輸入輸出域，進行邊界值和極限值的設計和測試；4) 錯誤推測法：采用逆向思維方式，結合以往測試經驗和直覺設計軟件在功能和流程上可能存在的各種錯誤，進行容錯性測試。功能測試策略主要從以下方面考慮： 安裝如果軟件安裝由用戶來進行，則按照安裝手冊中的信息應能安裝成功。產品說明書中，給出的每個所需的配置在安裝程序時都應具備。安裝之后，程序是否運行應是可以鑒別的。例如，使用測試用例或通過相應的信

20、息自檢。 數據準備軟件內部應具有一定的數據量供測試使用。最好由廠商提供符合規范的測試數據作為數據準備，也可以由廠商提供數據導入格式，測試方使用該數據導入格式自行制作一定量的數據備測試使用。 功能表現在用戶文檔中提到的所有的功能都應能執行。程序應按照用戶文檔中的給定形式，在規定的邊界值范圍內使用相應的工具、資源和數據執行其功能。 正確性程序和數據應與產品說明書及用戶文檔的全部內容相對應。為完成工作任務程序功能應以正確的方式執行。特別是，程序和數據應符合產品說明書涉及的任何需求文檔的所有規定。 一致性程序和數據其本身內容不能自相矛盾，并且同產品說明書和用戶文檔也不能相互矛盾。每一術語應處處保持相同

21、的意思。由用戶進行的程序操作控制和程序的運行表現（例如：信息、屏幕錄入格式和打印報表）應有相同的結構。 用戶界面測試對用戶界面的布局、界面文字、操作步驟、操作方式、快捷方式進行測試和驗證，必要時候通過用戶調研或用戶測試，驗證用戶界面是否滿足用戶要求。1.2業務流程測試方法業務流程測試主要是在功能測試的基礎上，測試系統完成某項業務的能力。業務流程重點考查系統不同模塊、不同子系統之間的功能銜接、數據流向以及完成業務功能的正確性和便利性。我們按照以下原則進行流程測試：先測功能后測流程：業務流程測試是建立在功能點測試基礎上的。首先要保證流程測試涉及到的功能點實現正確，所以，流程測試安排在功能測試的后面

22、進行。先測主流程后測分支流程：主流程就是指按照正常情況實現的業務流程，分支流程指出現特殊情況后的業務流程。先測子系統內的流程后測跨子系統的流程：子系統內的流程測試隨子系統的功能測試進行，在子系統流程測試完成后，集中人力進行跨子系統的主流程的聯調測試。本系統中業務流程測試先針對各子系統各自的主業務流程和分支流程分別進行測試，然后對不同子系統之間的業務流及數據流進行測試。1.3功能覆蓋率分析對每個模塊的功能覆蓋率進行分析，首先測試用例對所有的業務流程、數據流以及核心功能點的覆蓋率達到100。其次，必須滿足用戶測試的需求。1.4測試內容本次測試將對以下應用系統中的相關功能進行測試： 2.1.2.2安

23、全性測試 安全性測試采用軟件測試當中的黑盒測試方法，對涉及安全的軟件功能，如：用戶管理模塊、權限管理模塊、加密系統、認證系統等進行測試，主要是驗證上述功能是否有效，具體方法請參見黑盒測試方法。2.1.2.3可靠性測試 可靠性是指產品在規定的條件下和規定的時間內完成規定功能的能力。例如針對某個軟件系統，主要的可靠性測試指標包括：1)屏蔽用戶操作錯誤：考察對用戶常見的誤操作的提示和屏蔽情況；2)輸入數據有效性檢查：系統對數據錄入的有效性檢查；3)錯誤提示的準確性：對用戶的錯誤提示準確程度；4)錯誤是否導致系統異常退出：有無操作錯誤引起系統異常退出的情況；5)異常情況的影響：在程序運行過程中進行掉電

24、或斷網試驗，考察數據和系統的受影響程度，若受損，是否提供補救工具，補救的情況如何；6)數據庫備份及恢復測試：系統是否提供數據備份和恢復手段，能否進行數據庫的備份和恢復。7)結合功能測試：對于用戶權限限制、用戶和密碼封閉性、數據備份與恢復手段、留痕功能等，系統安全性的測試可以結合功能測試完成，因為上述功能即是系統安全性考慮，同時也是系統的功能模塊； 8)留痕功能：系統是否有操作日志，操作日志記錄的操作情況的全面性和準確性，是否包括主要要素如操作員、操作日期、使用模塊等，是否具有日志查詢功能；9)采用統一身份認證，用戶能否操作不屬于其職權的其他子系統；10)外網能否不經過ca認證就可登錄該系統。

25、可靠性測試除了包括上述基本項外，重點的測試內容是數據可靠性和系統長時間無故障穩定運行，可通過以下種方法實施。1)結合功能測試：軟件可靠性與軟件本身的缺陷數量息息相關，因此結合功能測試尋找軟件缺陷，可以提高軟件系統可靠性，主要是系統的錯誤屏蔽、數據校驗能力和其他與功能相關的可靠性指標；2)模擬測試：通過模擬的手段模擬系統異常情況的出現，如：系統死機、系統掉電、網絡中斷、設備故障等情況，測試系統對于出現異常情況的預防和恢復措施。3)獨立處理能力：在某系統發生故障時具有能獨立運行的能力。4)數據可靠性測試：包括數據備份測試策略、災難恢復測試、備份與恢復速度。5)長時間無故障穩定運行：日常業務疲勞強度

26、測試就是模擬系統的日常業務，持續執行“一段時間”，暴露系統的性能問題，例如內存泄漏、資源爭用等，分析與調整的方法與并發性能測試是非常類似的。高峰業務疲勞強度測試就是模擬系統的高峰業務，持續執行“一段時間”，這樣的負載是對系統的雙重考驗，既包括負載壓力，又包括長時間。2.1.2.4性能測試 1性能測試方法綜述性能測試方法是在系統真實運行環境，基于重點事件優先的原則，設計業務執行效率測試用例，采用測試腳本回放的方法，仿真實現事務的處理過程，通過在單臺或多臺測試用機上執行多線程或多進程實現多用戶并發測試，或者基于批處理模式，加載一定規模的數據量，進行系統資源監控測試。測試包括執行效率、設備效率、網絡

27、效率。1)執行效率測試主要是測試在特定應用的業務邏輯、用戶界面、功能下系統能夠承受的用戶并發的數量和響應時間。上述測試可通過自動化的測試工具錄制具有一定代表意義的典型操作，并進行測試腳本編譯即可形成確定的測試案例，然后通過壓力測試工具，模擬多用戶同時循環進行這些業務操作，測試服務器事務處理平均響應時間、服務器90的事務處理平均響應時間、事務處理速率等相關參數，考察系統在各種情況下的性能表現。在具體測試過程中需要結合功能測試制定相應的測試案例，包括以下內容：測試腳本：選擇影響系統執行效率的功能模塊，錄制典型的業務流程腳本作為執行效率測試的基礎案例。測試腳本的制定方法，可以利用測試工具的“錄制”功

28、能錄制相應的測試腳本，也可以通過腳本編程語言進行腳本的編寫；并發用戶數量：分為負載測試和壓力測試，負載測試是指系統能夠承受的正常用戶并發數量；壓力測試是指系統能夠承受的最大用戶并發數量；并發方式：主要指用戶并發過程中與真實情況相似程度，包括并發用戶數量變化的方式、并發過程使用的真實客戶端數量、對于并發峰值的模擬等。2)設備效率主要指系統cpu占用率、內存占用率、磁盤占用率、輸入輸出效率等，包括軟件在不工作狀態下對于硬件資源的占用情況和進行業務處理過程中對于硬件資源的占用情況，包括數據庫服務器、應用服務器和客戶端等。通常操作系統均提供了監控端口，只要通過測試工具自動連接相應端口，即可實現監控系統

29、的設備效率，并結合執行效率進行相關測試。3)網絡效率主要指網絡吞吐量、網絡的使用頻度與帶寬占用。性能分析：通過執行和設備效率及網絡效率測試結果進行性能分析，找出可能影響性能的環節。2性能壓力測試實施策略測試實施可從以下幾個方面考慮：1)并發性能并發測試的過程，是一個負載測試和壓力測試的過程。即逐漸增加負載，直到系統的瓶頸或者不能接收的性能點，通過綜合分析交易執行指標和資源監控指標來確定系統并發性能的過程。并發性能測試的測試內容如下： 3)速度主要測試系統關鍵操作的效率，例如查詢信息速度、數據匯總統計的速度等。4)疲勞測試通常是采用系統穩定運行情況下能夠支持的最大并發用戶數，持續執行一段時間業務

30、，通過綜合分析交易執行指標和資源監控指標來確定系統處理最大工作量強度性能的過程。一般情況下利用疲勞強度測試來模擬系統日常業務操作。 2.1.2.5兼容性測試 兼容性測試檢測應用系統在不同的軟件和硬件配置中的運行情況。在大多數環境中，客戶機、網絡連接和數據庫服務器的具體硬件規格會有所不同，客戶機可能會安裝不同的軟件，而且在任何時候，都可能運行許多不同的軟件組合，從而占用不同的資源。主要適應性測試的內容有： 硬件兼容性：系統對不同型號硬件（如服務器、打印機、掃描儀等設備）的兼容程度。 軟件兼容性：考察系統與其他現有應用軟件的兼容性，如殺毒軟件、報表軟件等。 數據兼容性：符合需求說明書的數據標準要求

31、，在保證系統和數據安全的前提下，能夠方便地與其他現有的系統實現數據交換和共享。2.1.2.6易用性測試 1測試方法：該質量特性與軟件本身的功能缺陷是息息相關的，因此在利用功能測試的結果去分析是得到其他質量特性的主要方法。 對于軟件易用性測試，主要利用評估的方式，有經驗的測試人員以用戶需求說明為準則，按不同的評估項內容給出評價。7.2測試內容主要包括： 易安裝性：安裝的難易程度，符合流行安裝模式； 用戶界面的友好性：界面的簡潔性如何，與人事和物流管理實際業務流程的相符程度如何，界面風格一致性； 易學習性：相對一般操作人員來說，學習使用的難度如何，對操作人員有何要求； 易操作性：操作的難易程度，對

32、主要或常用功能應該提供快捷方式； 聯機幫助豐富性：考察聯機幫助的準確性、全面性，在關鍵操作時使用聯機幫助的方便性。2.1.2.7可擴展性測試 1測試方法：該質量特性與軟件本身的功能缺陷是息息相關的，因此在利用功能測試的結果去分析是得到其他質量特性的主要方法。 對于軟件可擴展性測試，主要利用評估的方式，有經驗的測試人員以用戶需求說明為準則，按不同的評估項內容給出評價。2測試內容主要包括： 硬件擴展充能力：系統可適應增加硬件。 軟件擴展能力：具備支持業務流程的參數化配置和業務功能的重組與更新，在不影響系統原有業務流程的情況下可實現對新業務的靈活增加。 業務規模擴展能力：系統是否可以處理更多機構、更多用戶的能力。 系統