1、系統(tǒng)測試進階 肖睿xiaorui999內(nèi)容C/S系統(tǒng)測試C/S系統(tǒng)測試方法C/S系統(tǒng)測試的步驟C/S系統(tǒng)測試工具2C/S系統(tǒng)測試什么是C/S系統(tǒng)計算機體系結(jié)構(gòu)的發(fā)展歷史主機系統(tǒng)PC機器C/S系統(tǒng)(客戶機/服務(wù)器系統(tǒng))多層結(jié)構(gòu)、B/S系統(tǒng)功能/計算、數(shù)據(jù)的演化集中-分離-分布3C/S系統(tǒng)測試什么是C/S系統(tǒng)結(jié)構(gòu)：廣義的C/S系統(tǒng)數(shù)據(jù)一般使用數(shù)據(jù)庫管理，放在Server端表示層或者用戶界面一般使用GUI或者Web技術(shù)，放在Client端業(yè)務(wù)邏輯一般分布在Server端和Client端Client與Server一般是獨立的機器，使用LAN或者Internet聯(lián)接多個操作系統(tǒng)平臺，多個Client，一

2、個或者多個Server4C/S系統(tǒng)測試什么是C/S系統(tǒng)優(yōu)勢提升系統(tǒng)性能，減少用戶等待時間集中、共享計算能力集中、共享數(shù)據(jù)減少網(wǎng)絡(luò)負載支持多用戶并發(fā)訪問提升系統(tǒng)靈活性擴展容易修改靈活具備容錯能力和恢復(fù)能力易于擴展計算能力和數(shù)據(jù)分布能力硬件擴展支持異構(gòu)系統(tǒng)單獨升級數(shù)據(jù)可以分布并冗余計算可以分布并冗余機器硬件可以分布并冗余異構(gòu)系統(tǒng)5C/S系統(tǒng)測試什么是C/S系統(tǒng)開發(fā)技術(shù)常用Client端開發(fā)工具PB/VB/Delphi，也有VC/Developer一般使用組件技術(shù)，并具備強大的數(shù)據(jù)庫聯(lián)接能力事件驅(qū)動，可視化編程，對象編程，RAD開發(fā)方法常用Server端數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫：Oracle/DB2/Sy

3、base/SQL Server支持SQL和ODBC支持事務(wù)處理、安全機制、并發(fā)訪問、數(shù)據(jù)分布6C/S系統(tǒng)測試C/S系統(tǒng)測試與傳統(tǒng)測試的比較目標一致為了盡早發(fā)現(xiàn)盡可能多的錯誤對“錯誤”的理解的一個誤區(qū)：易用性和用戶界面美觀是不重要的在使用用戶界面上的時間和頻度方面，用戶比開發(fā)人員或者測試人員要多得多；在技術(shù)難度不大的地方或者表面上不重要沒有精心設(shè)計，那么這些錯誤對用戶的影響會越來越大，直至最終掩蓋了應(yīng)用程序的優(yōu)勢。例如：消費類產(chǎn)品的精心設(shè)計為產(chǎn)品和過程度量提供數(shù)據(jù)7C/S系統(tǒng)測試C/S系統(tǒng)測試與傳統(tǒng)測試的比較C/S系統(tǒng)的測試難度更大1、計算與數(shù)據(jù)分布，導(dǎo)致并發(fā)和安全問題，使場景復(fù)雜2、使用事件驅(qū)

4、動和組件技術(shù)設(shè)計的GUI界面使得測試路徑趨近無窮，測試場景復(fù)雜8C/S系統(tǒng)測試C/S系統(tǒng)測試與傳統(tǒng)測試的比較C/S系統(tǒng)的測試難度更大3、使用對象編程技術(shù)使得對象之間的依賴和繼承關(guān)系復(fù)雜，錯誤修改引起的連鎖反應(yīng)增大4、使用對象和組件技術(shù)使得系統(tǒng)對第三方組件/類庫依賴增強，在質(zhì)量和技術(shù)上存在風(fēng)險9C/S系統(tǒng)測試C/S系統(tǒng)測試與傳統(tǒng)測試的比較C/S系統(tǒng)的測試難度更大5、文檔問題系統(tǒng)本身復(fù)雜，導(dǎo)致文檔內(nèi)容復(fù)雜使用了RAD開發(fā)方式，導(dǎo)致文檔不詳細多系統(tǒng)，導(dǎo)致文檔術(shù)語難以統(tǒng)一10C/S系統(tǒng)測試C/S系統(tǒng)測試與傳統(tǒng)測試的比較C/S系統(tǒng)的測試難度更大6、多系統(tǒng)、多語言使得錯誤的隱蔽性和數(shù)量增大，測試環(huán)境的搭建

5、更加困難，測試人員的技術(shù)要求更加全面普通文件 v.s. 數(shù)據(jù)庫系統(tǒng)難于直接控制數(shù)據(jù)：數(shù)據(jù)獨立并通過接口訪問；內(nèi)置安全機制和應(yīng)用層安全機制混合在一起單機 v.s. 網(wǎng)絡(luò)硬件之間和軟件之間的通訊通過網(wǎng)絡(luò)和上面的協(xié)議多硬件、多軟件、多數(shù)據(jù)庫、多協(xié)議標準、多語言失效、不匹配可能性增大多開發(fā)人員協(xié)調(diào)一致難度比較大11C/S系統(tǒng)測試C/S系統(tǒng)測試與傳統(tǒng)測試的比較C/S系統(tǒng)的測試難度更大7、高度依賴于第三方系統(tǒng)第三方產(chǎn)品的穩(wěn)定性不能保證多廠商帶來的復(fù)雜性和管理問題廠商之間的版本影響(DLL Hell)廠商之間的版本更新組合情況復(fù)雜PM是一個總承包商，廠商之間踢皮球12C/S系統(tǒng)測試C/S系統(tǒng)測試與傳統(tǒng)測試的

6、比較C/S系統(tǒng)的測試難度更大8、測試歷史數(shù)據(jù)和針對性的測試方法匱乏可供參照的樣板少系統(tǒng)多樣，可重復(fù)性比較小技術(shù)比較新，可參考樣板少，有經(jīng)驗的組織和個人比較少13內(nèi)容C/S系統(tǒng)測試C/S系統(tǒng)測試方法C/S系統(tǒng)測試的步驟C/S系統(tǒng)測試工具14C/S系統(tǒng)測試C/S系統(tǒng)測試的具體目標1、檢查系統(tǒng)是否達到公布的功能說明功能范圍要在項目開始之前確定，中途如果修改，重新修改項目計劃和預(yù)算功能說明需要逐步完善，盡可能地將用戶的期望寫入公布的功能說明JAD方式保證用戶參與設(shè)計和確認，并降低最后驗收的風(fēng)險RAD方式幫助用戶表達和反饋對于系統(tǒng)的意見功能的改變盡早提出越到開發(fā)后期，功能改變越要謹慎，代價也越大15C/

7、S系統(tǒng)測試C/S系統(tǒng)測試的具體目標2、檢查是否滿足性能要求用戶永遠比開發(fā)人員更加關(guān)注性能用戶要成年累月地面對性能的困擾不要試圖與用戶玩文字游戲例如：某個窗口在1秒內(nèi)可用(實際上，只有窗口10%內(nèi)容在1秒內(nèi)顯示，其他內(nèi)容還要等1分鐘)用戶是甲方用戶可能當(dāng)時無話可說，但是滿意度下降，信任度下降，容忍度下降用戶一定會在其他的地方找出本來可以忽略的毛病，并揪住不放如果用戶忘記提到某一條性能(實際上是開發(fā)人員“忘記”提問)，開發(fā)人員不要認為這是一件好事情，最后會造成更大的麻煩用戶新里面一定會有沒有說出來的性能期望用戶是甲方16C/S系統(tǒng)測試C/S系統(tǒng)測試的具體目標3、檢查是否能夠處理要求的負載除非做充分

8、的性能測試、負載測試、壓力測試和疲勞測試，否則沒有人能夠預(yù)測系統(tǒng)的負載到底如何小負載的運行性能和功能表現(xiàn)與大負載下的性能和功能表現(xiàn)經(jīng)常不同資源限制多用戶并發(fā)、長時間、大量訪問數(shù)據(jù)量巨大17C/S系統(tǒng)測試C/S系統(tǒng)測試的具體目標4、檢查在要求的各種軟硬件平臺上是否有錯測試試驗室各種軟硬件設(shè)備、技術(shù)全面的測試人員不同硬件、軟件、網(wǎng)絡(luò)平臺每個客戶端可能的不同軟件環(huán)境安裝其他工作需要使用的軟件版本不同Office、eMail18C/S系統(tǒng)測試C/S系統(tǒng)測試的原則原則：全面不要假設(shè)沒有問題，必須測試之后才能說沒有問題19C/S系統(tǒng)測試C/S系統(tǒng)測試的方法常見錯誤測試計劃和測試方案需要關(guān)注的地方常見的測試

9、點設(shè)計測試用例需要關(guān)注的地方20C/S系統(tǒng)測試C/S系統(tǒng)測試的常見錯誤1、功能性錯誤只要列在需求中的功能在最終系統(tǒng)中沒有達到，就屬于功能性錯誤包括因為過程中的指導(dǎo)發(fā)生了信息模糊或者矛盾方法：依照系統(tǒng)需求逐項測試確認21C/S系統(tǒng)測試C/S系統(tǒng)測試的常見錯誤2、系統(tǒng)錯誤原因存在于開發(fā)的C/S系統(tǒng)之外，對C/S系統(tǒng)的運行產(chǎn)生影響的錯誤例如：操作系統(tǒng)錯誤、中間件錯誤、DLL錯誤、驅(qū)動程序錯誤、硬件錯誤、網(wǎng)絡(luò)設(shè)備錯誤難點：隔離并確認錯誤發(fā)生的地點導(dǎo)致供應(yīng)商踢皮球；即使承認，解決問題也需要時間，并且會給系統(tǒng)帶來新的不穩(wěn)定方法：1、盡量在開始設(shè)計的時候考慮周全，并考察供應(yīng)商資格和服務(wù)2、繞過這個問題3、請

10、廠商修改系統(tǒng)4、更換廠商22C/S系統(tǒng)測試C/S系統(tǒng)測試的常見錯誤3、通訊錯誤存在于C/S系統(tǒng)之外的，各個層之間通訊問題產(chǎn)生的錯誤包括硬件，包括同層例如網(wǎng)卡壞了電纜接觸不良通訊軟件或者驅(qū)動程序自身錯誤用戶權(quán)限不夠地址問題路由器等通訊設(shè)備損壞私有協(xié)議錯誤是一種特殊的系統(tǒng)錯誤，分離出來的原因通訊非常關(guān)鍵通訊錯誤非常普遍23C/S系統(tǒng)測試C/S系統(tǒng)測試的常見錯誤4、邏輯錯誤設(shè)計錯誤，考慮不全面或者理解錯誤與傳統(tǒng)測試中遇到的問題一樣24C/S系統(tǒng)測試C/S系統(tǒng)測試的常見錯誤5、用戶界面錯誤用戶界面不一致同一個界面之內(nèi)；同一個模塊/產(chǎn)品之內(nèi)；同一個系統(tǒng)之內(nèi)本地化問題不支持本地化、部分本地化、本地化錯誤信

11、息模糊或者矛盾信息顯示不全操作路徑復(fù)雜、模糊25C/S系統(tǒng)測試C/S系統(tǒng)測試的常見錯誤6、數(shù)據(jù)錯誤SQL簡單/強大，但是技巧多/風(fēng)險大，直接涉及數(shù)據(jù)更改開發(fā)人員培訓(xùn)SQL，并設(shè)置編碼規(guī)范互相檢查代碼小組內(nèi)設(shè)置SQL專家把關(guān)SQL中的檢查點是否檢查了查詢的返回錯誤值，包括Select仔細檢查使用Delete和Update的地方仔細檢查存儲過程和觸發(fā)器聚合函數(shù)的使用陷阱：不單獨列出每一個記錄其它：如年齡的計算方法數(shù)據(jù)庫本身的檢查點Schema命名機制：變量作用域安全性策略的設(shè)置和檢查多個數(shù)據(jù)庫使用中，日期表示的不同特點26C/S系統(tǒng)測試C/S系統(tǒng)測試的常見錯誤7、編碼錯誤編程錯誤，壞的編程習(xí)慣變量

12、初始化、變量名字類似/錯誤使用與傳統(tǒng)測試中遇到的問題一樣數(shù)據(jù)類型和移植問題多系統(tǒng)一致性計算能力遷移27C/S系統(tǒng)測試C/S系統(tǒng)測試的常見錯誤8、測試錯誤軟件錯誤模型偏差開發(fā)語言和平臺的更換開發(fā)團隊/開發(fā)規(guī)范的變化軟件業(yè)務(wù)領(lǐng)域的變化測試策略問題殺蟲劑怪事蟲子聚窩蟲子裝死、變異28C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點1、輸入合法性檢查必要性小概率錯誤一定會發(fā)生一個小概率錯誤與一個大概率或者嚴重錯誤往往是同一個產(chǎn)生原因方法代碼中的錯誤處理分支數(shù)據(jù)庫中的約束、存儲過程/觸發(fā)器29C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點2、路徑測試類似于白盒測試技術(shù)中的路徑概念C/S系統(tǒng)的完全路徑測試是不現(xiàn)實的使用

13、基本測試路徑方法30C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點3、事務(wù)測試事務(wù)設(shè)計角度：一個獨立的工作單位數(shù)據(jù)庫角度：一個全部執(zhí)行/不執(zhí)行的SQL集合用戶角度：一個完全成功/取消的操作容易出錯的事務(wù)處理在一個表中修改記錄，但是同時更新多個表；或者直接更新多個表影響到表關(guān)系的修改操作(比如：刪除一個主鍵)測試點(測試用例設(shè)計)：輸入合法的完整的記錄，檢查事務(wù)是否正確執(zhí)行輸入合法的完整的記錄，在完成之前放棄操作，檢查表沒有被更改輸入一個記錄并故意漏掉一個數(shù)據(jù)項，檢查表沒有被更改輸入一個記錄并故意有一個不合法數(shù)據(jù)項，檢查表沒有被更改輸入一個記錄并使它的引用不存在，檢查表沒有被更改事務(wù)中是否包含不確定的

14、耗時操作，會導(dǎo)致并發(fā)失敗、性能下降比如：等待用戶輸入31C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點4、循環(huán)測試路徑測試32C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點5、邊界值測試取臨界數(shù)據(jù)或者操作作為測試用例33C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點6、日期測試潤年計算、星期幾計算日期+/-數(shù)字、日期+/-日期日期格式：01/12/99 vs 31/12/99時區(qū)、時制34C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點7、導(dǎo)入導(dǎo)出測試輸出輸出設(shè)備不正確、繁忙、沒有空間等情況導(dǎo)入/導(dǎo)出文件類型不匹配導(dǎo)入文件損壞或者內(nèi)容不正確當(dāng)字符集表示方法不同時，能否正確處理數(shù)據(jù)恢復(fù)機制尤其是系統(tǒng)升級的時候35C/S系

15、統(tǒng)測試C/S系統(tǒng)測試的常見測試點8、安全性測試鎖使誠實的人表現(xiàn)出誠實；防君子不防小人；道高一尺，魔高一丈在應(yīng)用程序中，用戶是否被正確所定在訪問路徑和訪問窗口中在應(yīng)用程序或者操作系統(tǒng)中，用戶是否可能直接訪問數(shù)據(jù)庫文件在數(shù)據(jù)庫管理中，用戶是否被賦予了不適當(dāng)?shù)臋?quán)限開發(fā)人員是否留了后門更多地依賴于代碼審核和管理病毒檢查平臺或者第三方系統(tǒng)本身的安全問題系統(tǒng)的已公布缺陷是否處理是否打補丁了使用Tiger組：安全專家/黑客高手36C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點9、Login/Logoff測試是否正確記錄登錄和退出日志對于多次登錄失敗的警告機制口令強制修改措施的正確執(zhí)行每次顯示上次登錄記錄空閑終端退

16、出注意空閑條件判斷，如：屏幕保護程序是否符合規(guī)定的License要求37C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點10、日志測試是否正確記錄日志內(nèi)容日志文件滿、被刪除、損壞、內(nèi)容錯誤、訪問權(quán)限錯誤的正確處理日志文件的安全和訪問權(quán)限38C/S系統(tǒng)測試C/S系統(tǒng)測試的常見測試點1、輸入合法性檢查2、路徑測試3、事務(wù)測試4、循環(huán)測試5、邊界值測試6、日期測試7、導(dǎo)出測試8、安全性測試9、Login/Logoff測試10、日志測試39內(nèi)容C/S系統(tǒng)測試C/S系統(tǒng)測試方法C/S系統(tǒng)測試的步驟C/S系統(tǒng)測試工具40C/S系統(tǒng)測試的步驟1、計劃測試工作2、測試設(shè)計和測試用例跟蹤3、缺陷報告和管理4、效果評估4

17、1C/S系統(tǒng)測試的步驟1、計劃測試工作與傳統(tǒng)測試相比，還要：注意多系統(tǒng)、多廠商的協(xié)調(diào)建立測試實驗室，注意測試資源(尤其是軟件/硬件資源)的配備和管理使用盡可能多樣的系統(tǒng)組合關(guān)注性能測試尤其關(guān)注SQL只有20%的性能優(yōu)化來自與數(shù)據(jù)庫管理需要大量的數(shù)據(jù)SQL正確性需要小數(shù)據(jù)庫，性能測試需要大數(shù)據(jù)庫42C/S系統(tǒng)測試的步驟2、測試設(shè)計和測試用例跟蹤與傳統(tǒng)測試相比，還要：注重8種錯誤類型和10個測試點使用數(shù)據(jù)生成工具和性能測試工具43C/S系統(tǒng)測試的步驟3、缺陷報告和管理與傳統(tǒng)測試相比，還要：注意記錄當(dāng)時的系統(tǒng)/網(wǎng)絡(luò)狀態(tài)注意記錄當(dāng)時的數(shù)據(jù)庫和本機狀態(tài)注意缺陷的分離、重現(xiàn)和優(yōu)化44C/S系統(tǒng)測試的步驟4

18、、效果評估與傳統(tǒng)測試相比，還要：注意版本提交控制和配置管理45內(nèi)容C/S系統(tǒng)測試C/S系統(tǒng)測試方法C/S系統(tǒng)測試的步驟C/S系統(tǒng)測試工具46C/S系統(tǒng)測試工具C/S系統(tǒng)測試工具多樣性用于早期測試與晚期測試用于不同平臺測試用于不同測試內(nèi)容用于項目經(jīng)理、QA人員、測試人員、開發(fā)人員用于服務(wù)器和用于工作站47C/S系統(tǒng)測試工具C/S系統(tǒng)測試工具主要功能1、計劃和管理包括項目管理、缺陷管理、測試用例管理、文檔與流程管理2、源代碼控制甚至配置管理3、調(diào)試器4、面向?qū)ο蟮臏y試5、測試數(shù)據(jù)庫對象48C/S系統(tǒng)測試工具C/S系統(tǒng)測試工具主要功能6、測試向?qū)?、自動測試用例生成8、數(shù)據(jù)/數(shù)據(jù)庫生成器9、標準測試

19、用例包SQL語言通訊協(xié)議10、捕獲、回放與比較無人照料的測試疲勞測試49C/S系統(tǒng)測試工具C/S系統(tǒng)測試工具主要功能11、模擬負載測試12、模擬并發(fā)測試13、監(jiān)視程序14、剖析測試15、內(nèi)存泄漏測試50C/S系統(tǒng)測試工具C/S系統(tǒng)測試工具主要優(yōu)點1、測試流程和數(shù)據(jù)的標準化、規(guī)范化有助于測試強制性2、與項目計劃、開發(fā)計劃集成3、測試用例、缺陷報告、缺陷分析與測試計劃集成4、測試文檔管理5、缺陷跟蹤和管理、測試評估51C/S系統(tǒng)測試工具C/S系統(tǒng)測試工具主要優(yōu)點6、測試腳本和測試用例可以重復(fù)使用、重新編輯7、測試數(shù)據(jù)與測試過程/腳本分離8、適合回歸測試與壓力測試、負載測試、疲勞測試9、觀察程序內(nèi)部信息對象屬性、方法內(nèi)部數(shù)據(jù)變化52C/S系統(tǒng)測試工具C/S系統(tǒng)測試工具主要缺點1、費用風(fēng)險購買費用學(xué)習(xí)和培訓(xùn)費用設(shè)計費用：包括腳本生成修改費用：尤其是版本功能或者結(jié)構(gòu)變化技術(shù)風(fēng)險：測試工具本身的錯誤2、集成問題流程和方法論與具體項目的結(jié)合53C/S系統(tǒng)測試工具C/S系統(tǒng)測試工具主要缺點3、銀彈風(fēng)險沒有銀彈給管理者和項目組不切實際的期望尤其是管理者買了工具就能保證質(zhì)量嗎？4、測試套件一般的同一個廠商工具套件之間聯(lián)系非常緊密不同廠商之間沒有統(tǒng)一