之前我們說了很多ET的過程以及怎么去做ET,也說過ET和ST的關系,是怎么來用在我們的項目過程中的,但很多人對于ET能發現的bug類型有很大的好奇,認為ET能發現什么樣的bug,是不是很嚴重,是不是很難發現,是不是效率很高,這次我們就來說說,ET和ST之間的生產率比較。
首先說明的是這個生產率比較是某個大學的研究成果,有一些基本的條件,比如實驗者,選擇的實驗的產品,實驗者的經驗等等。這里不詳細說明這個,也不說明過程(其中遇到很多的挑戰),只說下結果,讓大家了解下。
說一個關鍵的條件(對于bug,研究方之前就分開了已知和未知bug)總體過程:
Phase | Group 1 | Group 2 |
Preparation | 對于feature A寫測試用例 | 對于feature B寫測試用例 |
Testing Session 1 | 對于feature A做ST | 對于feature A做ET |
Testing Session 2 | 對于feature B做ET | 對于feature B做ST |
對于Testing Session 再說明下:
Phase | 時間 | 描述 |
Session Setup | 15 min | 看產品的介紹和指導書或做些基本準備工作 |
Functional Testing | 90 min | 專注于ET或ST和報bug |
bug report | 10 min | 對于所報bug和log寫report |
(1) 發現的bug總數
Testing approach | Feature set | Bug 總數 |
ET |
A |
44 |
B | 41 | |
Total | 85 | |
ST |
A |
43 |
B | 39 | |
Total | 82 |
這里面的結論是:對于已知bug(研究者故意注入在產品中的bug)來說,使用ET或ST方法在發現bug總數上沒有區別;但ET卻可以發現更多的未知bug。
(2) Bug發現難度,類型和嚴重程度
Mode | ET | ST | ET/ST | Bug 總數 |
0=easiest123=hardest |
120 |
93 | 129% | 213 |
327 | 320 | 102% | 647 | |
89 | 75 | 119% | 164 | |
20 | 15 | 133% | 35 | |
Total |
556 |
503 | 111% | 1059 |
原文轉自:http://www.anti-gravitydesign.com