測試手段之探索性測試(9)

　　前面說到了很多流程性的指導，也說了ET和ST的生產率的比較，但實際的情況到底怎么樣呢，這里大概說下ET的實踐結果分析：

　　ET實踐項目：XX1項目

　　ET實踐時間段：09/12/15—09/12/21

　　ET實踐人：季哥

　　此ET實踐結果分析包括如下幾個部分：

　　簡要說明什么是ET

　　ET測試的范圍

　　為何要做ET

　　什么時候開始做ET

　　怎樣做ET

　　做ET時注意什么

　　ET產出了什么

　　ET發現了什么樣的bug

　　1. What1：什么是ET?

　　這里的ET定義就是實踐與XX1項目的定義：就是在完全不熟悉項目業務需求的基礎上，采用邊學產品知識，邊測試，通過一些手段來操作產品，使其暴漏出一些隱含的問題。其測試執行思路與測試設計思路是同時進行的。一個很明顯的Freestyle ET方式。

　　2. What2: ET測試了什么?

　　由于大部分項目存在一些共性，ET測試的范圍一般是主要的功能的實現，再加上主要的功能中隱含的一些潛在的風險，例如超長輸入引出的系統錯誤等。具體可參見ET實踐流程。

　　3. Why：為啥要做ET?

　　至于做ET實踐的原因多方面：

　　———目前項目測試人員的功能測試手段太單一

　　———目前第3輪測試發現的bug率以及投資回報率很低

　　———為了質疑目前測試部3輪測試的流程規范

　　———國外已經有了比較成熟的ET理論和實踐經驗

　　———創新并實踐前段時間ET的理論學習

　　4. When：什么時候開始做ET?

　　根據ET測試的方式和目的以及時間安排，可看出ET并不是為了發現主要功能的流程問題。所以特別需要在相對穩定的系統上做ET，這里有兩個好處：一是由于ET測試人員沒有項目測試人員對需求了解深入，對于主要功能的流程問題沒有項目測試人員發現那么及時以及深入。二是在穩定的系統上做ET，有益于發現項目測試人員的盲點，以及發揮測試的極限測試手段，同時也有益于ET測試產出的效果。所以在XX1項目ET實踐過程中，是在第二輪測試的最后一天開始 ET。一般是在安全測試通過后。因為安全測試的bug修復后會引發比較多的頁面bug，此在一定程度上影響ET發現較嚴重的bug數量。

　　5. How：怎么做ET?

　　根據國外ET實踐理念，采用Session來進行測試范圍的確定(具體請看ET的管理)，下面是簡單的一些說明：

　　第一步: 大概花1-2個小時時間看PRD和原型。

　　第二步: 大概花1-2個小時時間確定下有哪些主要的功能模塊和貢獻性的功能模塊。

　　第三步： 與項目組測試人員溝通哪個功能模塊發現bug最多，哪個功能模塊發現bug最少，哪個模塊存在風險比較大。

　　第四步：根據前幾步情況和參加ET的時間段來確定有多少個Session，并指出每個Session大概花多長時間。一般是1.5-2個小時。就淘寶而言，一個Session大概是2-3個UC的情況。

　　第五步：制定ET測試計劃，包含所有Session的名稱和測試時間以及緩沖情況。

　　第六步：根據ET測試計劃，邊學習產品需求，邊測試。發現問題立馬記錄問題描述。最后發送ET測試報告。

　　第七步：與項目組測試人員溝通ET的效果以及該產品存在的風險，從用戶易用性角度給該產品總體評價，同時跟蹤確認bug的fix情況。

　　6. Strategy：ET測試的時候怎么考慮?

　　在做ET過程中，有一個基本的原則就是以最少的學習時間來獲取最大的學習成果，也就是在ET過程中，由于系統是個相對穩定的系統，其主要功能的流程問題已經不存在了，這時ET測試人員需要以最少的時間去了解一個產品的某個需求，然后去發現這這個需求的隱含的問題。這里一定要注意不要花很長時間去了解某個復雜業務的具體過程，然后去測試，這樣時間投資回報率會比較低。

　　這就需要ET測試人員在很短的時間內需要判斷這個需求需要花多少時間去測試，大概會隱藏什么問題。然后發現一個可挖掘的需求，去多嘗試操作去測試，直至發現問題。這些在XX1項目實踐過。

　　ET過程中，盡量去關注一些很細節的部分，多使用一些極限測試的手段，比如超長字符，非法字符，異步編輯等。

　　ET過程中，如果被一個需求的特殊性卡住，也就是ET測試人員嘗試了很多次都沒有成功進入下一個操作流程，則這時需要立馬與項目組對應測試成員溝通，尋求幫助。也許該成員的一句話就可以搞定這個問題。在XX1項目實踐過程中確實遇到過這種情況。

　　ET過程中，發現一個疑似問題，立馬記錄其問題描述，等每天的ET測試時間完成后，與該Session的項目組測試人員溝通這些疑似問題是否為bug，并郵件報告每天測試的Session的bug描述以及優先級。

　　ET過程中，需要ET測試人員全神貫注的進行邊學習產品，邊測試。在一個Session測試過程中，不能受到其他的干擾，完全沉浸在測試和破壞這個產品的緊張之中，由于需要不斷的變化測試思路去挑戰正在測試的功能。

　　7. Result：ET產出了什么?

　　對于ET的核心價值就是花最少的時間得到最大的回報。該項目實踐ET測試的數據如下：

　　這里功能未實現的bug類型里面主要大部分是一些頁面的按鈕或鏈接功能失效。

　　8. Analyze：ET發現什么樣的bug

　　對于ET測試發現的bug類型做一些個人分析，相信很多人對于這個比較感興趣：

　　第一：一般情況下，ET測試的目的不是為了發現正常流程下的主要功能bug，特別是Freestyle ET 方式實踐的時間點

　　第二：ET測試過程中，會變化測試手段去測試，更多的是用戶測試和極限測試和交叉測試，也就會發現很多這些手段產生的bug

　　第三：ET測試過程中，使用的一些測試手段決定了發現的bug類型，常用的測試手段有：邊界值測試，極限測試，用戶測試，菜單瀏覽，域測試，組合測試。

原文轉自：http://www.anti-gravitydesign.com