談談我在自動化測試中遇到的坑(5)

換句話說，我們無法相信自動化測試的結果。

這真是要把人折磨死的節奏啊。

我們想了很多辦法，比如每一輪自動化測試，同一個腳本都反復執行幾次（如執行5次），然后設置一個腳本執行失敗的“容錯值”（比如設置容錯值為2，即執行5次這個腳本，腳本失敗只要不超過2次就都算通過，OMG這個想法也真是見招拆招，見洞補洞，喪心病狂?。?。想辦法保存所有的測試執行記錄，然后再手工再從測試記錄里面去抽檢一定比例的測試腳本的執行結果，看抽檢的結果和腳本運行結果的差異，再以此來決定腳本出現誤判的概率（OMG，我都服了我們小組的驚人的數學功底，但這真的是完全跑偏了好嗎）…….

其實這些問題，歸根到底就是腳本的check部分寫得有問題。

如果我們把自動化測試比作一個機器人。讓自動化測試來模擬執行某個功能并不難，這就像是機器人的手一樣。難的是機器人的“腦子”，如何讓自動化腳本來聰明的確認腳本的執行結果就變得非常重要，這才是自動化測試真正的難點。

首先我們要梳理自動化check的使用規范，根據的業務的實際情況和使用的自動化工具來確定要怎樣進行check才不會遺漏，來最大程度的保證自動化測試在結果檢查上的準確性。

對high level的自動化測試來說（對low level的自動化測試，如接口、單元測試來說，這個問題并不明顯），無論是UI界面的，還是CLI（命令行）的用戶接口的，都隱含了一個情況，就是自動化測試只能check到預期有的東西，卻不能check到預期外的東西。

以下面這個web頁面為例。假如我的自動化判定的是“秒殺”，但實際“秒殺”后面卻多了一些別的東西，比如多了個“：）”。在手工測試下，我們很容易發現這個問題，但自動化測試卻往往測不出這個問題。

原文轉自：http://gitbook.cn/books/58d23ddcfa7558521a30277a/index.html