談談我在自動化測試中遇到的坑(4)

第三次自動化測試

第三次自動化測試：自動化腳本的誤判。

第二次測試就這樣也算是失敗了（反正腳本幾乎是都廢了）。有了這兩次的失敗經驗，俗話說事不過三，所以我準備再來一場。

這時團隊的測試能力已經有了長足的提升，我們已經有了一些測試用例，為了做好自動化測試，我專門組織大家把需要自動化測試的用例篩選出來了。既然目標是回歸測試，用例的篩選標準也很明確，就是那些基礎的，需要手工反復執行的用例。

然后我又對這些用例逐個進行了分析，把當前的自動化測試技術暫時不能支持的用例也標記出來了，告訴大家不用擔心，這些用例可以下一次再執行，我們就算是要追求100%的回歸測試率，也是我們真正應該執行的，并且現在可以自動化測試的那些用例。

我還記得當時我們的自動化測試平臺也升了次級了，平臺也更穩定了，提供的功能也更多了，大家的干勁也很足，所謂天時地利人和，我對這次的自動化測試實踐充滿信心。

很快，腳本被一批批的開發出來了，之前不能自動化的測試的用例也隨著自動化測試技術的突破而變得可以自動化了，一切都在向著好的方向發展。但很快我們就發現新的問題出現了，自動化腳本結果出現了誤判！

什么叫自動化腳本的誤判呢，就是自動化腳本在自動化平臺上顯示的結果和真實的結果不一致。比如腳本A在自動測試報告中顯示的結果為PASS，但實際的功能卻有可能有問題。在自動化測試報告中顯示的結果為失敗，但實際可能卻是受到環境的影響造成的，功能卻沒有問題。

原文轉自：http://gitbook.cn/books/58d23ddcfa7558521a30277a/index.html