開放性敏捷自動化測試架構介紹(4)

　　SAMSOAPSERVER InsertAccount_1 1 ACCOUNT AVERAGEUSAGE 1 ACCOUNTNUM=114 20

　　SAMSOAPSERVER InsertAccount_1 1 ACCOUNT ACTIVATEDATE 3 ACCOUNTNUM=114 2008-06-20 06:53:55

　　SAMSOAPSERVER InsertAccount_1 1 ACCOUNT BILLINGADDRESSID 1 ACCOUNTNUM=114 654

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT CREDITCARDNUMBER 2 ACCOUNTNUM=109 2323

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT CREDITLIMIT 1 ACCOUNTNUM=109 30

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT CREDITEXPIREDATE 2 ACCOUNTNUM=109 2008-05-29

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT ACCOUNTNAME 2 ACCOUNTNUM=109 UTStar_SST_Rain

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT CREATEDATE 3 ACCOUNTNUM=109 2008-05-29 00:00:00

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT AVERAGEUSAGE 1 ACCOUNTNUM=109 20

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT BILLINGMONTH 2 ACCOUNTNUM=109

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT BILLINGADDRESSID 1 ACCOUNTNUM=109 642

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT ACTIVATEDATE 3 ACCOUNTNUM=109 2008-06-20 04:58:19

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT CONTACTPERSON 2 ACCOUNTNUM=109 sdf

　　SAMSOAPSERVER InsertAccount_1 2 ACCOUNT CANCELDATE 3 ACCOUNTNUM=109

　　這段時間正在為這個架構申請公司的一個創新大獎，也就準備了一下PPT介紹，我把其中的幾頁摘下來供大家參考。有同事推薦這個創新大獎完了之后，我將有可能會去申請一下專利。

　　下面是對該架構技術的一些重點：

　　我還想談一下測試與開發的關系，因為這個架構在測試公司的新項目(Web service類的BOSS業務)中發現了大量的問題，這個新項目設計到的SOAP接口也就是20幾個新接口，但是通過ROBOT架構自動產生了超過 5000個CASE(其中包括了枚舉值，邊界值，異常數據，各類自定制的參數組合)，自動產生200000的數據庫檢查點，完全通過自動化回歸的方式進行 CASE執行和結果點檢查，結果短短幾個星期內發現了超過一百個問題，而且很多是嚴重問題。在剛支持的IPTV業務上，也只是花了幾天時間就支持了其中一個應用的自動化測試，結果也發現了幾個嚴重問題，這種成果是以前任何一種架構的自動化所無法比擬的。開發部門也對這個架構刮目相看，專門組織了幾次培訓來學習這個架構，因此我這段時間也在幫開發建立他們內部的單元測試體系，開發也認真的投入到了測試當中，和我們一起為提高測試質量而共同探討測試技術，我們也向開發提出了各種要求來配合我們自動化CASE的產生，從這點來看，開發與測試的關系并不一定是對立的，當我們的創新給開發帶來了軟件質量水平的提高，他們反過來會更加尊敬測試團隊。

　　這幾天有點忙，我們的BOSS系統已經比較穩定，但是最近根據某個運營商提的需求對系統的框架進行了比較大的改動，安排了幾個同事進行新接口的測試，從上星期開始，一切似乎比較正常，沒有發現一些大的問題。但是，做測試的人一般都會有這種直覺，沒有發現問題才是最大的問題!而且與開發溝通知道改動量并不少，所以有抱著比較懷疑的態度，本來想著在測試的后期再安排回歸的，在這種狀況下就要把回歸提前了。

　　因為改動的主要是業務受理接口，主要是對這塊的CASE進行回歸，CASE大概是2000個，結果檢查點有200000。于是運用了UT ROBOT框架做了一次回歸測試，運行到差不多第100個CASE的時候，以前正常的一個CASE報錯，于是查了一下錯誤的代碼，將測試結果交給開發分析，發現對某個表的status字段處理上，對于status=00001與status=000001出了問題，再一細查所有的代碼，發現竟然有30多處的判斷處理中存在這個問題;而同時進行的手工測試沒有發現這個重大問題，與開發溝通知道，這次的改動主要就包括出錯的地方。ROBOT再次立功!除此以外，ROBOT也還發現了其它幾個重要問題。

　　回歸迭代測試不可少，有效的框架是解決回歸迭代測試的最有效途徑!

　　另外，這幾天也在忙于IPTV業務的Web Service的自動化支持模板改造，可能要幾天之后才能完成，到時再給大家報告新動向。

　　多謝大家的捧場!剛過去的一周事情比較多，除了培訓，日程項目安排管理，為下周的客戶來公司參觀準備DEMO環境之外，也剛剛參加完公司的一個比賽。

原文轉自：http://www.uml.org.cn/Test/2008090410.asp