手機測試 軟件測試
一、手機軟件測試
手機作為專用的消費類電子產品需要進行以下測試:可靠性測試(對于硬件則是RQT;對于軟件則是field trial);標準符合性測試(FTA);互操作性測試(IOT);安全性測試(安規測試);強度測試等。
其中,有些種類的測試,例如FTA,有嚴格的標準(GSM、3GPP等)來明確被測的功能點,測試人員所要做的是在測試用例的編寫中體現出這些功能點,并且盡量營造這些測試用例所需的運行環境來完成測試,并反饋測試結果。但是對于性能測試,就沒有這樣的規范供測試人員來參考,因此性能測試需要進行哪些用例以及用例通過的指標的高低都有很大彈性,在很大程度上受限于測試人員的經驗和項目的資源和進度壓力。如何在資源、進度和質量之間找到平衡點是產品負責人需要考慮的問題,測試人員可以左右的是劃定性能測試的范圍、明確與性能測試相關的設計需求(提高產品的可測試性)以及通過自動化測試工具等手段來進行更加有效的性能測試,提高產品的質量。
二、手機軟件測試方法
從手機軟件系統測試的角度分為:功能模塊測試,交叉事件測試,壓力測試,容量性能測試,性能測試和用戶手冊測試等。由于筆者執行手機軟件測試的工作中,短消息和電話測試的較多,下面就以短消息為例來闡述,手機軟件測試的一般方法和測試的要求,來供大家參考。
(一).短消息[SMS]的基本功能測試
1、短消息的基本功能:是指短消息的編輯,刪除,保存,收發,顯示,以及各種按鈕等功能的正常實現。
2、測試要求和執行:一般根據測試案例或軟件本身的流程就可以完成短消息的基本功能測試。
(二).短消息的交叉事件測試
1、交叉測試:又叫事件或沖突測試,是指一個功能正在執行過程中,同時另外一個事件或操作對該過程進行干擾的測試。例如通話過程中接收到短信或來響鬧。應該以執行干擾的沖突事件不會導致手機死機或花屏等嚴重的問題出現為Pass的標準。
2、測試要求和執行:干擾要恰到好處,準確,否則很難發掘出深層次的軟件缺陷。
(三).短消息的壓力性能測試
1、壓力測試:又叫邊界值容錯測試或極限負載測試,即測試過程中,已經達到某一軟件功能的最大容量,邊界值或最大的承載極限,仍然對其進行相關操作。例如連續進行短信的接收和發送,超過收件箱和PIM卡所能存儲的最大的條數,仍然進行短消息的接收或發送,以檢測軟件在超常態條件下的表現,來評估用戶能否接受。
2、測試要求和執行:可以考慮進行自動化測試
(四).短消息的容量性能測試
1、容量測試:又叫滿記憶體測試,包括手機的用戶可用內存和SIM/PIM卡的所有空間被完全使用的測試。此時再對可編輯的模塊進行和存儲空間有關的任何操作測試,如果軟件的極限容量狀態下處理不好,有可能導致死機或嚴重的花屏等問題的出現。
2、測試要求和執行:可以考慮進行自動充滿記憶體測試,要對不同品牌和不同容量大小的SIM/PIM卡進行測試
(五). 短消息的兼容性能測試
兼容性測試:也就是不同品牌手機,不同網絡,不同品牌和不同容量大小的SIM/PIM卡之間的互相兼容的測試,以短消息為例:中國電信的小靈通接收到從中國移動或中國聯通GSM發來的短消息,接收,顯示和回復功能是否正常等;
三、手機性能測試的方法
手機性能測試的方法按照自動化程度不同可分為手工測試和自動測試。
手工測試主要是通過測試人員手動操作,并借助某些監測儀器和工具,來驗證手機性能。但由于手機功能眾多,并且性能測試工作量大,如果單個測試工程師靠手動按鍵來執行所有測試用例,花費的時間少則幾小時,多則需要幾天的時間,這樣耗費大量測試時間的同時也容易讓測試工程師產生疲倦甚至是厭倦心理,很容易造成測試的遺漏。手機測試中常碰到很多重復性高的工作,如發送數條 SMS 或者 MMS 以驗證其收發成功率以及穩定性、連續進行多次呼叫、多次對文件系統進行添加刪除操作、多任務多進程情況下的沖突測試以及極限測試等等,都是重復性高的工作,手動執行的話費時費力,如果能有一套自動執行的機制,將能大大提高測試的效率。
由此產生了對手機自動化測試工具的需求。手機這種板機的MMI功能測試不同于基于PC上的MMI測試,后者借助PC平臺,目前市場上已有非常多功能強大且通用的自動測試工具支持其測試,如比較典型的有Winrunner, Robot, Loadrunner等等,但這些工具通常不能兼容到象手機這種嵌入式系統中來。這就要求測試人員能夠基于當前平臺進行二次開發,來滿足自動化測試的需求。
手機的自動化性能測試一般分為以下幾個步驟進行:
1. 系統分析
將系統的性能指標轉化為性能測試的具體目標。通常在這一步驟里,要分析被測系統結構,結合性能指標,制定具體的性能測試實施方案。這要求測試人員對被測系統結構和實施業務的全面掌握。
2. 建立虛擬用戶腳本
將業務流程轉化為測試腳本,通常指的是虛擬用戶腳本或虛擬用戶。虛擬用戶通過驅動一個真正的客戶程序來模擬真實用戶。在這一步驟里,要將各類被測業務流程從頭至尾進行確認和記錄,弄清這些過程可以幫助分析到每步操作的細節和時間,并能精確地轉化為腳本。此過程類似制造一個能夠模仿人的行為和動作的機器人過程。這個步驟非常重要,在這里將現實世界中的單個用戶行為比較精確地轉化為計算機程序語言。如果對現實世界的行為模仿失真,不能反映真實世界,性能測試的有效性和必要性也就失去了意義。
3. 根據用戶性能指標創建測試場景
根據真實業務場景,對生成的測試腳本進行復制和控制,轉化為滿足性能測試指標的測試用例集。在這個步驟里,對腳本的執行制定規則和約束關系。具體涉及到對業務類型,并發時序等參數的設置。這好比是指揮腳本運行的司令部。這個步驟十分關鍵,往往需要結合用戶性能指標進行細致地分析。
4. 運行測試場景,同步監測應用性能
在性能測試運行中,實時監測能讓測試人員在測試過程中的任何時刻都可以了解應用程序的性能優劣。系統的每一部件都需要監測:協議棧,MMI應用程序,內存占用情況,驅動程序運行狀態等。實時監測可以在測試執行中及早發現性能瓶頸。
5. 性能測試的結果分析和性能評價
結合測試結果數據,分析出系統性能行為表現的規律,并準確定位系統的性能瓶頸所在。在這個步驟里,可以利用數學手段對大批量數據進行計算和統計,使結果更加具有客觀性。在性能測試中,需要注意的是,能夠執行的性能測試方案并不一定是成功的,成敗的關鍵在于其是否精確地對真實世界進行了模擬。
在整個性能測試過程中,自動化測試工具的選擇只能影響性能測試執行的復雜程度,簡便一些或繁雜一些;但人的分析和思考卻會直接導致性能測試的成敗。所以這里著重于對性能測試思路的整理。測試工具的介紹可以參看有關自動化測試工具的資料。
四、手機測試具體流程內容標準
目前,絕大多數國內定點的CDMA手機生產企業都選擇采用SKD(sack knock down)散件組裝的方式來生產手機,這是因為與OEM(orignal equipment manufacture)貼牌或CKD(completed knock down)的方式相比較,采用SKD方式具有投資少、見效快、技術風險低、項目啟動快、容易組織規模生產、可在一定程度上降低成本、產品上市時間迅速的優勢。
在SKD生產方式條件下,如何進行CDMA手機的測試和性能評估中,保證產品質量和測試速度,這是國內許多CDMA手機生產企業面臨的一個技術問題。如何解決好該問題對于生產廠家來說具有重要的工程意義和現實意義。筆者現把一些經驗和想法與同行作一交流。
1 SKD測試方案的指導思想
?。?)滿足相關的技術規范和測試標準
?。?)具有足夠的測試速度和精度
?。?)在滿足生產線產能要求的前提下,設備投入要經濟,這包括購買CDMA手機綜合測試儀、傳輸帶設備、測試夾具、其他的測試設備,生產線統計管理設備等。
?。?)擬購買測試儀器的技術指標、型號、規格、數據等項要求,既要能滿足現階段的綜合要求、也要考慮到未來的可擴充性、可升級性、可維修性。
?。?)盡量少占用公司的各類資源,包括人力、物力、財力、生產場地、空調、電力、壓縮空氣等。
?。?)盡可能地充分利用現有的GSM手機生產線條件(若有的話)來對生產線進行改進、調整和優化,以進一步降低生產手機的成本。
2 CDMA手機功能測試項分類、測試規模和相關的標準
?。?)RF收發信機指標測試(測試發射功率、發射頻譜、接收靈敏度等等):測試標準為中華人民共和國通信行業標準YD/T1050-2000;美國TIAIS-98雙模移動臺最低性能標準;800MHzCDMA數字蜂窩移動通信網空中接口技術要求。
?。?)音頻指標測試:檢查或測試發送音頻靈敏度、振鈴響度、受話器響度、失真度、側音、免提功能等等。
?。?)LCD和菜單功能的檢查:看是否與說明書中所述內容相一致。
?。?)各按鍵觸覺和力度的檢查。
?。?)電池質量的檢查:檢查電池與主板的電氣連接質量是否可靠,測量電池容量、輸出電壓、短路保護等指標。
?。?)充電器質量檢查:檢查充電器與主板的電氣連接質量是否可靠,測試輸入特性、輸出特性、充電特性、充電時來電、充電時去電、對地泄漏電流等指標。
?。?)可靠性測試:通過對手機施加一定的外界環境應力(高溫、低溫、振動),來檢查產品的可靠性指標。這一點很重要,它可以發現不少產品質量問題。測試標準為GB/T2423.8-1995:電工電子產品環境試驗。
?。?)在實際CDMA通信網絡中的外場測試:該項測試需在不同的時間、不同的地點/地貌、與不同網絡中的用戶進行互連互通等環境條件下進行測試和檢查。測試標準為CDMA(IS-95A)數字移動電話機進網檢驗實施細則2001年5月信息產業部。
?。?)手機殼體質量的檢查
?。?0)軟件、MMI操作可靠性與穩定性檢查。
?。?1)DC功耗指標:關機電流、待機電流、通話電流、待機時間的測試。
原文轉自:http://www.anti-gravitydesign.com