軟件功能測試解決方案的評估報告

軟件功能測試解決方案的評估報告

Functional testing (功能測試)，也稱為behavioral testing（行為測試），根據產品特征、操作描述和用戶方案，測試一個產品的特性和可操作行為以確定它們滿足設計需求。本地化軟件的功能測試，用于驗證應用程序或網站對目標用戶能正確工作。使用適當的平臺、瀏覽器和測試腳本，以保證目標用戶的體驗將足夠好，就像應用程序是專門為該市場開發的一樣。 　　功能測試也叫黑盒子測試或數據驅動測試,只需考慮各個功能，不需要考慮整個軟件的內部結構及代碼.一般從軟件產品的界面、架構出發，按照需求編寫出來的測試用例，輸入數據在預期結果和實際結果之間進行評測,進而提出更加使產品達到用戶使用的要求。 　　以上是屬于程序軟件類的測試，下面介紹應用電子技術方面的測試 　　印刷電路板，又稱印制電路板，印刷線路板，常使用英文縮寫PCB（Printed circuit board），是重要的電子部件，是電子元件的支撐體，是電子元器件線路連接的提供者。由于它是采用電子印刷技術制作的，故被稱為“印刷”電路板。 　　在印制電路板出現之前，電子元件之間的互連都是依靠電線直接連接而組成完整的線路?，F在，電路面包板只是作為有效的實驗工具而存在，而印刷電路板在電子工業中已經成了占據了絕對統治的地位。 　　20世紀初，人們為了簡化電子機器的制作，減少電子零件間的配線，降低制作成本等優點，于是開始鉆研以印刷的方式取代配線的方法。三十年間，不斷有工程師提出在絕緣的基板上加以金屬導體作配線。而最成功的是1925年，美國的Charles Ducas 在絕緣的基板上印刷出線路圖案，再以電鍍的方式，成功建立導體作配線。[1] 　　直至1936年，奧地利人保羅·愛斯勒（Paul Eisler）在英國發表了箔膜技術[1]，他在一個收音機裝置內采用了印刷電路板；而在日本，宮本喜之助以噴附配線法“メタリコン法吹著配線方法(特許119384號)”成功申請專利。[2]而兩者中Paul Eisler 的方法與現今的印刷電路板最為相似，這類做法稱為減去法，是把不需要的金屬除去；而Charles Ducas、宮本喜之助的做法是只加上所需的配線，稱為加成法。雖然如此，但因為當時的電子零件發熱量大，兩者的基板也難以配合使用[1]，以致未有正式的實用作，不過也使印刷電路技術更進一步。 　　1941年，美國在滑石上漆上銅膏作配線，以制作近接信管。 　　1943年，美國人將該技術大量使用于軍用收音機內。 　　1947年，環氧樹脂開始用作制造基板。同時NBS開始研究以印刷電路技術形成線圈、電容器、電阻器等制造技術。 　　1948年，美國正式認可這個發明用于商業用途。 　　自20世紀50年代起，發熱量較低的晶體管大量取代了真空管的地位，印刷電路版技術才開始被廣泛采用。而當時以蝕刻箔膜技術為主流[1]。 　　1950年，日本使用玻璃基板上以銀漆作配線；和以酚醛樹脂制的紙質酚醛基板（CCL）上以銅箔作配線。[1] 　　1951年，聚酰亞胺的出現，便樹脂的耐熱性再進一步，也制造了聚亞酰胺基板。[1] 　　1953年，Motorola開發出電鍍貫穿孔法的雙面板。這方法也應用到后期的多層電路板上。[1] 　　印刷電路板廣泛被使用10年后的60年代，其技術也日益成熟。而自從Motorola的雙面板面世，多層印刷電路板開始出現，使配線與基板面積之比更為提高。 　　1960年，V. Dahlgreen以印有電路的金屬箔膜貼在熱可塑性的塑膠中，造出軟性印刷電路板。[1] 　　1961年，美國的Hazeltine Corporation參考了電鍍貫穿孔法，制作出多層板。[1] 　　1967年，發表了增層法之一的“Plated-up technology”。[1][3] 　　1969年，FD-R以聚酰亞胺制造了軟性印刷電路板。[1] 　　1979年，Pactel發表了增層法之一的“Pactel法”。[1] 　　1984年，NTT開發了薄膜回路的“Copper Polyimide法”。[1] 　　1988年，西門子公司開發了Microwiring Substrate的增層印刷電路板。[1] 　　1990年，IBM開發了“表面增層線路”（Surface Laminar Circuit，SLC）的增層印刷電路板。[1] 　　1995年，松下電器開發了ALIVH的增層印刷電路板。[1] 　　1996年，東芝開發了B2it的增層印刷電路板。[1] 　　就在眾多的增層印刷電路板方案被提出的1990年代末期，增層印刷電路板也正式大量地被實用化，直至現在。 　　為大型、高密度的印刷電路板裝配(PCBA, printed circuit board assembly)發展一個穩健的測試策略是重要的，以保證與設計的符合與功能。除了這些復雜裝配的建立與測試之外，單單投入在電子零件中的金錢可能是很高的 - 當一個單元到最后測試時可能達到25,000美元。由于這樣的高成本，查找與修理裝配的問題現在比其過去甚至是更為重要的步驟。今天更復雜的裝配大約18平方英寸，18層；在頂面和底面有2900多個元件；含有6000個電路節點；有超過20000個焊接點需要測試。 　　在朗訊加速的制造工廠(N. Andover, MA)，制造和測試藝術級的PCBA和完整的傳送系統。超過5000節點數的裝配對我們是一個關注，因為它們已經接近我們現有的在線測試(ICT, in circuit test)設備的資源極限(圖一)。我們現在制造大約800種不同的PCBA或“節點”。在這800種節點中，大約20種在5000~6000個節點范圍?？墒?，這個數迅速增長。 　　新的開發項目要求更加復雜、更大的PCBA和更緊密的包裝。這些要求挑戰我們建造和測試這些單元的能力。更進一步，具有更小元件和更高節點數的更大電路板可能將會繼續。例如，現在正在畫電路板圖的一個設計，有大約116000個節點、超過5100個元件和超過37800個要求測試或確認的焊接點。這個單元還有BGA在頂面與底面，BGA是緊接著的。使用傳統的針床測試這個尺寸和復雜性的板，ICT一種方法是不可能的。 　　在制造工藝，特別是在測試中，不斷增加的PCBA復雜性和密度不是一個新的問題。意識到的增加ICT測試夾具內的測試針數量不是要走的方向，我們開始觀察可代替的電路確認方法?？吹矫堪偃f探針不接觸的數量，我們發現在5000個節點時，許多發現的錯誤(少于31)可能是由于探針接觸問題而不是實際制造的缺陷(表一)。因此，我們著手將測試針的數量減少，而不是上升。盡管如此，我們制造工藝的品質還是評估到整個PCBA。我們決定使用傳統的ICT與X射線分層法相結合是一個可行的解決方案。

Agenda 1：什么是功能測試解決方案？為什么需要功能測試解決方案？

Slide 4：功能測試的定義：

驗證系統的功能性符合預定的功能說明書的測試。

Slide 5：功能測試解決方案的關鍵組成：

范圍之內的：

• 手工測試
• 功能測試自動化
• 測試管理

范圍之外的：

• 單元測試
• 靜態分析
• 性能測試
• 應用程序的監測

Slide 6：你的工作室有做過任何功能測試腳本的自動化嗎？

通過調查北美和歐洲公司的74個決策者得出以下數據：

　Slide 7：手工測試的正反面

正方：

測試用例設計的成本是最少的

• 不需要使用工具或工具專家
• 沒有自動化的需要
• 不需要在測試執行之前預留提前期

可以腳本化，帶探索性，或兩者皆可

• 測試設計和測試執行同時進行
• 在標準的手工測試腳本設計和執行之前，之間和之后都很有用

【Kiki】需要注意一下這里所說的腳本，不是普通意思上我們說的自動化測試腳本。在美國和其他國家，他們將手工測試的測試用例用非常清晰的步驟描述，有些象我們手工測試用例中的步驟，但比那更加詳細，一步一步相當清楚，不需要測試人員太多的涉及，執行下來測試人員就象一個機器人一樣。

反方：

測試執行的成本很高

• 成本 ＝ 執行時間 × 勞動率
• 執行時間很昂貴
• 當重復執行時，沒有效率

腳本化的測試執行很單調

• 不需要創造力

所有的窗體都是有極高的錯誤傾向

• 質量取決于測試人員每時每刻的細心
• 測試結果的文檔化是另一個錯誤的潛在來源

Slide 8：專業的工具支持可以提高腳本化手工測試的效率

工具的支持幫助手工測試人員：

• 在一個唯一且安全的地方存儲測試計劃，測試腳本和測試結果
• 共享跨越測試用例中的測試組件（例如：登陸系統）
• 自動化數據輸入和數據校驗

Slide 9：測試自動化的正方面

正方：

• 將測試人員解放出來做更多智力型的測試（例如：探索性測試）
• 減少測試執行的時間和成本
• 允許工作室擴展測試工作的范圍

反方：

• 增加了測試設計之前的投資
• 容易浪費時間在自動化“錯誤”的測試上 － 或用錯誤方法實現正確的測試
• 要求比手工測試更多的技術專家和專業工具的支持

Slide 10：一個測試自動化經濟效果的簡化概覽

自動化一個測試腳本的成本的計算方法：

測試自動化的成本 ＝ 工具的成本 ＋ 腳本創建的人力成本 ＋ 腳本維護的人力成本

何時選擇自動化

自動化的成本 < 和將要執行的自動化測試的次數一樣的手工執行測試的成本

例如：如果一個測試腳本在以后的兩年里每星期運行一次，而且如果自動化這個測試的成本小于手工執行測試104次的成本，那么就自動化這個測試。

Slide 11：為什么你的公司沒有執行任何的測試自動化？

通過調查38位北美和歐洲的沒有執行任何測試自動化公司的決策者得出以下數據.

　
　【Kiki】ROI：Return of Investment, 這里指的是測試自動化的投資回報。

Slide 12：由測試工作量變化產生的正確平衡

測試團隊的組成

• 編程技能 vs.主題專家
• 杠桿作用每位團隊成員優點的勞動力分工
• 開發團隊自身測試工作量的評估

所測試應用程序的特征

• 所測試應用程序所采用的技術
• 所測試應用程序的穩定性

時間軸

• 創建自動化測試腳本的可用時間
• 應用程序的預期生命周期

Slide 13：手工和自動化測試的集成測試管理解決方案的收益

計劃和監控所有測試活動的共同接口

手工和自動化測試資產的變更管理

提交來自手工測試和測試自動化工具的缺陷直接到測試管理工具里

遞增的自動化測試包中的部分內容

Slide 15：我們如何決定選擇哪些供應商？

參與的標準

• $10M的年稅收
• 支持手工測試，測試自動化和測試管理

一些被排除的供應商

• RadView和Seapine

－ 他們已經在去年的自動化工具中評估過了

• Worksoft, SDT和LogiGear

－ 他們關注的是關鍵字驅動的測試自動化

• Agitar和Parasoft

－ 關注開發人員的測試

Slide 16：評估的供應商和他們相應的產品

　【Kiki】補充：

• Rational于2002/12被IBM收購
• Mercury于2006/6被HP收購
• Segue于2006/4被Borland收購

Slide 17：Forrester Wave?評估的流程