模板
教程
環境
性能
功能
管理
缺陷度量結果分析帶來的思考
1 核心發現
該核心系統從報告第一個缺陷到生產上線歷時30個月，期間累計報告有效缺陷2300余個。通過分析，發現該項目呈現出以下有趣的現象:
1) 團隊核心人員變動對團隊生產率影響巨大，存在“雙凹”現象。
2) 團隊交付模式依舊呈現瀑布式，表現為開發前半期缺陷報告占總數不足5%。
3) 80/20法則顯現，報告缺陷數量TOP5的人員貢獻超過2/3。
4) 缺陷分類工作未受到足夠重視，缺陷嚴重級別的分布呈現為鉆戒型。
5) 缺陷重開現象普遍，約3/4以上人員涉及缺陷重開。
6) 約50%缺陷在4天內修復，但嚴重缺陷修復速率與一般缺陷差距不明顯。
2 缺陷報告發現
缺陷是通過測試活動被發現然后確認得到的，是測試活動的寶貴資產。通過時間、角色等維度，從缺陷到達率、缺陷報告人分布、缺陷引入階段等度量指標進行了分析。
（一） 缺陷到達率分析
缺席到達率(Bug Arrival Rate)是指在單位時間內所報告的缺陷數量。首先按月度統計了當月報告的缺陷數和累計占比，并按照“缺陷嚴重級別”進行了分類，得到如圖1 所示的月度缺陷到達率。
圖1 缺陷到達率(月度)
缺陷涌入的高峰出現在項目重要里程碑階段
以最后一個缺陷上報時間為T月,則第一個缺陷上報于（T-29）月。發現（T-12）月以317個缺陷排名第一，是月度均值(81.4)的3.9倍，而（T-25）月以202個缺陷排名第二。通過咨詢項目經理，了解到前者是該核心系統的業務試用驗收月，而后者為仿真并行上線月，兩者均是該項目的重要里程碑節點。
發布前累計缺陷到達率已收斂
從圖2和圖3中均可看出，累計缺陷到達率指標在項目結束前的一個季度甚至半年前就開始收斂。（T-3）月累計缺陷到達率為98.5%。（T-7）月嚴重缺陷的累計缺陷到達率98.9%。該指標的收斂為結束測試和產品發布提供了很好的質量依據。如果按歷年統計團隊缺陷探測率能力基線為98.5%,則（T-3）月該項目已經達標。
測試團隊的缺陷到達率存在“雙凹”現象
從圖1可以看出，（T-12）至（T-20）月之間“月度總記”的曲線存在著一個明顯內凹。進一步分析原因，按照測試、開發(包括需求、開發)等角色對缺陷到達率進行了細分，如圖2。
圖2 缺陷到達率-開發/測試-按月
圖2更加明顯地看出，以（T-12）月為中軸，存在著左右兩個內凹，分別是：T-20~T-12月、T-12~T-9月這兩個區間。尤其是在（T-12）的前后幾個月間，甚至還出現過測試人員報告缺陷的數量低于開發人員的現象。通過對項目經理和測試團隊負責人的詢問，了解到測試團隊在此期間出現過團隊核心成員的離職以及團隊切換的情況。這充分說明保持團隊，尤其是核心人員穩定的重要性。而在（T-8）月之后，隨著現有測試團隊的全面介入，測試團隊報告缺陷數量再次超過開發，且測試整體占比也同樣上升，體現了現有測試團隊的成熟能力。據此，將整個項目的測試活動分為3個階段，如表1所示。
表1 項目測試活動階段劃分
開發團隊前14個月的缺陷數量不足2%
圖2中表明“開發整體占比”的曲線在前期一直接近于0，因此增加了“累計占比”的統計，如圖3所示。
圖3 缺陷到達率-開發/測試-累計
由此數據可以了解到從（T-30）年至（T-16）的14個月之間，開發報告的缺陷數量為9個，分別占同期全部缺陷的0.8%和全部開發報告缺陷的1.56%。說明從開發測試的角度看，研發流程依舊呈現典型的瀑布式流程。
（二） 缺陷報告人分布分析
按照統計，發現前后共計38人報告過該核心系統的缺陷，其中開發（含需求）12人，測試26人，呈現出廣泛的參與性。并且需求人員也報告了大量的缺陷，充分體現了全員參與測試的重要性和培養測試團隊業務思維角度的必要性。
TOP5的捉蟲能手貢獻了超過69%的缺陷
圖4表明缺陷數量排名前5的人員所發現的缺陷占比超過69%。而這種現象在角色分類統計中更加明顯，TOP5的測試/開發人員報告的缺陷占各自角色報告缺陷的占比分別為85%和87%。根據數據分析發現缺陷是一項專門技能，發掘和培養善于發現缺陷的人員對測試團隊而言至關重要。
圖4缺陷報告TOP5占比
開發（含需求）發現缺陷占比達到了24%
該核心系統的開發過程中，開發人員大量參與測試，報告缺陷的人數為12個，缺陷總數為576個，占全部缺陷數的24%。從開發(含需求)報告缺陷的人數(X)、缺陷的數量（Y）以及與同期測試報告缺陷數量的占比(面積)這三個方面進行比對（圖5、表2），可以分析出，在第一階段，開發報告缺陷數量偏少，參與人數也偏少，而后期無論在人數和缺陷數量及占比上都有大幅增長。
圖5 開發(含需求)格階段報告缺陷
表2各階段開發報告缺陷占比
需求人員在缺陷報告方面成績顯著
2名需求人員報告缺陷387個，其中一位報告缺陷330個，位列“TOP5-全部”的第2位和開發(含需求)人員的第一位，充分體現了需求人員參與測試的重要性和培養測試團隊業務思維角度的必要性。
（三） 缺陷級別分析
缺陷分布呈現鉆戒型嚴重缺陷占比后期過低
如圖6所示，一般缺陷的占比為78%，單一類型占比過重，整個項目的缺陷分布呈現為鉆戒型。
圖6 缺陷嚴重級別占比
對于嚴重缺陷，如果根據之前三個階段的劃分，嚴重缺陷的數量在三個階段分別為157，23，7。隨著項目的推進，“優化改進”、“輕微缺陷”占各自階段的百分比不斷增大（圖7），而“嚴重缺陷”的占比則不斷下降，符合產品質量提升規律。但從增速/降速的角度進行對比，前兩者缺陷增大的速率在1-2倍之間，而“嚴重缺陷”從階段2到階段3下降了1.8倍，從階段1到階段2卻下降了5倍。分析認為“嚴重缺陷”的占比下降過于迅速，一方面因為產品質量的確是提升了，但結合“一般缺陷”的過重占比，也建議測試進一步與需求、開發進行缺陷分類(Triage)的活動，進一步明晰缺陷嚴重級別，便于安排資源進行缺陷修復等活動。
圖7不同階段缺陷分布
（四） 缺陷模塊分析
第2/3階段TOP5模塊缺陷數量占同期總缺陷數的50%
在項目第2/3階段累計報告缺陷1233個。同期報告有缺陷的模塊34個，其中TOP5模塊累計報告缺陷617個，占同期報告總缺陷數的50%。該項目第1階段因某些原因有大量缺陷沒有填寫模塊字段。
表3TOP5缺陷模塊
該核心系統的缺陷在模塊上的群聚效應是較為明顯，建議系統后續進行改造時將上述TOP5作為關注的重點。
3 缺陷修復發現
與缺陷修復相關的指標包括了缺陷修復速率以及缺陷重開率等指標,是團隊技術能力體現的重要度量指標。
（一） 缺陷修復速率分析
累計未修復缺陷總數與項目關鍵里程碑相關
作為一種技術債(Technical Debt), 未修復缺陷的數量一方面體現著產品的質量，另一方面也預示著團隊后續所需要付出的時間和人力成本。經統計，該核心系統累計修復缺陷2353個，月均修復78.4個，每個月的缺陷新增/修復情況如圖8。
圖8 缺陷修復進展
從累計未修復缺陷分析，（T-12）月以113個未修復缺陷排名第一，可推測彼時該核心系統的產品質量處于最低谷。而該月和次月的每月修復缺陷數量達到了200左右，還出現了修復缺陷數量超過報告缺陷數量(>40)的現象。而在（T-7）月，團隊又迎來了缺陷修復的最后一個高峰。隨后隨著新特性開發的結束，新報告缺陷的數量也迅速收斂，累計未修復缺陷數量也隨之收斂為0。
80%缺陷在一個沖刺內修復
據嚴重級別對修復時間進行了統計排序（圖9），可以分析出，約50%的缺陷在4天內得到了修復，80%的缺陷在15天內得到了修復，且后續的修復率曲線非常平坦。如果每個沖刺(Sprint)周期為2周，也就意味著有20%左右的缺陷不能在一個沖刺周期內得到修復。因此，要達到某些敏捷團隊中的DoD所宣稱的"修復該沖刺中發現的缺陷"是一個非常高的標準。
圖9 缺陷修復速率(天)
嚴重缺陷修復率曲線相對前高后低但差異不明顯
分析發現“嚴重缺陷”的修復速率曲線呈現出“前高后低”的現象，表明開發團隊對其的重視程度更高，因此早期修復率較高?？赡芤驗槟承﹪乐厝毕菪迯碗y度更大，因此后期修復率上升較其它級別的缺陷更緩慢。從整體分析，嚴重缺陷的修復率曲線與其它類型差距并不大，達到80%的修復率花費了13天，和整體（15天）相比差距很小。因此，建議該團隊可否考慮更重視對于嚴重缺陷的修復速率的提升。
（二） 缺陷重開率分析
精益思想認為，返工是一種浪費，倡導一次性將事情做正確?？梢酝ㄟ^“缺陷重開率”這一指標來度量開發人員一次性正確修復缺陷的能力。
缺陷重開是一個普遍現象
通過統計，累計有384個缺陷發生過“reopen”，剔除無效及不解決的缺陷，重開過的缺陷數量為333個，占全部修復缺陷2357的14.1%，涉及28人，為全部參與修復缺陷人數38人的73.7%。且修復缺陷超過3個以上的，修復人員出現重開缺陷的概率達到了100%，可見這是非常常見且分布面很廣的現象。
建議后續對于部分缺陷修復耗時長、數量多、一次性修復率低的人員進行根因分析，以進一步提高產品質量和缺陷修復的質量。
原文轉自：https://mp.weixin.qq.com/s/xqcGaGBleTCGGm8a2aICkA
