一種常見的AB測試誤區分析(3)

看一下自己犯了多大的錯誤，如果你在AB測試過程中不時的查看統計結果并快速的做決定，上面的表格會讓你起雞皮疙瘩。

應該如何做

避免重復檢驗顯著性錯誤的最好方式就是不去重復的檢驗顯著性。事先決定樣本數量，等試驗結束后再去AB測試軟件中查看“優于原版本的概率”。如果你能抑制提前結束試驗的想法，那中途偷窺數據也無妨。這有些反人性，所以最佳建議還是不要偷窺。

既然要事先決定樣本數量，應該取多少呢？下面是經驗公式：

δ是能檢測到的最小變化，σ是樣本的標準差。樣本的標準差可能不好預知，但是如果參與計算的樣本取值是2值的（比如統計轉化率），則有：

保證樣本的規模就能避免問題。
對AB測試軟件的建議：在試驗結束之前不要報告顯著性水平，不要用顯著性水平來決定是繼續試驗還是停止試驗。試驗進行中不報告顯著性水平而是報告目前樣本數量能檢測出多大的差別，計算公式為：

原文轉自：http://www.appadhoc.com/blog/a-mistake-analysis-of-abtesting/