一篇文章讀懂A/B測試背后的統計學原理(3)

減少了第一類錯誤后，還有另一種錯誤會影響我們的決斷，

那就是原假設為假時接受了原假設，說白了就是2個版本有差異時候，我們錯誤 的認為他們沒有差異 ，這個錯誤的概率在統計學角度也稱為取偽錯誤，記為 β ），這個概率可以相對大一些，業界大約定俗成的一個標準就是10%和20%的概率。

和顯著性水平一樣，為了避免我們犯第二類錯誤，我們需要通核算 β 從而計算出另一個參數來給我們參考，就是統計功效，和核算置信區間的置信度類似，它是的思路是 1-β 來得出 （統計功效  power = 1 – β ）

統計功效是指版本差異（效果）為某個指定值時，通過顯著性檢驗能正確地把差異檢驗出來的概率。說白了就是，假設兩個版本的確存在差異，我們能夠正確拒絕原假設，獲得統計顯著性結果（95%置信區間中數據）的概率。

統計功效的核算涉及樣本數量，方差， α 、以及最小變化度或者置信區間下限。

由此可見，只有我們把第一類錯誤控制在5%以內，第二類錯誤控制在10%-20%左右，我們才可以說得出具有參考價值的出的試驗數據。

換句話說，我們在做A/B測試時，試驗結果達到95%的置信度，以及80%-90%的統計功效時，它對我們來說才是有意義、可以作為決策參考的。

原文轉自：http://iamue.com/18769