一篇文章讀懂A/B測試背后的統計學原理

A/B 測試是一種對比試驗，在試驗過程中，我們從總體中抽取一些樣本進行數據統計，進而得出對總體參數的一個評估。我們能從試驗數據中得出有效結論的科學基礎是基于統計學原理。

從 A/B 測試的試驗原理來看，它是統計學上假設檢驗(顯著性檢驗)的一種形式。

既然涉及統計學了，我們先來了解一些基礎概念，這些會對我們理解這些內容有很大幫助。

在現在的 Appadhoc 平臺做測試時，我們通過對試驗數據的解讀來確認哪個版本的效果更好；整個過程就其實相當于在做一個對比試驗，通過綜合對比原始版和試驗版本的樣本數據，從而判斷這兩個版本存在差異或者相同的結論。

首先，在試驗過程中存在2個假設，這兩個假設的關系我們需要先搞清楚。

原假設：我們希望通過試驗結果推翻的假設

備擇假設：我們希望通過試驗結果驗證的假設

我們在做A/B測試時，利用試驗樣本數據判斷備擇假設是否成立。邏輯上運用反證法，統計上依據小概率思想。原假設和備擇假設是一個完備事件組，而且相互對立。在一項假設檢驗中，原假設和備擇假設必有一個成立，而且如果其中一個不成立則必須無條件接受另一個。

在A/B測試過程中，因為我們試驗的目的是通過反證法證明測試版本和對照版本有明顯的不同（提升），所以在這個場景中，原假設就是原始版本和試驗版本無差異，而備擇假設就是這兩個版本存在差異；這也很好理解，因為我們肯定不希望做了半天測試，得到的結果是兩個版本一點差異都沒有吧？

現在中心思想明確了，我們的做A/B測試的試驗的目的就是推翻2個版本無差異的原假設，驗證他們有差異的備擇假設。

既然做試驗時，我們通過樣本數據去驗證我們的觀點，那肯定會有犯錯的概率，為了得到科學的試驗結果，我們則需要盡可能減少這些可能導致我們隊試驗結果做出誤判的概率。

原文轉自：http://iamue.com/18769