小心!A/B測試陷阱小心!AB測試陷阱(2)

　　所以首先，AB測試的數據必須有足夠的量，多少是足夠? 不知道，也許要加入一些主觀判斷，畢竟這些數據量很可能就是白花花的銀子，但肯定不是個位數。其次，AB測試的數據結果差異必須有統計意義。數據量很足，但十分接近，我們就無法判定AB到底哪一則更好。

　　陷阱3：漏斗之外

　　第三個陷阱在我看來，是大部分AB測試實施者都忽略了的。說忽略也許不一定合適，因為我也想不出更好的辦法，但這里的確有值得注意的因素。

　　當我們測試AB兩則廣告語的時候，也許會發現AB各拿1000個展現，A的點擊率為2%，B的點擊率為1%。A的表現比B好，則我們淘汰B，只使用A。原來的測試中，A獲得1000×2%=20個點擊，B獲得1000×1%=10個，總點擊量為30。剔除B以后，我們期望A獲得(1000+1000)×2%=40個點擊。但在實戰中，我們經常會發現，剔除B以后，A的點擊率也下降了，(1000+1000)×1.6%=32個點擊，比期望值低了一截。

　　為什么會產生這種測試后效果下降的現象，網上討論不少，但是沒有統一的意見。我比較傾向于以下這種看法。我們習慣于把用戶轉化的過程用漏斗來表現。

　　AB測試中，我們會涉及一層或者幾層，目的都是讓這個漏斗變的寬些。A的漏斗比B寬，就用A取代B，但要注意，AB原來是并列的兩個漏斗。B被剔除以后，原來B漏斗中的一些用戶，不一定掉入A漏斗。因為AB所傳達的用戶體驗不同，可能有一部分B用戶從A漏斗中掉出去了。

　　通過AB測試獲得更好的結果本來就是我們的目的，在不斷循環的AB測試中，我們會不斷改善某一條要素的效果，但同時會付出代價，就是不斷有用戶從這個漏斗中掉出去。盡管從結果上來說，應該是得到了改進，但若不注意這些掉出去的用戶流量，我們也浪費了很多潛在的機會。

　　多樣性和專精，在相當程度上是矛盾的，如何把握兩者的平衡，恐怕是個主觀判斷。AB測試仍然是改善效果最簡潔有效的手段，但越是簡潔的測試，所忽略的要素也就越多，所有成功都是有代價的。所以，充分關注B們的多樣性，注意網羅回收那些從A里掉出去的資源，我想也是長期優化所應該關注的一個環節吧?

　　Share to:DeliciousCSDNGoogleBaiduYahooTencent

原文轉自：http://www.anti-gravitydesign.com