關于A/B test的重要性無需多言，數據、產品等從業人員幾乎必知，好的數據科學家我想一定是知道理解業務比模型更為重要，而A/B test就是伴隨著業務增長的利器。

如果你心中的A/B test幾乎都沒有用到中心極限定理、假設檢驗、z分布、t分布等知識，建議詳細閱讀本文。

作者：愛德寶器

來源：數據管道（ID：adc9556）

本文目錄：

• A/B test是什么
• A/B test工作原理
• 進行A/B test的目的是什么
• A/B test流程（面試喜歡問）
• A/B test簡例（結合Python實現）
• A/B test需要注意的點
• A/B test中要知道的統計學知識

01 A/B test是什么

A/B測試（也稱為分割測試或桶測試）是一種將網頁或應用程序的兩個版本相互比較以確定哪個版本的性能更好的方法。AB測試本質上是一個實驗，其中頁面的兩個或多個變體隨機顯示給用戶，統計分析確定哪個變體對于給定的轉換目標（指標如CTR）效果更好。

02 A/B test工作原理

在A/B test中，你可以設置訪問網頁或應用程序屏幕并對其進行修改以創建同一頁面的第二個版本。這個更改可以像單個標題或按鈕一樣簡單，也可以是完整的頁面重新設計。然后，一半的流量顯示頁面的原始版本（稱為控件），另一半顯示頁面的修改版本（稱為變體）。

當用戶訪問頁面時，如上圖灰色按鈕（控件）和箭頭所指紅色按鈕（變體），利用埋點可以對用戶點擊行為數據采集，并通過統計引擎進行分析（進行A/B test）。然后，就可以確定這種更改（變體）對于給定的指標（這里是用戶點擊率CTR）產生正向影響，負向影響或無影響。

實驗數據結果可能如下：

03 進行A/B test的目的是什么

A/B test可以讓個人，團隊和公司通過用戶行為結果數據不斷對其用戶體驗進行仔細更改。這允許他們構建假設，并更好地了解為什么修改的某些元素會影響用戶行為。這些假設可能被證明是錯誤的，也就是說他們對特定目標的最佳體驗的個人或團隊想法利用A/B test證明對用戶來說是行不通的，當然也可能證明是正確的。

所以說 A/B test不僅僅是解決一次分歧的對比，A/B test可以持續使用，以不斷改善用戶的體驗，改善某一目標，如隨著時間推移的轉換率。

例如，B2B技術公司可能希望從活動登陸頁面提高其銷售線索質量和數量。為了實現這一目標，團隊將嘗試對標題，可視圖像，表單字段，號召性用語和頁面的整體布局進行A/B測試更改。

一次測試一個變化有助于他們確定哪些變化對訪問者的行為產生何種影響，哪些變化沒有影響訪問者的行為。隨著時間的推移，他們可以結合實驗中多次正向變化的效果來展示變體相對于控件的可測量的改進。

這樣來說產品開發人員和設計人員可以使用A/B測試來演示新功能對用戶體驗變化的影響。只要目標明確定義并且有明確的假設，用戶參與，產品體驗等都可以通過A/B測試進行優化。

04 A/B test流程

1. 確定目標：目標是用于確定變體是否比原始版本更成功的指標?？梢允屈c擊按鈕的點擊率、鏈接到產品購買的打開率、電子郵件注冊的注冊率等等。
2. 創建變體：對網站原有版本的元素進行所需的更改?？赡苁歉陌粹o的顏色，交換頁面上元素的順序，隱藏導航元素或完全自定義的內容。
3. 生成假設：一旦確定了目標，就可以開始生成A/B測試想法和假設，以便統計分析它們是否會優于當前版本。
4. 收集數據：針對指定區域的假設收集相對應的數據用于A/B test分析。
5. 運行試驗：此時，網站或應用的訪問者將被隨機分配控件或變體。測量，計算和比較他們與每種體驗的相互作用，以確定每個用戶體驗的表現。
6. 分析結果：實驗完成后，就可以分析結果了。A/B test分析將顯示兩個版本之間是否存在統計性顯著差異。

無論的實驗結果如何，需要利用試驗結果作為學習經驗生成未來可以測試的新假設，并不斷迭代優化應用元素或網站的用戶體驗。

05 A/B test簡例（結合Python實現）

1. 實例背景簡述

某司「猜你想看」業務接入了的新推薦算法，新推薦策略算法開發完成后，在全流量上線之前要評估新推薦策略的優劣，所用的評估方法是A/B test，具體做法是在全量中抽樣出兩份小流量，分別走新推薦策略分支和舊推薦策略分支，通過對比這兩份流量下的指標（這里按用戶點擊衡量）的差異，可以評估出新策略的優劣，進而決定新策略是否全適合全流量。

2. 實例A/B test步驟

• 指標：CTR
• 變體：新的推薦策略
• 假設：新的推薦策略可以帶來更多的用戶點擊。
• 收集數據：以下B組數據為我們想驗證的新的策略結果數據，A組數據為舊的策略結果數據。均為偽造數據。

3. 分析結果（Python）

利用 python 中的 scipy.stats.ttest_ind 做關于兩組數據的雙邊 t 檢驗，結果比較簡單。但是做大于或者小于的單邊檢測的時候需要做一些處理，才能得到正確的結果。

from scipy import stats
import numpy as np
import numpy as np
import seaborn as sns

A = np.array([ 1, 4, 2, 3, 5, 5, 5, 7, 8, 9,10,18])
B = np.array([ 1, 2, 5, 6, 8, 10, 13, 14, 17, 20,13,8])
print('策略A的均值是：',np.mean(A))
print('策略B的均值是：',np.mean(B))

Output:
策略A的均值是：6.416666666666667
策略B的均值是：9.75

很明顯，策略B的均值大于策略A的均值，但這就能說明策略B可以帶來更多的業務轉化嗎？還是說僅僅是由于一些隨機的因素造成的。

我們是想證明新開發的策略B效果更好，所以可以設置原假設和備擇假設分別是:

H0：A>=B

H1：A < B

scipy.stats.ttest_ind(x,y)默認驗證的是x.mean()-y.mean()這個假設。為了在結果中得到正數，計算如下：

stats.ttest_ind(B,A,equal_var= False)

output:
Ttest_indResult(statistic=1.556783470104261, pvalue=0.13462981561745652)

根據 scipy.stats.ttest_ind(x, y) 文檔的解釋，這是雙邊檢驗的結果。為了得到單邊檢驗的結果，需要將 計算出來的 pvalue 除于2 取單邊的結果(這里取閾值為0.05）。

求得pvalue=0.13462981561745652，p/2 > alpha(0.05), 所以不能夠拒絕假設，暫時不能夠認為策略B能帶來多的用戶點擊。

06 A/B test需要注意的點

1. 先驗性：通過低代價，小流量的實驗，在推廣到全流量的用戶。
2. 并行性：不同版本、不同方案在驗證時，要保重其他條件都一致。
3. 分流科學性和數據科學性：分流科學是指對AB兩組分配的數據要一致，數據科學性是指不能直接用均值轉化率、均值點擊率來進行AB test決策，而是要通過置信區間、假設檢驗、收斂程度來得出結論。

07 A/B test中要知道的統計學知識

上述文章只是從應用的角度介紹來AB test的一些內容，當收集好數據之后做推斷性統計分析你可能需要具備以下知識，這里限于篇幅不做介紹，自行查閱統計學書籍閱讀，可參考《統計學》賈躍平，可汗學院統計學等書籍和視頻。

1. 點估計
2. 區間估計
3. 中心極限定理（樣本估計總體的核心，可以對比看一下大數定理）
4. 假設檢驗

其中假設檢驗部分為核心，其他輔助更好的理解該部分內容，比如區間估計可以理解為正向的推斷統計，假設檢驗可以理解為反證的推斷統計，關于假設檢驗本身，你可能還需要知道小概率事件、t分布、z分布、卡方分布、p值、alpha錯誤、belta錯誤等內容。

對其中部分內容做了修改，其中關于AB test流程步驟做了核心修改，目錄后3部分為個人學習思考所得，希望對大家有所幫助。

上一篇：你們公司是怎么做AB測試的？

下一篇：沒有了