前段時(shí)間用博客的幾個(gè)測(cè)試頁(yè)面嘗試了下使用Google Website Optimizer做A/B測(cè)試，經(jīng)過(guò)這段時(shí)間收集了一些測(cè)試數(shù)據(jù)，感謝大家?guī)兔c(diǎn)擊。其實(shí)之前一直想介紹Google的這個(gè)網(wǎng)站對(duì)比實(shí)驗(yàn)優(yōu)化工具，完全免費(fèi)而且操作簡(jiǎn)單，并且在不久的將來(lái)獨(dú)立的Google Website Optimizer就會(huì)消失，這塊功能會(huì)被整合到Google Analytics里面，相信很多GA的用戶(hù)已經(jīng)在Content模塊中發(fā)現(xiàn)了新增的Experiments這個(gè)功能，這個(gè)就是從Google Website Optimizer衍生而來(lái)，功能和使用上面應(yīng)該會(huì)有些調(diào)整和變化。
對(duì)于Google Website Optimizer的使用其實(shí)并沒(méi)有那么復(fù)雜，使用實(shí)驗(yàn)的創(chuàng)建向?qū)ЫY(jié)合網(wǎng)頁(yè)的提示和幫助，普通的用戶(hù)創(chuàng)建自己的實(shí)驗(yàn)完全沒(méi)有問(wèn)題，只是網(wǎng)站的千差萬(wàn)別可能有很多的細(xì)節(jié)方面需要注意，或者需要想一些辦法讓實(shí)驗(yàn)過(guò)程和監(jiān)控結(jié)果更加有效。所以這里不介紹GWO工具使用本身，我比較感興趣的其實(shí)是實(shí)驗(yàn)輸出的結(jié)果報(bào)表，里面涉及對(duì)結(jié)果的區(qū)間預(yù)估，測(cè)試方案勝出的概率，提升幅度等，這些指標(biāo)都用統(tǒng)計(jì)學(xué)的方法計(jì)算得到，相比直接比較兩組觀察值，比較結(jié)果更加科學(xué)，更具說(shuō)服力。
首先看下GWO輸出的報(bào)告，這里用的是A/B測(cè)試，如果使用Multivariate Testing(MVT)報(bào)告會(huì)有細(xì)微的差異，但指標(biāo)及統(tǒng)計(jì)邏輯應(yīng)該是相同的：
我用GWO實(shí)現(xiàn)了一個(gè)最簡(jiǎn)單的A/B測(cè)試，一個(gè)原始版本和一個(gè)測(cè)試版本，輸出的報(bào)告主要是比較實(shí)驗(yàn)過(guò)程中設(shè)定的轉(zhuǎn)化率。上方的折線圖顯示的是原始版本和實(shí)驗(yàn)版本的轉(zhuǎn)化率趨勢(shì)，截至目前的轉(zhuǎn)化情況顯示在下方表格的最右側(cè)(Conv./Visitors)，從指標(biāo)名稱(chēng)看，GWO衡量轉(zhuǎn)化率用的是轉(zhuǎn)化的用戶(hù)數(shù)，應(yīng)該使用Cookie來(lái)唯一識(shí)別用戶(hù)(這里僅是在博客新建了幾個(gè)簡(jiǎn)單測(cè)試頁(yè)面，所以數(shù)據(jù)量較小，而轉(zhuǎn)化率相比正常網(wǎng)站都明顯偏高)。
所以，這里重點(diǎn)研究了下圖中表格紅框內(nèi)的3個(gè)指標(biāo)，看它們是如何計(jì)算得到的。
估算轉(zhuǎn)化率
從圖中紅框1中可以看到Est. conv. rate，GWO報(bào)表對(duì)目前得到的轉(zhuǎn)化率做了正負(fù)區(qū)間的預(yù)估，進(jìn)而可以得到目前該版本轉(zhuǎn)化率可能的置信區(qū)間(詳見(jiàn)前一篇文章——參數(shù)估計(jì)與置信區(qū)間)，這里用當(dāng)前的轉(zhuǎn)化率估計(jì)該版本的總體轉(zhuǎn)化率p，進(jìn)而可以計(jì)算得到總體標(biāo)準(zhǔn)差σ= sqrt(p(1-p)/n)，比如這里原始版本的總體標(biāo)準(zhǔn)差約為0.0540，而測(cè)試版本的標(biāo)準(zhǔn)差約為0.0647，根據(jù)Zα/2×σ計(jì)算得到的上表中正負(fù)的7.6%和9.1%，所以我們就可以猜出GWO用的Zα/2大概為1.4，這個(gè)數(shù)值我在測(cè)試期間接連驗(yàn)證過(guò)幾次，基本非常穩(wěn)定，根據(jù)Z值表，這個(gè)置信區(qū)間大概的置信度在84%，也不知道為什么GWO要選擇這么個(gè)置信度。
紅框1的上方我們可以看到GWO根據(jù)測(cè)試的效果將測(cè)試版本分成了三類(lèi)，分別用綠色表示勝出的測(cè)試版本，黃色表示不確定的測(cè)試版本，紅色表示落敗的測(cè)試版本。Google僅給出了簡(jiǎn)單的說(shuō)明，建議我們可以選擇使用顯示為綠色的版本，因?yàn)樗鼈冇泻艽蟮目赡苄?也只是可能)優(yōu)于原始版本，而顯示紅色版本建議可以停止測(cè)試。具體到指標(biāo)需要達(dá)到怎樣的水平才會(huì)顯示綠色或紅色，我沒(méi)有去驗(yàn)證，有使用經(jīng)驗(yàn)的或者感興趣的同學(xué)可以去觀察下試試。
勝過(guò)原始版本的幾率
之前在T檢驗(yàn)和卡方檢驗(yàn)這篇文章介紹過(guò)可以使用卡方檢驗(yàn)的方法來(lái)比較二項(xiàng)分布數(shù)據(jù)間的概率是否存在顯著差異，但卡方檢驗(yàn)只能檢驗(yàn)差異的顯著性，沒(méi)法直接說(shuō)明某組樣本的概率有多少的幾率超過(guò)另外一個(gè)樣本，所以在GWO的報(bào)告里面沒(méi)有使用卡方檢驗(yàn)，而使用了單尾Z檢驗(yàn)。當(dāng)樣本數(shù)量超過(guò)30的時(shí)候，我們一般會(huì)使用Z檢驗(yàn)來(lái)替代T檢驗(yàn)比較兩組獨(dú)立或配對(duì)樣本間的均值差異，因?yàn)檫@里只是為了證明一組樣本概率明顯超過(guò)另外一組樣本的可能性，所以使用了單尾檢驗(yàn)。計(jì)算Z統(tǒng)計(jì)量的公式如下：
根據(jù)表格的數(shù)據(jù)，原始方案和測(cè)試方案的轉(zhuǎn)化率均值p分別為78.9%和78.0%，根據(jù)公式S2=p(1-p)分別計(jì)算兩組樣本的方差為0.1665和0.1716，而兩組樣本數(shù)n分別為57和41，進(jìn)而計(jì)算得到Z=0.1068，查Z值表可得Z=0.10的概率為46.02%，Z=0.11的概率為45.62%，表中顯示的Chance to Beat Orig.=45.9%，介于兩者之間，使用的應(yīng)該是類(lèi)似的統(tǒng)計(jì)方法得到的值，偏差是因?yàn)橹虚g精度處理引起的。
觀察到的改進(jìn)
圖中紅框3的Observed improvement，這個(gè)指標(biāo)需要結(jié)合紅框1的轉(zhuǎn)化率置信區(qū)間來(lái)看，結(jié)合條形圖可以比較清晰地得出結(jié)果，看下我用Excel畫(huà)的展現(xiàn)估算轉(zhuǎn)化率的類(lèi)似條形圖：
這里我用了兩條輔助的虛線，如果第一個(gè)是原始版本，那么測(cè)試版本所有與原始版本轉(zhuǎn)化率預(yù)估區(qū)間的差異都會(huì)用顏色展現(xiàn)，而觀察到的改進(jìn)就是著色區(qū)間的轉(zhuǎn)化率差異。比如圖中第二個(gè)條形的紅色區(qū)間展現(xiàn)的相應(yīng)值為-4.2%，而第三個(gè)應(yīng)該是-1.6%+0.6%=-1.0%，即左側(cè)的負(fù)值區(qū)間加上右側(cè)的正值區(qū)間，第四個(gè)為2.9%。這樣GWO報(bào)表中所有指標(biāo)的計(jì)算都可以明確了。
其實(shí)，大部分時(shí)候我們使用工具來(lái)完成分析或測(cè)試的過(guò)程，也不一定非要了解所有指標(biāo)最底層的計(jì)算邏輯，我們只要知道這些指標(biāo)的含義及作用，在分析具體問(wèn)題時(shí)合理地使用這些指標(biāo)就可以。而有些時(shí)候我們只能統(tǒng)計(jì)得到一些基礎(chǔ)數(shù)據(jù)，所以如何使用這些基礎(chǔ)數(shù)據(jù)得到一些有價(jià)值有說(shuō)服力的分析結(jié)論就需要用到一些合適的統(tǒng)計(jì)學(xué)方法，這也是這篇文章去解讀GWO輸出報(bào)表的原因。
» 本文采用 BY-NC-SA 協(xié)議，轉(zhuǎn)載請(qǐng)注明來(lái)源：網(wǎng)站數(shù)據(jù)分析 » 《Google Website Optimizer報(bào)告解讀》
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示