營(yíng)銷方案哪個(gè)好？A/B測(cè)試告訴你答案

通常，我們?cè)谶M(jìn)行一場(chǎng)營(yíng)銷活動(dòng)前，員工會(huì)準(zhǔn)備好幾個(gè)不同的營(yíng)銷文案、廣告文案供領(lǐng)導(dǎo)來(lái)選擇。但是我們不能保證精挑細(xì)選出來(lái)的文案會(huì)獲得高的客戶轉(zhuǎn)化率。

今天，我就給大家?guī)?lái)一種實(shí)用的解決這一難題的方法----A/B測(cè)試。

A/B測(cè)試，其核心是“確定兩個(gè)元素或版本（A和B）哪個(gè)版本更好，需要同時(shí)實(shí)驗(yàn)兩個(gè)版本，最后，選擇最好的版本使用。網(wǎng)絡(luò)上的A/B測(cè)試，比如設(shè)計(jì)的頁(yè)面有兩個(gè)版本（A和B)，A為現(xiàn)行的設(shè)計(jì)，B是新的設(shè)計(jì)，比較這兩個(gè)版本之間測(cè)試者所關(guān)心的數(shù)據(jù)（轉(zhuǎn)化率、業(yè)績(jī)、跳出率等)，最后選擇效果最好的版本。

簡(jiǎn)單來(lái)說(shuō)A/B測(cè)試就是一種控制單一變量的實(shí)驗(yàn)方法。也就是在保持其他變量不變的情況下，通過(guò)改變單一變量的方法來(lái)獲得不同的實(shí)驗(yàn)結(jié)果。這樣，我們就能確定哪一種文案對(duì)營(yíng)銷活動(dòng)是更有利的。

A/B測(cè)試的具體實(shí)施方式有很多種，網(wǎng)站、桌面應(yīng)用、手機(jī)應(yīng)用等對(duì)應(yīng)不同的實(shí)施方式，但均是將選定的用戶分為兩組，一組使用舊版本，一組使用新版本，對(duì)試驗(yàn)中收集到的效果指標(biāo)數(shù)據(jù)，應(yīng)用統(tǒng)計(jì)學(xué)上的方法進(jìn)行驗(yàn)證，選擇效果最好的版本正式上線推廣。

A/B測(cè)試的實(shí)質(zhì)，是對(duì)照實(shí)驗(yàn)法在線上的實(shí)施，是與控制組、實(shí)驗(yàn)組的自然科學(xué)實(shí)驗(yàn)一脈相承的，其原理應(yīng)用的是統(tǒng)計(jì)學(xué)上的一種假設(shè)檢驗(yàn)（顯著性檢驗(yàn))。在這一過(guò)程中，“假設(shè)檢驗(yàn)是先對(duì)總體的參數(shù)提出某種假設(shè)（比如說(shuō)轉(zhuǎn)化率的平均值)，然后利用樣本數(shù)據(jù)判斷假設(shè)是否成立的過(guò)程。邏輯上采用反證法，先提出假設(shè)，再計(jì)算該假設(shè)可能性的大小……由于統(tǒng)計(jì)得出的結(jié)果來(lái)自于隨機(jī)樣本的數(shù)據(jù)，結(jié)論不可能為絕對(duì)的，所以只能根據(jù)概率上的一些依據(jù)進(jìn)行相關(guān)的判斷。依據(jù)小概率思想（即顯著性水平p<0.05的小概率事件在一次試驗(yàn)中基本上不會(huì)發(fā)生)，也就是說(shuō)當(dāng)原假設(shè)的可能性小于認(rèn)定的某一標(biāo)準(zhǔn)的話，則拒絕原假設(shè)（認(rèn)為這個(gè)假設(shè)是不成立的)，反之則接受原假設(shè)?！?/p>

具體到A/B測(cè)試?yán)锏募僭O(shè)檢驗(yàn)，試驗(yàn)的目的就在于推翻“A/B兩個(gè)版本無(wú)差異”的原假設(shè)，驗(yàn)證“A/B兩個(gè)版本有差異”的備擇假設(shè)。最終，通過(guò)比較A/B兩個(gè)版本樣本數(shù)據(jù)的相關(guān)參數(shù)，來(lái)決定最終投放使用的版本采用哪一個(gè)。

進(jìn)行A/B測(cè)試時(shí)，測(cè)試用戶的選取是十分關(guān)鍵的環(huán)節(jié)，為保證試驗(yàn)結(jié)果的準(zhǔn)確性，一是要保證一定的樣本數(shù)量，二是要考慮用戶細(xì)分。“在A/B測(cè)試的實(shí)驗(yàn)中，需要保證小流量的實(shí)驗(yàn)具備代表性，也就是說(shuō)1%的流量做出來(lái)的實(shí)驗(yàn)結(jié)果，可以推廣到100%的用戶，為了保證這一點(diǎn)，需要保證1%的流量的樣本特征與100%流量的樣本特征具備相似性?！本唧w來(lái)講，要將在某一特征上具有相似性的用戶聚為一類，再將其隨機(jī)分為控制組與實(shí)驗(yàn)組，如果“所有用戶雜糅在一起，導(dǎo)致即使我們做了A/B測(cè)試，也得不出有效結(jié)果。所以，我們需要按用戶群體細(xì)分去做A/B測(cè)試，高質(zhì)量用戶、留存用戶、低質(zhì)量用戶、不活躍用戶，它們的行為是怎么樣的，這才是有效A/B測(cè)試的關(guān)鍵?！?/p>