Marcom評估:A / B測試的替代方法

尺寸球

所以我們總是想知道 馬康 (行銷通訊)既是一種工具,也可以是個別廣告活動。 在評估marcom時,通常使用簡單的A / B測試。 這是一項技術,其中隨機採樣填充兩個單元格以進行運動處理。

一個單元格可以通過測試,而另一個單元格則不能。 然後,比較兩個單元之間的響應率或淨收入。 如果測試單元的性能優於對照單元(在提升,置信度等測試參數範圍內),則該活動被認為是重要且積極的。

為什麼還有其他東西?

但是,此過程缺少見解生成。 它沒有優化任何東西,是在真空中執行的,對策略沒有影響,對其他刺激也沒有控制。

其次,測試經常受到污染,因為至少有一個單元意外地收到了其他報價,品牌信息,通訊等。測試結果被認為有多少次是不確定的,甚至是無意義的? 因此,他們一次又一次地測試。 他們什麼也沒學,除了測試不起作用。

這就是為什麼我建議使用普通回歸來控制所有其他刺激的原因。 回歸建模 還深入了解了可產生ROI的marcom估值。 這並不是憑空完成的,而是提供了一些選項來優化預算。

為例。

假設我們正在測試兩封電子郵件,即測試與控制,結果卻毫無意義。 然後我們發現我們的品牌部門不小心將一封直接郵件寄給了(大部分)對照組。 (我們)未計劃此部分,也未考慮隨機選擇測試單元的原因。 也就是說,“照常營業”小組收到了通常的直接郵件,但是被拒之門外的測試小組卻沒有。 這在公司中非常典型,其中一個組不工作,也不與另一業務部門通信。

因此,我們沒有按每行都是客戶的方式進行測試,而是按時間段(例如每週)匯總數據。 我們按週累加發送的測試電子郵件,控制電子郵件和直接郵件的數量。 我們還包括二元變量來說明季節,在這種情況下為季度。 表1顯示了從第10週開始的帶有電子郵件測試的聚合的部分列表。現在我們建立一個模型:

net \ _rev = f(em \ _test,em \ _cntrl,dir \ _mail,q_1,q_2,q_3等)

如上所述的普通回歸模型產生表2的輸出。 包括任何其他感興趣的自變量。 應當特別注意的是,(淨)價格被排除為自變量。 這是因為淨收入是因變量,其計算公式為 (淨價)*數量.

表1

em_test em_cntrl 目錄郵件 q_1 q_2 q_3 net_rev
9 0 0 55 1 0 0 $ 1,950
10 22 35 125 1 0 0 $ 2,545
11 23 44 155 1 0 0 $ 2,100
12 30 21 75 1 0 0 $ 2,675
13 35 23 80 1 0 0 $ 2,000
14 41 37 125 0 1 0 $ 2,900
15 22 54 200 0 1 0 $ 3,500
16 0 0 115 0 1 0 $ 4,500
17 0 0 25 0 1 0 $ 2,875
18 0 0 35 0 1 0 $ 6,500

將價格作為自變量包括意味著等式兩邊都有價格,這是不合適的。 (我的書, 營銷分析:實際營銷科學實用指南,提供了有關此分析問題的大量示例和分析。)此模型的調整後R2為64%。 (我放棄了q4以避免虛擬陷阱。)emc =控制電子郵件,emt =測試電子郵件。 所有變量在95%的水平上都是顯著的。

表2

q_3 q_2 q_1 dm 電磁兼容 EMT 常量
效率 -949 -1,402 -2,294 12 44 77 5,039
斯特爾 474.1 487.2 828.1 2.5 22.4 30.8
比率 -2 -2.88 -2.77 4.85 1.97 2.49

在電子郵件測試方面,測試電子郵件的性能比對照電子郵件高出77對比44,並且更為重要。 因此,考慮到其他因素,測試電子郵件有效。 即使數據受到污染,這些見解也會出現。 A / B測試不會產生此結果。

表3使用係數來計算marcomm估值,即每輛車在淨收入方面的貢獻。 也就是說,要計算直接郵件的價值,將係數12乘以發送的直接郵件的平均數109即可得出$ 1,305。 客戶平均花費$ 4,057。 從而 $ 1,305 / $ 4,057 = 26.8%。 這意味著直郵佔總淨收入的近27%。 就投資回報率而言,有109封直接郵件產生了1,305美元的收益。 如果目錄的價格為$ 45,則 投資報酬率=($ 1,305 – $ 55)/ $ 55 = 2300%!

由於價格不是自變量,因此通常可以得出以下結論:價格的影響隱藏在常數中。 在這種情況下,常數5039包括價格,任何其他缺失變量和隨機誤差,約占淨收入的83%。

表3

q_3 q_2 q_1 dm 電磁兼容 EMT 常量
科夫 -949 -1,402 -2,294 12 44 77 5,039
意味著 0.37 0.37 0.11 109.23 6.11 4.94 1
$ 4,875 - $ 352 - $ 521 - $ 262 $ 1,305 $ 269 $ 379 $ 4,057
-7.20% -10.70% -5.40% 26.80% OFF 5.50% OFF 7.80% OFF 83.20% OFF

結論

普通回歸提供了一種替代方法,可以在面對臟數據時提供見解,這在公司測試方案中經常是這種情況。 回歸還可以為淨收入做出貢獻,並為ROI提供業務案例。 就馬爾科姆估值而言,普通回歸是一種替代技術。

ir?t = marketingtechblog 20&l = as2&o = 1&a = 0749474173

2 個評論

  1. 1

    麥克,是解決實際問題的不錯選擇。
    按照您的方式,我想在前幾週目標傳播者不會重疊。 否則,您將擁有一個自回歸和/或時間滯後的組件嗎?

  2. 2

你覺得呢?

本網站使用Akismet來減少垃圾郵件。 了解您的評論如何處理.