分析與測試

在Google Play實驗上進行A / B測試的提示

對於Android應用開發者, Google Play實驗 可以提供有價值的見解並幫助增加安裝量。 運行精心設計和計劃良好的A / B測試可以使安裝應用程序的用戶與競爭對手的應用程序有所不同。 但是,在許多情況下,測試運行不正確。 這些錯誤會影響應用程序並損害其性能。

這是使用指南 Google Play實驗  A / B測試.

設置Google Play實驗

您可以從Google Play開發者控制台的應用程序儀表板中訪問實驗控制台。 去 店鋪存在 在屏幕的左側,然後選擇 店鋪詳情實驗。 在這裡,您可以選擇“新實驗”並設置測試。

您可以執行兩種類型的實驗: 默認圖形實驗本地化實驗。 默認圖形實驗將僅在使用您選擇為默認語言的區域中運行測試。 另一方面,本地化實驗將在您的應用可用的任何區域進行測試。

前者可以測試圖標和屏幕截圖等創意元素,而後者還可以測試簡短的描述和長的描述。

選擇測試變體時,請記住,測試的變體越多,獲得可行結果所需的時間就越長。 太多的變體會導致測試需要更多的時間和流量來建立確定轉換可能影響的置信區間。

了解實驗結果

在運行測試時,您可以根據“首次安裝”或“保留的安裝者(一天)”評估結果。 首次安裝者是與該變體相關的總轉化次數,保留安裝者是指在第一天之後保留應用程序的用戶。

控制台還提供有關“當前”(已安裝應用程序的用戶)和“可擴展”的信息(假設該變體在測試期間收到100%的流量,您假設會獲得多少安裝)。

Google Play實驗和A / B測試

90%的置信區間是在測試運行足夠長的時間以獲取可行的見解之後生成的。 它顯示了一個紅色/綠色的條形,指示如果該變體實時部署,則理論上轉換將如何調整。 如果條形為綠色,則為正向移位,如果條形為負,則為紅色,和/或兩種顏色均表示它可以向任一方向擺動。

在Google Play中進行A / B測試的最佳做法

在運行A / B測試時,您需要等到建立置信區間後再得出任何結論。 每個變體的安裝次數可能會在整個測試過程中發生變化,因此,如果沒有足夠長時間運行測試以建立置信度,則在實時應用時變體的性能可能會有所不同。

如果沒有足夠的流量來建立置信區間,則可以每週比較轉換趨勢,以查看是否有任何一致性。

您還需要跟踪部署後的影響。 即使置信區間指出某個測試變體的性能會更好,但其實際性能仍然可能會有所不同,尤其是在存在紅色/綠色間隔的情況下。

部署測試變體之後,請密切注意印象並觀察它們如何受到影響。 實際影響可能與預期不同。

一旦確定了哪些變體效果最好,就需要進行迭代和更新。 A / B測試的部分目標是找到改進的新方法。 了解有效的方法後,您可以創建新的變量,並牢記結果。

Google Play實驗和A / B測試結果

例如,當與AVIS合作時,Gummicube經歷了多輪A / B測試。 這有助於確定哪些創意元素和消息傳遞最能轉化用戶。 僅使用功能圖形測試,該方法的轉換率就提高了28%。

迭代對於您的應用的增長非常重要。 隨著工作量的增加,它可以幫助您不斷提高轉換率。

結論

A / B測試可能是改善應用程序和整體性能的好方法 應用商店優化。 設置測試時,請確保限制一次測試的變體數量,以加快測試結果。

在測試過程中,監視安裝受到的影響以及Confidence Interval顯示的內容。 看到您的應用的用戶越多,建立一致趨勢來驗證結果的機會就越大。

最後,您需要不斷進行迭代。 每次迭代都可以幫助您了解什麼可以最大程度地轉換用戶,因此您可以更好地了解如何優化應用程序和擴展規模。 通過採取有條不紊的方法進行A / B測試,開發人員可以進一步開發自己的應用程序。

大衛·貝爾

Dave Bell是移動娛樂和數字內容分發領域的企業家和公認的先驅。 Dave是Gummicube的聯合創始人兼首席執行官-Gummicube是面向App Store優化的數據,技術和服務的全球領先提供商。

你覺得呢?

本網站使用Akismet來減少垃圾郵件。 了解您的評論如何處理.

相關文章