许多公司将拆分测试纳入其数字营销计划,以便在对其网站实施更改之前从用户那里获得真实反馈。优化团队的任务是确定主要 KPI(关键绩效指标),并围绕 KPI 制定策略以随着时间的推移对其进行改进。大多数情况下,拆分测试的结果都不确定。并且,当实验结果为“平淡”或中性数据,无法提供明确的“赢家”或“输家”时,就会出现不确定的结果。当实验结果不确定时,这些结果可能有很多原因,也有很多有价值的信息可以为您的下一次迭代提供参考。
本文深入探讨了导致不确定结果的可能原因、如何处理不确定的测试结果以及如何使用有价值的数据来指导下一组实验迭代。
数据分割
实验已经进行了相当长一段时间,但结果却没有任何改善。所有关键指标都持平——现在该怎么办?别担心!虽然乍一看,实验似乎是在浪费时间和资源。但事实并非如此。事实上,事实恰恰相反。收集到的数据中有很多很棒的信息。
分析已收集的数据的第一步是对其进行细分。根据不同的细分仔细检查数据将揭示更多信息,这些信息将有助于生成迭代。如果测试重新排列了产品详细信息页面的显示方式,请按设备细分数据。查看台式机、移动设备和平板电脑上的数据。移动用户浏览变体的方式与台式机用户浏览页面的方式在指标上是否存在差异?
分割数据的另一个重要步骤是确保已
从结果中过滤掉异常数据。这是一个非常重要但经常被忽视的步骤。删除异常值对于正确分析数据和使实验达到统计显著性至关重要。下图很好地详细说明了实验中统计显著性和异常值的重要性。如果不从实验中移除异常值,可能会产生错误的结果。如下图所示,当异常值被移除时,通常会导致回归到平均值,这可能 丹麦电子邮件列表 被归类为 “不确定”的结果。虽然我们可能没有“赢家”,但这对于理解此类测试对网站和用户的影响仍然至关重要。
消除外界影响和偏见
在审查不确定测试的数据时,分析师需要确保没有其他外部因素可能影响测试结果。外部影响可能会对实验结果产生重大影响。促销、销售和特价等影响都是在实验期间引入的可能影响结果的因素的例子。如果实验中使用的同一款产品正在销售,除非您在没有销售的情况下进行相同的测试,否则无法知道对结果的影响。
排除组是避免数据交叉污染的另一种方法。排除组是实验者在同时进行多个实验时保持数据清洁的一种方法。排除组有助于确保用户不会接触多个实时实验,以维护数据完整性。通过创建排除组,您可以决定应为每个实验分配多少流量,最重要的是,保持数据分离。
使用定性分析工具
许多优化专家将使用定量分析工具和测试平台来测量每个实验的数据。这是一个了解实验进展的良好开端。它使您能够根据收集的数据做出明智的决策。然而,通过整合 定性分析工具,可以更进一步。定性分析工具的一个例子是用户行为工具,它可以记录实验变化中的用户。一些测试平台包含此功能,这是一项非常有价值 如何进行 ppc 关键词研究 的补充。分析和数据只能说明这么多,但观察用户如何与测试交互的能力却是无价的。这些用户记录可以揭示测试失败的原因或不确定的原因。当然,分析数据也会显示这些结果,但记录将提供另一层数据来填补空白。
例如,我们进行了一项测试,
在结账的最后一步添加一个粘性的“提交订单”按钮。假设是,如果在最后一步添加一个粘性的结账按钮,它将增加“下订单”的点击量,增加购买量,并增加收入。分析数据显示,包括粘性的“提交订单”按钮在内的变体在之前确定的所有关键指标上都是持平的。团队分析了数据,查看了有助于说明问题的细分和其他变量,但没有明显的迹象表明为什么这个测试没有定论。查看变体的用户记录后,似乎大多数用户都点击了固定的“提交订单”按钮,因为它位于订单详细信息旁边。用户喜欢确认他们的订单——查看正在购买的商品,最重 泰國號碼 要的是订单总额。有了这个重要的信息,团队能够根据通过记录获得的信息迭代这个测试。迭代是在粘性的“提交订单”按钮中添加“订单总额”。如果没有记录,这条信息很容易被忽视。
确实,不确定的测试结果会让人沮丧。重要的是要知道,这些结果对于构建测试路线图来说极为常见且具有建设性。运行的大多数测试很可能会产生“不确定”的数据。需要进行不确定的测试才能知道哪些方法对网站及其用户有效,哪些方法无效。
A/B 测试如何融入您的数字营 A/B 测试结果不确定 – 怎么办? 销策略?如果您不确定如何回答这个问题,请让我们帮助您。我们的数字营销专家团队拥有测试您网站各个方面的知识和专长,以确保它为您提供最多的转化机会。立即联系我们,了解我们如何为您提供帮助。