每年，营销人员都会花费数十亿美元进行营销活动，以吸引、保留并向客户销售更多产品。然而，尽管投入巨大，但很难确定这些举措到底有多有效以及如何改进？衡量营销活动投资回报率 (ROI) 的一种流行方法是运行 A/B 测试：营销人员将以两种不同的方式定位客户，然后比较两组之间的结果。通过正确的分析方法，这些 A/B 测试可以提供有用的见解，但它们也具有很强的误导性。
为了了解 A/B 测试常用的缺点，让我们看一下下面的假设示例：
想象一下，您在一家大型艺术组织工作，该组织担心会员保留率下降。您正在考虑向很有可能取消会员资格的会员发送一份附有续订通知的小礼物，但由于风险很高，因此您希望在更广泛地推广之前确保其有效。因此，您决定开展一个小型测试活动，随机选择一组“有风险”的成员来接收礼物，以及一组不接收礼物的成员，看看接收礼物的人是否更有可能续订。
现在，假设您没有发现收到赠品的会员和未收到赠品的会员之间的保留率有任何差异。如果您在那里结束分析，您可能会取消赠品计划，因为数据似乎表明发送赠品不会影响保留率。但当您更仔细地检查数据时，您会发现，对于某些客户（例如去年访问过该地点的客户）来说，礼物实际上显着增加了他们续订的机会，而对于很长时间没有访问该地点的客户来说，礼物实际上使他们不太可能续订，也许是因为它更突出地提醒他们很少使用其会员资格。使用 A/B 测试来评估计划的平均有效性可能会掩盖有关客户是否更有可能接受该营销活动的重要见解（分析是否表明该计划是积极的、消极的，或者如本例所示，效果可以忽略不计），从而导致营销人员在与哪些客户开展哪些营销活动方面做出错误的决定。
流失率 – 流失率 （有时称为损耗率）：从最广泛的意义上讲，是在特定时间段内从集体池中移出的个人或物品数量的衡量标准。这是决定企业支持的客户稳定性水平的两个主要因素之一。
这不仅仅是假设——事实上，这个例子是基于我在研究过程中合作过的一个真实组织。在提高保留率方面，公司通常会识别出“高风险”客户，即最近的行为或其他特征表明他们特别有可能取消订阅或停止购买公司产品的客户，然后进行 A/B 测试，以确定他们的保留活动对于该群体是否有效。虽然这是一个可以理解的策略，但我的研究表明，它可能会严重适得其反，因为它可能会导致营销人员做出错误的决策，从而实际上降低总体保留率和营销支出的投资回报率。
具体来说，我与两家实施用户保留活动的大公司进行了现场测试。在我研究的第一部分中，两家公司都制定了降低流失率的干预措施，然后对总共超过 14,000 名客户进行 A/B 测试，跟踪流失情况，其中一组客户被随机分配接受干预措施，另一组则不接受干预。接下来，我收集了丰富的客户信息数据集，包括最近的活动和与公司的互动、作为公司客户的时间长度、位置以及用于预测用户流失风险的其他指标，并测试了哪些特征与用户保留活动的积极响应相关。
在这两家公司中，我发现被确定为流失风险最高的客户不一定是保留计划的最佳目标——事实上，客户的流失风险水平与其对干预的敏感性之间几乎没有相关性。数据显示，有一个独特的客户群体对每种干预措施反应强烈（具有特定行为或人口特征的客户，与接受干预后不太可能流失相关），但“高度敏感”群体与被确定为“高流失风险”的群体几乎没有重叠。这对投资回报率产生了严重影响：我的分析表明，如果两家公司花费相同数量的营销预算针对“高度敏感”群体而不是“高流失风险”群体，那么它们的流失率将分别下降 5% 和 8%。
当然，使客户更有可能接受保留活动的具体因素因组织而异，甚至因活动而异，但运行如上所述的实验可以帮助您确定最能预测客户对特定活动敏感度的特征。
例如，我研究的组织之一是一家电信公司，该公司可以访问有关行为指标的详细数据，例如客户上个月拨打的电话数量、发送的消息数量、下载的数据量等。 。对于该公司，数据显示客户最近与该公司的互动方式预测了他们的停电风险水平，但并没有影响他们对其干预的敏感度。预测敏感度的是他们的数据使用情况——这表明为了最大限度地提高投资回报率，公司应该考虑将其保留活动的目标不是长期参与的客户，而是使用最多数据的客户。
那么这对营销人员意味着什么呢？关键的见解是，营销活动应该根据每个客户对活动的预期反应来确定目标，而不是根据在没有活动的情况下客户预期会做什么。从某种意义上说，营销人员就像医生：医生不仅仅为最有可能死亡的患者开出随机治疗方案，他们还为最有可能对这些治疗产生积极反应的患者开出特定的治疗方案。
营销人员不应试图预测客户会做什么（即试图确定他们的流失风险），而应关注不同类型的客户对特定营销活动的反应，然后设计最有可能有效减少特定客户群流失的营销活动。公司不仅应该利用 A/B 测试数据来衡量活动在所有客户中的整体有效性，还应该发现哪些类型的客户对某些干预措施最敏感。这意味着将客户人口统计和历史交易数据与通过 A/B 测试收集的数据相结合，以确定客户最有可能对特定活动做出反应的行为和特征。幸运的是，许多公司已经在收集所有这些数据——这只是以新方式利用这些数据的问题。
——————————————–
有针对性的营销活动的概念并不新鲜，但仔细考虑如何做出这些有针对性的决策非常重要。公司不应简单地猜测哪些因素可能表明某人是一个强有力的目标，或者关注被认为是高优先级的群体（例如高流失风险的客户），而应针对最容易受到特定干预措施影响的客户。他们正在实施。为了最大限度地提高投资回报率，营销人员需要停止询问“这种干预有效吗？”并开始问：“这种干预对谁最有效？” – 然后相应地确定他们的活动目标。
伊娃·阿斯卡扎 是哈佛商学院工商管理副教授。
