매년 마케팅 담당자는 고객에게 더 많은 제품을 유치, 유지 및 판매하기 위해 캠페인에 수십억 달러를 지출합니다. 그러나 이러한 막대한 투자에도 불구하고 이러한 계획이 실제로 얼마나 효과적인지, 어떻게 개선할 수 있는지 판단하기가 어렵습니다. 캠페인의 투자 수익(ROI)을 측정하는 인기 있는 방법은 A/B 테스트를 실행하는 것입니다. 마케터는 두 가지 다른 방식으로 고객을 타겟팅한 다음 두 그룹 간의 결과를 비교합니다. 분석에 대한 올바른 접근 방식을 사용하면 이러한 A/B 테스트는 유용한 통찰력을 제공할 수 있지만 오해의 소지가 매우 높습니다.
A/B 테스트가 일반적으로 사용되는 방식의 단점을 이해하기 위해 다음 가상 예를 살펴보겠습니다.
당신이 회원 유지율 감소를 우려하고 있는 대규모 예술 단체에서 일하고 있다고 상상해 보십시오. 멤버십을 취소할 가능성이 높은 회원에게 갱신 알림과 함께 작은 선물을 보내려고 생각하고 있지만, 이는 위험이 높기 때문에 더 널리 배포하기 전에 이것이 작동하는지 확인하고 싶습니다. 따라서 선물을 받을 "위험에 처한" 회원 그룹과 그렇지 않은 그룹을 무작위로 선택하여 선물을 받는 사람들이 갱신할 가능성이 더 높은지 확인하는 소규모 테스트 캠페인을 실행하기로 결정했습니다.
이제 경품을 받은 회원과 받지 않은 회원 간의 유지율에 차이가 없다고 가정해 보겠습니다. 여기서 분석을 종료했다면 경품 발송이 고객 유지에 영향을 미치지 않는 것으로 데이터에 나타난 것처럼 보이므로 경품 프로그램을 취소할 가능성이 높습니다. 그러나 데이터를 더 자세히 살펴보면 작년에 해당 매장을 방문한 고객과 같은 특정 고객 하위 집합의 경우 실제로 선물을 통해 갱신 가능성이 크게 높아진 반면, 오랫동안 해당 매장을 방문하지 않은 고객의 경우 선물을 통해 갱신 가능성이 낮아졌음을 알 수 있습니다. 이는 아마도 멤버십을 얼마나 드물게 사용했는지를 더 눈에 띄게 상기시켜 주었기 때문일 것입니다. 프로그램의 평균 효과를 평가하기 위해 A/B 테스트를 사용하면 고객이 해당 캠페인을 어느 정도 받아들일지 여부(분석 결과 프로그램이 긍정적인지, 부정적인지 또는 이 예에서처럼 무시할 수 있는 효과인지 여부)에 대한 중요한 통찰력이 모호해질 수 있으며, 이로 인해 마케터는 어떤 캠페인을 어떤 고객과 함께 실행할지에 대해 잘못된 결정을 내리게 됩니다.
이탈률 - 이탈률 (때때로 감소율이라고도 함): 가장 넓은 의미에서 특정 기간 동안 집단 풀에서 이동하는 개인 또는 항목의 수를 측정한 것입니다. 이는 기업이 지원할 고객 안정성 수준을 결정하는 두 가지 주요 요소 중 하나입니다.
이것은 단순한 가설이 아닙니다. 사실 이 예는 제가 연구하는 동안 함께 일했던 실제 조직을 기반으로 합니다. 고객 유지율을 높이기 위해 기업은 종종 "고위험" 고객, 즉 최근 행동이나 기타 특성을 통해 회사 제품의 구독을 취소하거나 구매를 중단할 가능성이 높은 고객을 식별한 다음 A/B 테스트를 실행하여 고객 유지 캠페인이 이 그룹에 효과적인지 확인합니다. 이는 이해할 수 있는 전략이지만, 제가 조사한 바에 따르면 마케팅 담당자가 잘못된 결정을 내려 전체 유지율과 마케팅 지출에 대한 ROI를 실제로 감소시킬 수 있기 때문에 심각하게 비생산적일 수 있습니다.
특히 저는 사용자 유지 캠페인을 시행하는 두 대기업과 현장 테스트를 실시했습니다. 내 연구의 첫 번째 부분에서 두 회사 모두 이탈률 감소 개입을 개발한 다음 총 14,000명이 넘는 고객을 대상으로 이탈을 추적하는 A/B 테스트를 실행했습니다. 한 그룹의 고객은 개입을 받도록 무작위로 할당되고 다른 그룹은 그렇지 않았습니다. 다음으로, 회사와의 최근 활동 및 참여, 회사 고객으로 활동한 기간, 위치 및 사용자 이탈 위험을 예측하는 데 사용되는 기타 지표를 포함하여 풍부한 고객 정보 세트를 수집하고 이러한 특성 중 어떤 것이 사용자 유지 캠페인에 대한 긍정적인 반응과 상관관계가 있는지 테스트했습니다.
두 회사 모두에서 이탈 위험이 가장 높은 것으로 식별된 고객이 반드시 유지 프로그램의 가장 좋은 대상은 아니라는 사실을 발견했습니다. 실제로 고객의 이탈 위험 수준과 개입에 대한 민감성 사이에는 상관관계가 거의 없었습니다. 데이터는 각 개입에 강력하게 반응한 뚜렷한 고객 그룹(개입을 받은 후 이탈 가능성이 낮은 것과 관련된 특정 행동 또는 인구통계학적 특성을 가진 고객)이 있음을 보여 주었지만, "매우 민감한" 그룹은 "이탈 위험이 높은" 것으로 식별된 고객과 사실상 중복되지 않았습니다. 그리고 이는 ROI에 심각한 영향을 미칩니다. 제가 분석한 바에 따르면 두 회사가 "이탈 위험이 높은" 그룹이 아닌 "매우 민감한" 그룹을 대상으로 동일한 양의 마케팅 예산을 지출하면 이탈률이 각각 5%와 8% 더 감소하는 것으로 나타났습니다.
물론 고객이 유지 캠페인을 더 잘 받아들이게 만드는 구체적인 요인은 조직마다, 심지어 캠페인마다 다르지만 위에서 설명한 대로 실험을 실행하면 특정 캠페인에 대한 고객의 민감성을 가장 잘 예측할 수 있는 특성을 식별하는 데 도움이 될 수 있습니다.
예를 들어, 제가 연구한 조직 중 하나는 지난달에 고객이 건 통화 수, 보낸 메시지 수, 다운로드한 기가바이트의 데이터 등과 같은 행동 지표에 대한 세부 데이터에 액세스할 수 있는 통신 회사였습니다. . 이 회사의 경우, 데이터에 따르면 고객이 가장 최근에 회사와 상호 작용한 방식이 중단 위험 수준을 예측했지만 개입에 대한 민감도에는 영향을 미치지 않은 것으로 나타났습니다. 민감도를 예측한 것은 데이터 사용량이었습니다. 즉, ROI를 극대화하려면 기업이 오랫동안 참여하지 않은 고객이 아닌 가장 많은 데이터를 사용한 고객을 대상으로 유지 캠페인을 타겟팅하는 것을 고려해야 함을 시사합니다.
그렇다면 이는 마케팅 담당자에게 무엇을 의미할까요? 핵심 통찰력은 마케팅 캠페인이 캠페인이 없을 때 고객이 무엇을 할 것으로 예상되는지가 아니라 캠페인에 대한 각 고객의 예상 반응을 기반으로 타겟팅되어야 한다는 것입니다. 어떤 의미에서 마케팅 담당자는 의사와 같습니다. 의사는 사망 가능성이 가장 높은 환자에게 무작위 치료법을 처방하는 것이 아니라 해당 치료법에 가장 긍정적으로 반응할 가능성이 가장 높은 환자에게 특정 치료법을 처방합니다.
마케팅 담당자는 고객이 무엇을 할 것인지 예측하는 대신(즉, 이탈 위험을 파악하려고 시도하는 대신) 다양한 유형의 고객이 특정 캠페인에 어떻게 반응할지에 초점을 맞춘 다음 특정 고객 그룹의 이탈을 줄이는 데 가장 효과적인 캠페인을 설계해야 합니다. 기업은 A/B 테스트 데이터를 활용하여 모든 고객을 대상으로 캠페인의 전반적인 효과를 측정할 뿐만 아니라 어떤 유형의 고객이 특정 개입에 가장 민감한지 알아내야 합니다. 이는 고객 인구통계 및 과거 거래 데이터를 A/B 테스트를 통해 수집된 데이터와 결합하여 고객이 특정 캠페인에 가장 반응할 가능성이 높은 행동 및 특성을 식별하는 것을 의미합니다. 운 좋게도 많은 기업이 이미 이 모든 데이터를 수집하고 있습니다. 이를 새로운 방식으로 활용하기만 하면 됩니다.
———————————————–
타겟 마케팅 캠페인의 개념은 새로운 것이 아닙니다. 하지만 타겟 결정을 내리는 방법에 대해 신중하게 생각하는 것이 중요합니다. 누군가가 강력한 표적이라는 것을 나타내는 요인이 무엇인지 단순히 추측하거나 우선순위가 높은 그룹(예: 이탈 위험이 높은 고객)에 초점을 맞추는 대신 기업은 특정 개입에 가장 취약한 고객을 표적화해야 합니다. 그들은 시행하고 있습니다. ROI를 극대화하려면 마케터는 "이 개입이 효과적인가?"라는 질문을 멈춰야 합니다. 그리고 “이 개입은 누구에게 가장 효과적인가?”라고 묻기 시작합니다. – 그런 다음 그에 따라 캠페인을 타겟팅합니다.
에바 아스카자 하버드 경영대학원 경영학과 부교수이다.
