아카데미
숫자는 다르지만, 채널은 하나: 측정 관점에서 AppLovin 이해하기
우리는 광고주들과 측정에 대해 많은 이야기를 나눕니다. 측정이 퍼포먼스 마케팅에서 가장 흥미로운 주제이기 때문은 아닙니다. 오히려 혼란이 가장 많이 발생하는 영역이기 때문입니다. 그리고 예산이나 크리에이티브보다도 이러한 혼란이야말로 브랜드가 특정 채널의 가치를 최대한 활용하지 못하게 만드는 가장 큰 장애물인 경우가 많습니다.
이러한 대화는 대체로 두 가지 방향으로 흘러갑니다. 한쪽에서는 AppLovin 플랫폼 내 성과는 매우 우수하게 보이는데, 제3자 측정 도구에서는 그 성과가 제대로 확인되지 않는다고 이야기합니다. 반대로 어떤 광고주들은 MMM(Marketing Mix Modeling) 결과에서 AppLovin의 기여도가 플랫폼 자체 보고 수치보다 더 높게 나타난다고 말합니다. 하지만 결국 두 경우 모두 같은 결론에 도달합니다. 이러한 수치 차이는 어느 한쪽이 맞고 다른 한쪽이 틀렸다는 뜻이 아닙니다. 각 측정 방식이 바라보는 관점이 다르다는 것을 보여줄 뿐입니다.
하나의 숫자가 모든 것을 설명해 주길 기대하지 마세요
이를 이해하는 가장 쉬운 방법이 있습니다. 한 고객이 화요일 오후 모바일 게임을 하던 중 AppLovin 광고를 보았다고 가정해 보겠습니다. 하지만 광고를 클릭하지는 않았습니다. 3일 후, 그 고객은 Google에서 해당 브랜드를 검색해 웹사이트에 방문한 뒤 구매를 완료합니다. 같은 캠페인에 노출된 그의 룸메이트는 금요일에 DTC 사이트를 방문하지 않은 채 Amazon에서 해당 제품을 구매합니다.
현재 AppLovin의 플랫폼 내 리포트는 이 두 전환을 모두 포착하지 못합니다. 클릭 기반 어트리뷰션은 클릭이 있어야만 전환을 집계하는데, 이 경우 클릭이 발생하지 않았기 때문입니다. 반면 MTA 도구는 Google 검색을 포착해 해당 전환의 기여를 인정할 수 있으며, 경우에 따라 상위 퍼널의 다른 접점에도 일부 기여도를 배분할 수 있습니다.
MMM은 AppLovin 광고 집행이 Amazon 구매를 포함한 전반적인 수요 증가와 상관관계가 있다고 판단할 수 있습니다. 구매 후 설문조사는 해당 고객들이 설문 대상이 아니었기 때문에 둘 다 포착하지 못합니다. 반면, 적절하게 설계된 증분 효과(Incrementality) 테스트만이 이 전환들 중 실제로 캠페인이 없었다면 발생하지 않았을 전환이 얼마나 되는지를 통계적으로 신뢰할 수 있는 수준에서 보여줄 수 있습니다.
이들 중 어느 결과도 틀린 것은 아닙니다. 단지 서로 다른 것을 측정하고 있을 뿐입니다.
결국 중요한 것은 하나의 숫자에 의존하는 것이 아니라 여러 측정 결과를 함께 해석하는 것입니다. 그렇게 할 때 광고 성과를 더욱 정확하게 이해하고 더 나은 의사결정을 내릴 수 있습니다.
AppLovin이 만들어내는 성과의 절반은 대시보드에 나타나지 않습니다
전자상거래 브랜드를 대상으로 AppLovin의 성과를 분석하고 있는 Fospha는, 라스트 클릭 및 MTA 모델이 AppLovin의 실제 기여도를 상당히 낮게 평가하는 경향이 있다고 밝혔습니다. 이는 AppLovin이 해당 측정 방식으로는 충분히 포착하기 어려운 고객 발견 단계에서 영향을 미치기 때문입니다.
Prescient의 MMM 벤치마크 시리즈는 여기에 또 다른 관점을 더합니다.
“AppLovin을 사용하는 고객군을 분석한 결과, 모델링된 가치의 약 50%가 헤일로 효과에서 발생하는 것으로 나타났습니다. 이는 Meta(약 42%)나 Google(약 40%)보다 높은 수준입니다. 또한 이 헤일로 효과의 거의 절반은 Amazon에서 발생합니다. Amazon 매출 비중이 높은 브랜드의 경우 그 효과는 더욱 두드러지며, 헤일로 효과가 모델링된 가치의 약 60%까지 차지합니다. 이는 충분히 설명 가능한 결과입니다. AppLovin은 모바일 환경에서 구매 의도가 높은 사용자를 확보하고, 이들이 이후 익숙한 구매 채널인 Amazon에서 전환을 완료하기 때문입니다.” - Will Holtz, Prescient COO & CTO
두 파트너사의 분석은 같은 결론에 도달합니다. AppLovin의 플랫폼 내 리포팅은 보수적으로 측정되며, 실제 성과는 라스트 클릭 모델이 보여주는 것보다 훨씬 더 큰 범위에서 발생하고 있습니다.
AppLovin의 실제 영향력은 플랫폼 리포트가 보여주는 것보다 더 빠르게 커지고 있습니다
첫 번째 증분 효과 테스트가 진행된 이후 지난 17개월간 AppLovin 관련 테스트 결과가 꾸준히 축적되어 왔습니다. 이를 분석한 결과, 몇 가지 주목할 만한 점이 드러났습니다.
우선 테스트 설계와 운영 방식이 시간이 지나면서 크게 개선되었습니다. 광고주들은 이제 홀드아웃(Holdout) 그룹이 어떤 역할을 하는지, 테스트 기간과 지역 간 균형이 왜 중요한지, 그리고 신뢰할 수 있는 결과를 얻기 위해 어떤 조건이 필요한지 점점 더 잘 이해하게 되었습니다. 또한 대부분의 테스트 설계를 사전에 검토하기 때문에, 충분한 규모를 확보하지 못했거나 지역 간 균형이 맞지 않는 테스트가 진행되는 경우도 크게 줄었습니다. 이러한 변화는 하나의 눈에 띄는 수치로 나타나지는 않습니다. 대신 브랜드가 결과를 신뢰하고 실제 의사결정에 활용할 수 있는 수준의 테스트 결과로 이어지고 있으며, 해석에 신중을 기해야 하는 결과는 점점 줄어들고 있습니다.
플랫폼 측면에서도 중요한 변화가 나타나고 있습니다. 지역 기반 홀드아웃 실험을 통해 측정한 iROAS와 AppLovin 플랫폼에서 보고되는 ROAS 간의 차이는 지난 1년 동안 두 배 이상 확대되었습니다. 현재 플랫폼 내 리포팅은 클릭 기반 어트리뷰션만을 집계합니다. 그리고 플랫폼이 보고하는 성과와 통제된 실험을 통해 확인되는 실제 성과 간의 격차는 앞서 언급한 제3자 측정 결과들과도 일관된 방향을 보여주고 있습니다. 즉, AppLovin이 만들어내는 성과의 상당 부분은 플랫폼 자체 리포트에는 나타나지 않고 있습니다.
아직 테스트를 진행할 준비가 되지 않았다고 해서 최적화를 멈출 필요는 없습니다
지속적으로 좋은 성과를 내는 브랜드들은 증분 효과 테스트에도 여러 전제 조건이 따른다는 점을 잘 이해하고 있습니다. 홀드아웃 규모, 예산 수준, 테스트 기간, 지역 구성, 캠페인 안정성 등 다양한 요소가 결과에 영향을 미칩니다. 그중에서도 몇 가지 기준은 반드시 충족되어야 합니다. 테스트를 시작하기 전에 캠페인이 학습 단계를 벗어나 안정적으로 운영되고 있어야 하며, 홀드아웃 그룹은 일반적으로 전체 지역의 20~50% 규모로 설정됩니다. 또한 모든 테스트는 최소 90%의 통계적 신뢰도를 확보할 수 있도록 설계됩니다. 캠페인이 아직 최적화 과정에 있거나, 충분한 규모 없이 시작된 테스트는 아무리 분석이 정교하더라도 신뢰하기 어려운 결과를 낼 가능성이 높습니다. 그렇기 때문에 AppLovin은 모든 테스트 시작 전 공식적인 사전 준비 검토 과정을 진행합니다.
브랜드의 예산이 명확한 결론을 도출하기에 충분하지 않은 경우에도 단순히 기다리라고 조언하지는 않습니다. 대신 신뢰할 수 있는 결과를 얻기 위해 필요한 최소 일일 예산을 산정하고, 그동안 활용할 수 있는 다른 신호들을 함께 살펴봅니다. 여기에는 MTA 트렌드, MMM 결과, 플랫폼 내 성과 데이터 등이 포함됩니다. 동시에 향후 증분 효과 테스트를 안정적으로 진행할 수 있는 환경을 갖추도록 지원합니다. 테스트 사이의 기간에도 이러한 다양한 신호를 활용해 맥락을 유지하고, 성과 변화의 방향성을 파악하며, 보다 입체적인 성과 분석을 이어갑니다.MER(Marketing Efficiency Ratio)은 가장 단순한 지표 중 하나입니다. 총 매출을 총 마케팅비로 나눈 값으로, 어떤 채널에 기여도가 배분되는지는 중요하지 않습니다.
중요한 것은 비즈니스가 투자한 것보다 더 큰 성과를 만들어내고 있는지 여부입니다. 이러한 측정 도구들을 함께 활용할 때 가장 큰 가치는 여러 신호를 종합적으로 해석하는 데 있습니다. 모든 결과가 같은 방향을 가리킨다면 높은 확신을 가질 수 있습니다. 반대로 결과가 서로 다르다면, 그것은 측정 체계, 전환 경로 또는 현재의 비즈니스 상황에 대해 중요한 단서를 제공하고 있는 것입니다. 어느 경우든 채널을 의심해야 한다는 뜻은 아닙니다. 오히려 채널을 더 깊이 이해할 기회에 가깝습니다. 그리고 우리의 경험상, 더 자세히 들여다본 브랜드일수록 예상보다 더 많은 인사이트를 발견하곤 합니다.