A/B 테스트란



본 내용은 A/B테스트 기법 1강 - A/B테스트란강의를 정리한 내용입니다.


A/B 테스트

조사 방법론에 따르면 관점에 따라 여러 유형으로 나누어 진다. 그 중 가장 많이 사용되는 방법이 종단적, 횡단적 연구이다. 사람들이 가입, 서비스 사용과 상관없이 임의로 나누어서 비교 분석하는 것이 횡단적 연구인데, A/B 테스트는 횡단적 연구 방법 중 하나이며, 고객 비교 분석에 가장 많이 사용된다고 한다.

고객 분석 테스트 유형


  • 종단적 연구: 시간의 흐름에 따라 조사대상이나 상황의 변화를 측정 + 반복(2회 이상)
    • 코호트 분석: 사람이 사용한 정도에 따라서 나누어 비교 분석
      (코호트: 특정 기간 동안 공통된 특성이나 경험을 갖는 사용자 집단)
  • 횡단적 연구: 일정 시점에서 서로 다른 특성을 지닌 표본 집단을 대상 + 1회
    • A/B 테스트
    • 다변량 분석: 여러 옵션을 한 번에 테스트하고 싶을 때 활용 (A/B 테스트보다 복잡)

  • (참고) 그외 테스트 :
    - FGT (Focus Group Test): 전반적인 이해도가 있는 소수그룹을 운영하여 컨텐츠를 집중적으로 실험 (정성조사 방법)
    - MAB알고리즘: 강화학습의 하나로, 결과를 보면서 집단을 선택적으로 조절하는 알고리즘. A/B 테스트에서의 집단 크기를 조율하며 진행


A/B 테스트란?

  • 임의로 나눈 두 집단에게 서로 다른 컨텐츠를 제시한 후, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 정량적으로 평가하는 방식
  • ‘무작위 비교 연구’라 불리는 방법을 서비스에 적용한 방법론
  • 즉, 사용자가 좋아할 서비스를 찾기 위해, 사용자에게 더 유용한 방법을 찾기 위한 방법
  • 테스트 결과로 데이터 기반 의사 결정을 할 수 있음
  • 예) 똑같은 사이트인데 글을 더 읽도록 유도하는 버튼 디자인이 무엇일까?


A/B 테스트 과정

  1. 데이터 수집: 실험 대상 및 목표 설정에 도움
  2. 목표 확인 (목적 설정)
  3. 가설 생성
  4. 테스트 자료 생성: 가설에 따른 두 가지 포맷으로(ex. 버튼, 이미지 등 변경)
  5. 실험 대상 생성: 실험 대상자를 임의로 2개의 그룹(A/B)으로 분리
  6. 실험 실행: 각 포맷을 각 그룹에 나누어 제공
  7. 결과 분석: 포맷에 따라 각 그룹이 얼마나 반응했는지 판단
  8. 반영: 결과가 우수한 내용 실전 반영


A/B 테스트 배경

실무에서 고객들을 대상으로 임의로 하는 것이기에 대충하면 안 하느니만 못한 경우가 생길 수 있다. 실험이 어떤 배경을 갖고 있으며, 어떤 배경에서 이루어 질 것인지를 고려하여 한다. 하지만 실험을 할 때, 모든 환경을 컨트롤 할 수는 없다. 때문에 외부에서 생기는 요인과 내부적으로 컨트롤할 수 있는 요인들을 나누어 고려해야한다.

  • 내생성 vs 외생성
    • 내생성: 해당 시스템 내에서 결정되거나 생성되는 것
    • 외생성: 시스템 밖의 요소로 결정되거나 생성되는 것
    • 예) 우산 장수가 비가 많이 와서 우산을 팔러 나갔을 때,
      1. 비가 그치고 해가 쨍쨍해졌다.
      2. 대부분의 사람들이 우산을 갖고 나왔다.
      • 위의 예는 외생성이 많은 영향을 미침
      • 외생성 때문에 장사가 잘 될지 아닐지를 잘 알 수 없음
      • 추정도 어렵고 요인 분석도 매번 달라질 수 있음
      • 어떤 날씨 따른 최소/최대 판매량에 대한 근거를 만들어 놓는다면 재고관리 등에 도움이 될 것


  • 사용자의 행동
    • 많은 경우 여러 가지 요소가 복합적으로 작용
      • 외생성 및 고려하는 변수의 영향으로 명확한 요인 및 원인 분석이 어려움
      • 한 가지 요인만으로 달라지는 경우는 많지 않음
      • 외생성 예) “원래 사용자가 늘어나고 있는 추세였다.”, “원래 이 시즌에는 사용자가 많아진다.”, “이번에 휴일이 많았다.”, “프로모션 중이었다.” 등
    • 많은 실제 상황(실무)의 경우, 내생성을 위한 시스템을 일부 요소만으로 구축하기 어려움


  • 상관관계는 인과관계를 나타내지 않는다
    • 최대한 다른 요인을 제거함으로써 인과관계에 최대한 가까운 근거를 만들고자 함
    • 예시) 이번 업데이트로 인해 사용자가 증가하였다고 100%로 얘기할 수는 없지만, 그래도 “최소한 이번에 사용자가 증가한 것에 반 이상은 업데이트의 영향이다”라고 말 할 근거로 삼을 수 있음


솔루션

A/B 테스트를 할 수 있는 솔루션 예

  • Google Optimize - Maketing Platform (무료)
  • Adobe Target (유료)
  • Optimizely (유료)


주의사항

주의사항의 내용은 유투버 김TED님 - 주간 마케팅 3화 영상의 내용입니다. 원래 강의에 포함된 A/B Test에 대한 상세한 주의사항은 다음 글에 포함될 것입니다.

  • 정확한 목표 및 가설이 필요하다.
  • 대상은 임의로 나누어야 한다.
  • B/A 테스트가 아니다 (Before/After)
  • A/B 테스트는 목적이 아닌 수단일 뿐이다.
    • 산을 잘 올라가고 있는가는 말해주지만 어느 산을 올라야하는지는 말해주지 않는다.
    • 최적화의 도구 일 뿐이다.


참고 링크



Categories:

Updated:

Comments

You May Also Enjoy