A/B Test

 

A/B Test 목적

 

서비스 개선에 있어서 더 효율적이라고 생각되는 가설을 적용할 때 혹시라도 오히려 이탈율을 높이는 요인일 가능성으로 고객을 놓치는 손해를 줄이기 위해서 일부에게만 미리 테스틀해서 효과를 검증한 후에 전체 서비스에 적용하기 위한 분석 방법이다.

 

A/B Test 분석 과정

 

1. 가설 설정

상세하고 측정이 가능하게 설정해야 한다.

예) 
• 귀무가설 최저가를 강조하면 CTR에 변화가 없다.
• 대립가설 최저가를 강조하면 CTR이 높아진다.

 

2. 샘플링
• 표본 수를 높여 2번부터 반복
• 단순 샘플링 (Simple Random Sampling) : 단순 랜덤으로 샘플을 추출
• 계통 샘플링 (Systematic Sampling) : 모집단 데이터에 1~n 개의 번호를 임의로 매긴 다음 일정 간격마다 데이터 추출

대부분 Product Owner 등 다른 부서와 논의하에 샘플링 수집 방법을 정한다.

3. 유의성 검정

카이제곱 분포(P-Value), 단일검정, 양측검정...

4. Winner 선정 (귀무가설 vs 대립가설)

표본 수(10만-> 20만...)를 높여서 2~3번 과정을 반복하고 Winner가 동일한지 확인

Winner를 선정할 지표를 확실하게 설정해야 한다.

5. 전체 서비스에 반영
6. 사후 분석
도출된 인사이트, 성과 등을 기술한다.

 

---

A/B Test를 시행하게 되면 상당한 리소스(새로운 개발작업, 비용 등)가 소모되기도 하고 도메인,프로덕트, 비즈니스 모델에 따라서 필요하지 않은 경우도 있어 모든 기업에서 반드시 하고 있지는 않는다. 그러나 이를 통해 데이터로 어떤 방법이 더 효과적인지 확인하고 그에 따른 서비스 개선을 할 수 있기 때문에 소요되는 리소스만큼이나 분명히 얻을 수 있는 인사이트가 있는 방법인 것 같다.