[Data] Bayesian AB Test

참고 링크
https://yozm.wishket.com/magazine/detail/1034/

A/B 테스트를 하는 대표적인 두 가지 방법

A/B 테스트를 하는 대표적인 두 가지 방법론은 다음과 같다.
- 빈도론
- 베이지안론

여기서는, 베이지안 관점에서의 A/B Test는 어떻게 해석이 되는지 알아보고자 한다.

기존의 빈도론적인 방법에서의 단점?

- P-value를 어떻게 해석할 것인가?
- 개선폭이 적으면 귀무가설을 채택하려는 경향이 있다.
- 차이가 얼마가 나던, False Positive를 동일하게 평가해버린다.
- 결정적으로, 대안이 원본보다 나을 확률에 관해 대답하고 싶을때, 빈도 주의적 방법으로는 접근하기 어렵다.

대안 : Bayesian A/B Test!

작은 개선도 잡아낼 수 있는 Bayesian A/B Test를 활용하게 된다. 

Bayesian A/B Test는 크게는 다음 3개의 단계로 구성된다.

1) AB 테스트 결과에 따른 사후 확률 계산 
2) 사후 확률에 대한 판단
3) 판단 결과에 따른 실험 종료/계속 예부 판단

1단계 : 사후 확률 계산

사후 확률 계산을 하는 방법은 여러가지가 있으나, 대표적으로
- 베타 분포를 이용한 방식
- 표본 시뮬레이션 : MCMC(Markov Chain Monte Carlo)

EX) 베타 분포의 사용

AB 테스트의 전환율은, 이항 분포 형태를 가졌으므로, 베타 분포를 켤레 사전 분포로 쓰기 좋다.
전환 수와 비전환수를 바탕으로 베타 분포를 구하게 된다.

2단계 : 사후 확률 판단

- ROPE : 통계적 유의성에 따라 결과를 판단하는 방식
- 예상 손실 측정 방식 : 원본과 대안의 결정에 따른 전환율 손실을 분석