[Data] A/B Test란?

A/B Test란 무엇인지, 어떻게 구현될 수 있는지, 실제 활용 (특히 게임쪽)에서 어떻게 사용될 수 있는지 한번 알아보고 공부하고자 한다.

A/B Test란 무엇인가?

A/B Test란, 새로운 업데이트나 UI, 알고리즘 등의 효과를 확인해보고 싶을 때 사용할 수 있는 실험 방법론이다.
기본적으로 실사용자를 '대조군'과 '실험군'으로 나누어 새로운 알고리즘을 적용했을때의 효과를 비교해보게 된다.

A/B Test의 진행 방법

A/B Test의 기본 4단계 과정은 다음과 같다.

가설 설정 -> Metric 정의 -> 실험 설계 -> 결과 도출

1] 가설 설정

새롭게 적용하려는 대상과 관련된 가설을 설정한다.
Ex) 다운로드 버튼 배치를 기존 좌측에서 우측으로 바꾸면 다운로드 수가 증가할 것이다.

2] Metric 정의

가설을 검정하는데 필요한 측정 기준을 Metric으로 둔다.
Ex) 다운로드 수를 Metric으로 둔다.

Remark/하나의 가설에 대해 두 개 이상의 Metric이 사용될 수 있다.

3] 실험 설계

실험 환경의 경우는, 검증할 요소 이외에 다른 요소들은, 기존 환경과 동일하게 만들어줘야 한다.

또한, 전체 대상을 랜덤하게 두 집단으로 나누다. 이 때, 하나의 집단은 기존 환경에, 다른 하나의 집단은 실험 환경에 배정한다.

4] 결과해석

실험 설계가 완료되면, 두 집단에 대해 미리 정의한 metric을 계산한다. 그 후 통계적 가설검정 방법을 활용하여, 두 집단에 유의미한 차이가 있는지 검정을 진행한다. 주로 t-검정을 활용한다.

A/B테스트의 장단점

장점

1 ] 실제 상황에서, 고객의 실제 행동을 측정할 수 있다.

2 ] 빠르고 여러 번 테스트를 수행할 수 있으며, 이에 대한 리스크가 적다.

단점

1 ] A/B 테스트의 결과는 시간의 흐름(계절의 변화나 유저 취향의 변화 등등)에 따라 달라질 수 있다.
즉, A/B 테스트를 통해 얻은 결론이 영원히 유효하지는 않다.

2 ] A/B 테스트는 실험 설계 방법 특성상, 기존 상태에서 한가지의 변화만 일어나므로, 점진적으로는 더 좋은 선택을 찾을 수 있지만 전역적으로는 최고의 방법을 찾기 어려울 수 있다.

3 ] 또한, 더 나은 것을 선택했다는 사실은 알게 되어도 이에 대한 근본적인 이유를 알기는 어렵다.