[Data] A/B 테스트 개념 다지기

https://taksw222.tistory.com/229
이 글을 통해 A/B 테스트의 실제 예시를 다룬 적이 있습니다.
이 글에서는 조금 더 이론적인 부분이나 생각할 부분에 집중하여 A/B 테스트를 한번 더 알아보겠습니다.

들어가기

우리가 A/B 테스트를 진행할 때 단순히 A안과 B안을 비교해서 어디가 더 낫네, 그래서 뭘 하네 이렇게 단순히 끝내고 싶지는 않을 것입니다. 

자, 데이터 분석가가 아닌 그냥 결과를 보는 사람 입장에서 생길 수 있는 다양한 의문점들을 봅시다.

- 겨우 1% 차이인데, 이거 의미 있는거 맞아?
- 이거 정말 A를 B로 바꾸면 개선되는거 맞지? 우연은 아니지?
- 다른 고객들에게 적용해도 되는 이야기지?

등등, 다양한 합리적인 의심(?!)을 할 수 있습니다. 우리는 이것에 대한 이야기를 해 볼 것입니다.

Traffic의 크기에 대하여

통계학적으로 표본의 크기가 커지면 A, B 집단의 차이가 작더라도 충분히 유의미하다는 결론을 얻을 수 있습니다. 그렇다면 질문은 대체 Traffic을 얼마나 모아야 하는가? 입니다. 즉 충분한 traffic이 모인다면 우연이 아니라 정말 차이라고 확신할 수 있을 것이고, 의심은 덜어질 것입니다. 하지만 얼마나 많은 고객들에게 A/B 테스트를 집행해야 할까요?

이 질문은 바꿔 생각해보면 "얼마나 유의미한 차이를 희망하는가?" 입니다 공식을 생각해보면 납득할 수 있을 것입니다.

위의 식에서 p1-p2  > 0 임을 "가설검정 하는 것이" A/B Test의 통계적 목표라고 생각할 수 있습니다. 모분산을 추정할 수 없어 합동표본분산을 활용합니다. 우리가 보려는 차이가 크다면 표본의 개수가 작아도 충분히 z값은 커져, 유의미한 결과라고 도출할 수 있고, 차이가 작다면 그만큼 표본이 많이 필요합니다.

따라서 표본의 개수를 도출한다는 것은 어느 정도의 전환율 차이가 필요한지에 대한 질문과 동일합니다.

전환율의 차이를 잡는다는 것, 이것은 서비스 환경/트래픽에 따라 달라질 것입니다.

Case A > 트래픽이 10만명이라면, 전환율이 1%만 차이나도, 전환 고객의 차이는 1000명 입니다. 평균 객단가가 1만원이다? 천만원 이득입니다. 
Case B> 트래픽이 1천명일 때, 전환율의 1% 차이는 고작 10명입니다. 객단가가 1만원이면 10만원... 이정도면 의미가 없겠군요. 광고비 집행이 더 클 수도 있습니다.

따라서 집행 광고비, 트래픽 등에 따라서 목표 전환율이 달라집니다. 비즈니스 상황에 맞는 목표 전환율을 통해 A/B 테스트를 설계해야 합니다.

지표 설정

우리는 A/B 테스트가 항상 성공한다고 볼 수 없습니다. 실패할 수도 있습니다. 그러면 왜 실패했는지, 다른 변화는 없는지 등을 다른 지표로라도 살펴봐야 할 것입니다. 이를 위해 고려할 지표들을 정리하고, 조금 더 유의미한 A/B 테스트 설계를 진행해보겠습니다.

1) 메인 지표 : A/B 테스트 성공, 실패를 판단하는 메인 지표(전환율 등) 입니다.
2) 보조 지표 : 메인 지표의 변화가 애매하거나, 혹은 성공했어도 추가적 의미를 판단하기 위해 보는 지표
3) 가드레일 지표 : 떨어지면 안 되는 지표

예를 들어 가드레일 지표에는 변화가 없거나 하락은 없는데, A/B 테스트의 결과가 실패라면, 서브 지표를 통해 추가 인사이트 발굴이 가능할 것입니다. 혹은 가드레일이 떨어졌다면 해당 변화를 만들면 안 되겠죠. (물론 상황에 따라서는 메인 지표 변화가 더 큰 이득을 준다면야...) 이렇게 여러 지표들을 나누어 A/B 테스트를 보다 심층적으로 진행할 수 있습니다.