[Stat] 다중 검정이란?

들어가기 - t test를 여러 집단에 사용해도 괜찮은가?

T-test는 기본적으로 두 집단의 평균을 비교하기 위해 사용된다. 하지만 이런 생각을 해 볼 수 있을 것이다.
" 두 집단에 대한 비교라면, 여러 집단에서도 두 개씩, 쌍을 지어 비교하면 안 되는가?"

이렇게 했을때의 문제점이 무엇인지부터 고려하자.

1종오류를 고려하자.

귀무가설이 참인데, 이를 기각하게 되는 확률을 "1종 오류"라고 한다. 우리는 1종 오류를 범할 확률을 계산해보려고 한다.

- 만일, 두 집단에 대해서만 평균 비교를 진행한다면?, 1종 오류를 범할 확률 = 유의 수준

- 만일, 세 집단에 대해서 평균 비교를 진행한다면? 
  1종 오류를 단 한번도 범하지 않을 확률은,  (1- 유의수준)^3이 된다. 3승을 한 이유는, 비교가 3번 이루어지기 때문이다.  그러면, 1종 오류를 범할 확률은 앞에보다 커지게 된다. 

- 집단의 개수가 더 많아진다면? 1종 오류를 범할 확률은 더 커지게 된다.

따라서, 올바른 해석을 위해서는 다른 방법이 필요할 것이다. 

극복방법 - 보정!

따라서 있는 그대로 유의수준을 사용하는 것이 아닌 보정을 통해 이 문제를 해결해 볼 수 있을 것이다.

보정방법 I : 본페르니 검정(Bonfferoni 검정)

IDEA > 유의 수준을 총 검정의 수로 나누어주는 간단한 IDEA를 활용한다.

본페르니 검정에서 보고 싶은 것은, 각 가설별로의 유의수준 검정이 아닌, "하나라도 잘못 기각할 확률"에 대한 통제를 진행하게 된다. 다시 말해, 유의 수준을 총 검정의 수로 나누어주었기에, 하나라도 잘못 기각할 확률을 주어진 유의 수준 정도로 통제하게 된다.

* 하나라도 잘못 기각할 확률 :  FWER(Family-Wise 1 Error Rate)

* 본페르니 검정의 단점

이를 이해하기 위해서는 먼저 검정력과 제 2종 오류에 대해 이해해야 한다.

제 2종 오류란, 실제로 거짓인 귀무가설을 기각하지 않는 오류를 말한다.
제 2종 오류가 발생할 확률을 β라 표기한다면, 검정력을 (1-β)라 두게 된다.

본페르니 검정을 진행할 경우, 제 1종 오류에 대해서 지나치게 엄격한 기준을 두었기에, 실제로 기각되어야 하는 귀무가설이 기각되지 않아, 제 2종 오류를 발생시킬 가능성이 증가하게 된다. 이런 단점을 해결하기 위한 방법 중 하나가 밑에서 소개하는 Holm's Step-Down 검정이다.

보정방법 II : Holm's Step-Down 검정

본페르니 검정에서, FWER을 유지하면서, 검정력을 높이는 방법 중 하나가 Holm's Step-Down 검정이다.

각 검정 쌍별로 p-value가 계산이 되면, p-value를 낮은 순으로 정렬한다.
이후, 각 순위별로 다른 유의 수준을 제시하여, 해당 유의수준을 기준으로 귀무가설이 기각되는지를 확인한다.

m은 검정하는 가설 총 개수, i는 현재 가설 수

보정방법 III : Tukey's HSD

또 다른 방법으로 Tukey's HSD를 들 수 있다. 이는 ANOVA에서 사용하게 되는 "사후 검정 방법"이다.

ANOVA는 기본적으로, 세 그룹 이상에서 그룹간 평균의 차이가 있는지 없는지에 대해 논하게 된다. 그런데, 문제는 ANOVA만 사용해서는 구체적으로 "어느 그룹에 차이가 있는가"를 알기가 어렵다. 이를 해결하기 위해 Tukey's HSD를 도입할 수 있다.

실습

Tukey's HSD에 대해 간단한 실습을 진행하였다.

https://github.com/SeongwonTak/TIL_swtak/blob/master/DataScience/2022_TIL/0228_Multiple_Testing_Tukey_HSD.ipynb