[Data] p-value Revisited, p-hacking이란?

참고 : https://yeomko.tistory.com/37

p-value, 검정력에 대한 내용을 다시 복습해보며, p-hacking에 대해 알아보자

p-value의 해석 및 p-hacking이란?

아무튼, 분석을 했다고 생각해보자.

유의 수준이 0.05고.. p값은 0.05보다 작게 나왔다. 주어진 데이터에서 귀무가설이 참일 확률은 5% 이하....?

이렇게 생각하면 큰일난다!

우리는 p-value를 해석할때에는, 귀무가설이 참이라고 할 때, 현재의 데이터를 얻을 확률이라고 생각해야 한다.
이전에, p-value에 대해 알아보았을때 p-value의 정의를 내가 뽑은 통계량이 귀무가설에 따라 나올 확률이 몇%인가? 라고 했었다. 이것이 귀무가설이 참일 확률을 말하지는 않는다. 주의하자!
즉, p-value를 통해 대립가설이 참일 확률을 추론해서는 아니다. 

또한, 원하는 결과를 얻기 위해  
- 데이터 획득 과정에서 임의로 멈춘다.
- 데이터 분석 방법을 임의대로 다양하게 변화시킨다.
- 데이터 구조를 변화킨다.
유의 수준 이하의 p-값을 (어거지로) 얻으려는 행동을 해서는 안된다!

p-value와 검정력

p-value만 고려하면 되는 것일까? p-value만 고려한다는 것은 제 1종 오류만을 고려한다는 것이다. 정말로, 제 2종 오류를 고려하지 않고, 통제하지 않아도 괜찮은 걸까?

다시 한 번, 귀무가설의 가걱 상황을 보자.

	귀무가설은 참이다.	귀무가설은 거짓이다.
귀무가설을 기각하지 않음	올바른 결정	제 2종 오류 (발생확률 : β)
귀무가설을 기각함	제 1종 오류 (발생확률 : α)	올바른 결정 검정력 : 1 - β

여기서 기각역과 검정역에 대해 그림을 통해 알아보면 다음과 같다.

가설의 검정에서는, 제 1종 오류와 제 2종 오류를 최소화하고 싶고, 이를 최소화 시키는 임계값을 잘 결정해야 할 것이다. 하지만, 임계값이 높아지면, 채택역의 넓이가 넓이진다. 즉, 제 2종 오류를 범할 확률이 올라가며 검정력이 낮아지고, 임계값을 낮게 설정하면 제 1종 오류를 범할 확률이 올라간다.  즉 α를 고정 시키는 상황에서, 검정력을 최대화 시키는 방향으로 임계값을 결정해야 한다.

검정력에 대해서 조금 더 정리하자면, 검정력은 대립가설이 사실일때, 이를 사실로서 받아들일 확률이다. 귀무가설의 분포를 따르지 않고, 대립가설의 분포를 따른다는 점이다. 즉, 위의 그림에서 임계값의 이하 범위에 들어간다는 것은, 대립가설의 분포를 따르기에 값이 충분히 크지 않아 귀무가설을 기각할 수 없다는 의미이다. 따라서 채택역에 들어간다는 것은, 대립가설 상황에서, 오히려 귀무가설의 분포가 더 적합해, 귀무가설을 기각하지 못할 확률을 의미한다. 이것은 제 2종 오류에 해당한다. 

실전에서는 대립가설을 우리가 원하는 연구 가설로 잡는 경우가 많기 때문에, 이를 설명력으로 부르는 것은 참 적절한 이름이라는 것을 느낄 수 있다.