[Prob] 우도(가능도) 최대우도 추정법

참고자료 및 출처
1. 프로그래머스 데브코스 인공지능과정 6주차 내용
2. https://www.youtube.com/watch?v=sOtkPm_1GYw
3. https://jjangjjong.tistory.com/41 
4. http://contents.kocw.or.kr/KOCW/document/2015/chungbuk/najonghwa/3.pdf   
5. https://everyday-image-processing.tistory.com/30

   

들어가면서

다음과 같은 문제를 풀고 싶다.
공이 200개가 있는 항아리가 있다. 여기에는 분명하게, 흰 공과 파란 공만이 섞여 있다. 여기에서 공을 20개를 뽑았다.  뽑은 20개의 공 중 흰 공은 8개다. 전체 항아리에는 파란 공이 몇 개 들어 있을까?

우리는 본능적으로 답이 120개일거 같다는 직관이 든다.  이를 어떻게 설명할 수 있을지 알아보자.

 

확률 vs 가능도

먼저 확률과 가능도의 차이에 대해 알아보자. 연속확률 분포일때에 대해서 고려한다.

확률

확률은, 주어진 확률분포에서 원하는 관측값이 일어날 수 있는 가능성을 의미한다.
예를들어, 표준정규분포에서 관측값이 0이상 1 이하로 나올 확률, 이런 것을 구할 수 있을 것이다.
그리고 이는, 해당 구간의 면적으로 주어지게 된다.

가능도

반면, 가능도의 경우는 어떤 값이 관측되었을 때, 이것이 어떤 확률분포에서 왔는지를 보고 싶은 것이다. 예를 들어, 0이라는 값이 표준정규분포에서 어떤 확률로 나왔을 것인가를 보는 것이고, 이는 연속 확률분포의 함수값으로 결과값이 나오게 될 것이다.

 

최대우도추정법이란?

그러면 대체, 최대우도 추정법은 뭐를 하려는 것인가?

최대우도 추정법이란, 각 관측값에 대한 총 가능도가 최대가 되게 하는 분포를 찾는 것이다. 즉, 관측값의 집합이 주어질 때, 이렇게 관측될 가능성이 가장 큰 확률 분포를 찾는 방법이다.

정의를 다시 해보면 다음과 같다.

여기서, 로그 가능도 함수를 생각해도 문제가 없는 이유는, 로그 함수가 단조증가하는 함수이기 때문이다.

 

들어가면서를 풀어보자

파란 공이 나올 확률을 p라고 하자. 그러면 위의 사건이 일어날 확률은 p* = 20C12 * p^12 * (1-p)^8이 된다.
이 확률을 최대화 시키면 최대 가능도를 나타낼 것이다. 

최대 가능도가 되면, 가장 높은 확률로 관측이 되는 것일 것이고, 이를 기준으로 파란 공의 개수를 예측하는 것이 가장 합리적이다. 위의 함수를 최대화 할때 로그를 사용하여 최대화 하면 충분하자.

(log p*)' = 20C12 * (12/p - 8/(1-p))

최댓값은, 극 값에서 발생한다. 즉 미분한 값이 0이 되면 되고, 이때의 p = 0.6이 된다.

따라서, 우리의 직관과 일치한 값을 얻어낼 수 있다.

 

정규분포와 최대우도추정법

이제 본 내용이다. 정규분포와 최대우도 추정법의 관계에 대해 알아보자.

우리가 하려는 것은 정규분포를 가정하고  표본 x1~xn이 주어질 때, 최대우도 추정법을 통해 평균과 분포의 추정값을 구해보려는 것이다.

우선, 정규분포의 확률밀도 함수는 다음과 같다.

이제 이를 여러 표본에 대해 논할수 있을 것이다. 
확률분포 X1~Xn이 모두 정규 분포를 따른다고 하고 표본 xi는 확률분포 Xi 에서 가져온 데이터라 하자.
각각의 Xi가 독립이기에, (아니, 독립이어야 한다!)

다음과 같이 정리된다. 여기에 로그를 취한 후, μ와 σ에 대해 편미분을 하면, 어디서 가능도가 최대가 되는지 그 추정량을 얻게 된다.
그 결과, 최대우도 추정량은 각각 표본 평균과 표본 분산을 얻게 된다.
자세한 계산 과정은 정말, 그냥 편미분을 하면 되므로 생략한다.