[Math] Entropy

프로그래머스 Week 3 Day 1 내용 정리

 

엔트로피

자기 정보(Self Information)

확률이 높은 사건은 정보가 많지 않고, 확률이 낮은 사건이 정보가 많다

또한, 두 개의 독립적인 사건이 일어날 경우 정보량은 두 사건을 합친 것이 될 것이다.

이러한 두 가지 발상에서, 확률에 대한 정보량을 수식으로 표현하게 되었는데, 이를 자기 정보라고 한다. 수식으로는 다음과 같이 표현된다.

(참고. 밑이 2인 경우는 단위가 bit이며, 다른 밑을 사용하는 경우도 존재한다)

엔트로피

엔트로피란, 확률변수 X에 대해, 가능한 사건들에 대한 자기 정보의 평균을 뜻한다. 즉 확률변수가 가지는 정보량의 값이 된다. 식으로 표현하면 다음과 같다.

엔트로피는, 사건이 일어날 확률이 균등할 경우 가장 큰 값을 가지며, 확률이 달라질 경우, 더 작은 값을 가지게 된다.

예시) X는 사건 A, B로만 이루어져 있고, 사건 A가 일어날 확률이 0.3, B가 일어날 확률이 0.7이다.

그러면 엔트로피 H(x)는 약 0.881 정도의 값을 가진다.

만일. A와 B가 일어날 확률이 모두 동일하다면, 엔트로피의 값은 1이 된다.

 

교차 엔트로피

두개의 확률 분포, P, Q 가 존재하고 각 확률분포에 대해 사건 Ai가 일어날 확률이 주어져있다. 이를 바탕으로 교차 엔트로피를 정의하려고 한다.

정의> 교차 엔트로피
집합 S 상에서 확률분포 P에 대한 확률분포 Q의 교차 엔트로피를 다음과 같이 정의한다.

확률분포 P에 대한 확률분포 Q의 교차 엔트로피를 고려하는 것에 주의하자.

위의 값의 경우 P와 Q가 동일한 분포였다면 H(P)와 동일할 것이나, 두 개의 분포가 달라지면 교차엔트로피의 값은 H(P)보다 커지게 된다.

즉, P와 Q의 확률 분포가 얼마나 차이가 나는지 알 수 있는 지표가 된다.

 

교차엔트로피의 활용

교차엔트로피는, 분류 문제에서 활용된다. 분류의 결과와, 실제 정답과 얼마나 차이가 나는지 보려 한다.

분류 문제에서는, 손실함수로 교차엔트로피를 활용하게 된다.