[Data] 대리분석 개요

출처 : XAI 설명 가능한 인공지능, 인공지능을 해부하다. Chapter 5-1,2

대리분석이란?

대리분석이란, 본래의 인공지능 모델이 너무 복잡해서 분석이 어려울 때, 유사한 기능을 흉내내는 모델 여러개를 만들어 본래 모델을 해석하는 기법을 말한다.

이 대리분석에 사용할 모델을 결정할 조건은 다음과 같다.

(1) 원래의 모델보다 학습하기 쉬워야 한다.
(2) 대리분석에 사용할 모델은 "설명 가능"해야 한다.
(3) 원래의 모델을 유사하게 흉내낼 수 있으면 된다.

이렇게 할 경우, 대리분석의 모델은 원래 모델보다는 정확도는 조금 떨어지나, 충분히 모델을 대변할 수 있다.

이러한 대리 분석의 종류는
- 글로벌 대리 분석 : 전체 학습 데이터를 사용해 대리 분석 모델을 만든다.
- 로컬 대리 분석 : 데이터의 일부나 하나의 데이터에 대해 원래 모델이 해석하는 과정을 분석한다.

LIME

LIME(Local Interpretable Model-agnostic Explanations)은 모델이 현재 데이터의 어떤 부분에 집중하여, 분류의 근거로 사용했는지 알려주는 방법이다. 

예시) TEXT 분류 문제에서, 분류의 근거를 찾아주기 위해 텍스트에서 가장 큰 분류의 근거가 된 단어들을 강조.

LIME의 원리?

LIME은 입력 데이터에 대해 부분적 변화(변형, 샘플 퍼뮤테이션)을 준다. 즉, 국소적 단위로 모델을 해석하게 된다.

- L : loss,
- pi_x :  x 주변의 데이터를 어느정도로 고려할 것인가?, 즉 부분적 변화가 생긴 샘플과 원래 샘플의 유사도가 어느정도인지 계산.

즉, LIME은 손실함수를 최저가 되게하는 pi_x를 찾는 것을 목표로 한다.

 

대리 모형의 평가 방법?

근본적으로는 대리 분석으로 만든 모델은, 원래 모델과 유사해야 하므로 원래 모델이 예측한 결과와 대리 모델이 예측한 결과를 최대한 유사하게 만들어 주면 된다.