[TIL] LSTM vs GRU 간단하게 정리.

풀잎스쿨 6주차 대비.

* LSTM

- RNN의 장기 의존성(Long-Term Dependency) 문제를 해결하기 위해 제안.

LSTM도, RNN처럼 체인처럼 연결된 형태를 가지고 있음.

https://wikidocs.net/22888

(1) 입력 게이트 : 현재 정보를 기억하기 위한 게이트
(2) 출력 게이트 : 최종 결과를 내보내기 위한 게이트
(3) 망각 게이트 : 과거 정보를 기억하기 위한 게이트 / 0~1 수로 얼마나 과거 정보를 유지할지를 결정함.

 

* GRU

LSTM의 장기 의존성에 대한 문제 해결책은 유지하며, 계산량을 줄인 버전.

https://wikidocs.net/22889

(1) Reset Gate :  이전 hidden state의 값을 얼마나 활용할 것인가에 대한 정보.
(2) Update Gate : 이전 정보와 현재 정보를 어떻게 받아들일지 비율을 구하는 계산.