본문 바로가기

Topics277

[TIL] LSTM vs GRU 간단하게 정리. 풀잎스쿨 6주차 대비. * LSTM - RNN의 장기 의존성(Long-Term Dependency) 문제를 해결하기 위해 제안. LSTM도, RNN처럼 체인처럼 연결된 형태를 가지고 있음. (1) 입력 게이트 : 현재 정보를 기억하기 위한 게이트 (2) 출력 게이트 : 최종 결과를 내보내기 위한 게이트 (3) 망각 게이트 : 과거 정보를 기억하기 위한 게이트 / 0~1 수로 얼마나 과거 정보를 유지할지를 결정함. * GRU LSTM의 장기 의존성에 대한 문제 해결책은 유지하며, 계산량을 줄인 버전. (1) Reset Gate : 이전 hidden state의 값을 얼마나 활용할 것인가에 대한 정보. (2) Update Gate : 이전 정보와 현재 정보를 어떻게 받아들일지 비율을 구하는 계산. 2022. 5. 19.
[TIL] LTV란?, LTV의 예측 * 간단하게 읽어 본 내용들에 대한 정리. https://danbi-ncsoft.github.io/works/2020/03/16/works-mobile_mkt_ltv.html https://sungmooncho.com/2011/11/21/customer-lifetime-value/ https://eat-toast.tistory.com/18 LVT란? LTV : Life Time Value로, 특정 서비스를 이용하는 고객이 그 기간 동안 얼마만큼의 이익을 가져다 줄 것인지에 대해 추정하는 것을 말한다. LTV를 간단하게 생각하면, LTV= (고객이 가져다 줄 이익의 총합) - (고객의 유치 및 유지에 드는 비용) 이를 조금 더 쪼개서 생각해 볼 수 있다. 이익 요소 - 최초 1년 동안의 이익, 그 다음 해.. 2022. 5. 7.
[NLP] Syntax Analysis / Language Model. * 풀잎스쿨 4주차 준비. Syntax Analysis - 구문분석 https://www.youtube.com/watch?v=DdFKFqZyv5s&list=PLetSlH8YjIfVzHuSXtG4jAC2zbEAErXWm&index=6 강의 요약. + 추가 https://wikidocs.net/21697 - Sentence이 들어왔을 때, 문법 구조를 분석하는 것. -> 적절한 parser를 찾아줘야 한다. parser의 속성 - Directionally : 방향성 (위에서 아래인지, 아래에서 위인지) - Search strategy : 탐색 전략.(depth-first, breadth-first) -> 언어의 모호성때문에 쉽지 않음 - Lexical ambiguity : 하나의 단어가 서로 다른 품사로 쓰.. 2022. 5. 3.
[NLP] FastText란? FastText란? Word Embedding 의 또 다른 방법이다. Word2Vec으로 돌아가보면 주어지는 corpus를 기반으로 학습을 진행한다. 문제는, 학습되지 않은 단어를 던져주면 Word2Vec에는 에러가 발생한다. 학습 되지 않은 단어에 대해 어떻게 보정을 해야할까에 대해 생각해 볼 수 있다. 이에 대한 보정을 고려한 것이 바로 페이스북에서 개발한 FastText이다. FastText가 학습하는 방법. FastText가, Word2Vec과 가장 큰 차이를 보이는 지점으로, FastText는 단어를 다시 n-gram으로 인식하여, 단어를 또 쪼개게 된다. (1) 단어의 앞에 를 추가한다. (2) 이 단어를 n-gram 값으로 쪼갠다. (3) 추가로, 전체 단어에 를 추가한 토큰을 추가한다. E.. 2022. 4. 30.
[NLP] ELMo란 무엇일까? ELMo가 나오게 된 배경은? Glove나 Word2Vec의 경우는 단어간의 위치나 동시 발생 빈도를 고려하여 임베딩을 해왔다. 이렇게 하면, 하나의 토큰에는 하나의 임베딩 벡터가 부여된다. 하지만 문맥을 잘 반영하기 위해서는 "동음이의어"에 대해서도 잘 고려해야 할 것이다. 현재까지의 방법론으로는 "동음이의어"에도 같은 임베딩 벡터를 출력하게 된다. ELMo의 구체적인 절차 ELMo는 pre-trained된 모델로, 우선 전체 문장을 활용하여 학습한다. 또한, 이미 학습된 양방향 LSTM 을 이용하여, 각 단어의 임베딩 벡터를 생성한다. 문장을 넣으면, 문장의 단어별로 임베딩 벡터를 뱉어주는 구조가 된다. 그러면 엘모가 어떻게 양방향 LSTM을 쓰고 있는지 확인해보자. 기본적으로, ELMo는 두 개의 .. 2022. 4. 28.
[NLP] N-gram, Word2Vec, Glove의 간단 개요. * 풀잎스쿨 사전학습을 위한, 이론 파악. * 각각에 대한 자세한 내용 보다도, 개괄적으로 어떤 부분이 이것을 만들었고 주요 모델의 특징에 대해 이해하고자 한다. NLP에서의 희소문제 등장 확률을 기반으로 하는, 통계적 언어 모델에서 만일 특정 단어나 어구가 corpus에 등장하지 않는다면, 그 확률은 당연히 0이 될 것이다. 문제는 수치적 확률은 0인데, 존재할 법한 단어나 문장이라면? 예측 성능에 문제가 될 것이다. 이에 대한 해결책에 대해 고민해야 할 것이다. 이를 개선할 수 있는 방법을 고려해보려고 한다. N-gram N-gram도 횟수를 사용하여 단어를 표현하는 방법이다. N-gram은 한 단어 이상의 단어 시퀀스를 분석 대상으로 삼게 된다. Ex) This is a sentence면 2-gra.. 2022. 4. 27.

티스토리툴바