본문 바로가기

Archive171

[DL] 순환 신경망 RNN과 장단기메모리 LSTM 개요 참고 자료 https://wikidocs.net/60690 https://wikidocs.net/60762 이미지 출처 wikidocs - pytorch로 시작하는 딥러닝 입문 순환 신경망(RNN, Recurrent Neural Network) RNN은 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내지만, 다시 은닉층의 노드로 보내 다음 계산의 입력으로 활용하는 특징을 가지고 있다. 그림으로 표현하여 살펴보면 입력 벡터가 출력벡터를 향해 가기 위해 은닉층 cell을 통과하는데 이 cell에서는 이전의 값을 기억하려고 한다. 이를 메모리 셀이라고 표현한다. 해당 메모리 셀은, 다음 입력의 연산에 사용되는 구조를 가지고 있다. 이를 그림을 통해 정리하면 다음과 같다. RNN의 수식.. 2021. 8. 21.
[추천] 추천 시스템과 Word2Vec 참고자료 [1] https://brunch.co.kr/@goodvc78/16 [2] https://eda-ai-lab.tistory.com/526 [3] https://wikidocs.net/102705 [4] https://www.sallys.space/blog/2018/05/18/Introduction-to-ReSys-part-2/ [ Word2Vec 복습 Word2Vec는, 문장 상에서 문맥을 통해 단어를 추측하는 방법이다. 이 때, 단어간 의미를 반영하는 벡터화를 활용 후 CBOW, 혹은 Skip-Gram을 활용한다. [복습] https://taksw222.tistory.com/100?category=475748 [밑딥2] 신경망에서의 단어 처리와 word2vec 목표 문장 상에서, 문맥을 통해 .. 2021. 8. 19.
[추천] AutoEncoder와 추천 시스템 개요 [참고자료] (1) https://tech.kakao.com/2020/04/29/kakaoarena-3rd-part1/ 멜론에서 음악 추천을 어떻게 할까? – 카카오 아레나 3회 대회(Part.1) 이 글은 멜론에서 음악 추천을 어떻게 할까? 카카오 아레나 3회 대회(Part.1)라는 이름으로 카카오 정책산업연구 브런치에 동시 개제되었습니다. 자신이 잘 모르는 분야에서 새로운 도전을 할 때 tech.kakao.com (2) 이전에 공부했던, 오토 인코더 내용 복습 https://github.com/SeongwonTak/TIL_swtak/blob/master/Auto_Encoder.ipynb GitHub - SeongwonTak/TIL_swtak: Today, I learned. Today, I learn.. 2021. 8. 14.
[추천] 추천 시스템의 개요 복습 추천 시스템의 개요 복습 추천 시스템이란? 추천 시스템은 유저가 정보를 제공한 아이템의 평점을 바탕으로 유저가 선호할만한 아이템을 찾는 것이 목표이다. 추천 시스템은 유저-아이템 의 평점 행렬을 채우는 문제로 귀결된다. 추천 시스템 문제를 접근 하는 방법은 크게 두 가지다. 1) 유저가 선호하는 top-k개의 아이템을 찾기 2) 특정 아이템에 특정 유저가 줄 평점을 직접 예측하기 추천 시스템의 분류 - Content based : 아이템의 특성을 기반으로 유사한 아이템을 추천해준다. - Collaborative Filtering : 본인과 유사한 유저가 좋아한, 높은 평점을 준 아이템을 추천해준다. - Hybrid approaches : 두개를 섞어서 쓴다. Content-based의 경우는, 아이템간의.. 2021. 8. 11.
[Data] 선형회귀에서의 변수 선택(AIC, VIF) 다중 공산성이란? 다중 공산성이란, 독립 변수의 일부가 다른 변수의 독립 변수의 조합으로 표현될 수 있는 경우를 뜻한다. 다중 공산성이 강할 경우, 부정확한 회귀 결과를 얻게 된다. 다중 공산성의 파악 방법, VIF 다중 공산성을 줄이기 위해서는 다른 독립변수에 의존하는 변수를 없애야 한다. - 산점도 그래프 - VIF(Variance Inflation Factor) VIF를 통해, 다른 변수에 의존적인 변수를 찾아낼 수 있다. i번째 변수의 VIF를 계산하면 다음과 같다. 여기서 는, 다른 변수로 i번째 변수를 선형회귀 할때의 R^2 값이다. 즉, 다른 변수에 의존적일 수록 VIF값이 커지게 된다. AIC와 BIC 변수가 많을 경우, 자연스럽게 다중공산성의 가능성이 커지므로 변수를 어떻게 생각할지 고려.. 2021. 8. 7.
[Data] Ensemble - Gradient Boosting 앙상블 학습은, 기존에 배웠던 여러 학습 모델들을 결합하여 사용하는 방법이다. XGBoost, LightGBM에 대해 알아보기 전에, 먼저 Gradient Boosting부터 정리하고자 한다. Boosting이란? Boosting은 앙상블 학습의 일종으로, 약한 분류기를 결합하여 더 강한 분류기를 만드는 과정이다. 즉 이전 학습에서 오차가 심했던 데이터에 가중치를 주는 방식을 예로 들 수 있다. 이를 통해 오차를 계속 보완해 나가는 일련의 과정을 거치게 된다 Bagging 또한 여러 개의 모델을 만드나, 각각의 모델은 서로 영향을 주지 않고 임의로 데이터 세트를 생성하여학습하게 된다. Gradient Boosting이란? Gradient Boosting의 가장 기본은 '모델이 예측한 데이터의 오차'를 가.. 2021. 8. 2.

티스토리툴바