Archive/TIL48 [TIL] 0713 아침스터디 - hyperparameter tuning(2) Bayesian optimization 자세히보기. 목적 함수와, hyperparameter의 쌍을 활용하여, 목적함수를 최대로 만드는 최적해를 찾는 문제로 바꾼다. * 사용되는 두가지 함수 - 목적 함수를 추정하는 함수(surrogate model) - 다음 입력값 후보를 추천하는 함수(accquisition model) 그런데, 어떻게 진행하는 것일까? * 목적함수가 최대화/최소화 되는 매개변수를 찾기 위해, 사전 분포를 활용한다. Bayesian optimization 의 절차 개요 1. 임의로 데이터 포인트 생성 / 평가 2. surrogate model로 추정을 실시. 3. 현재의 결과로 목적 함수를 최대화 하는 x값 탐색 4. 해당 값에 대한 평가 실시 및 x를 데이터 포인트에 추가 탐색을 할.. 2022. 7. 13. [TIL] 0711 아침스터디 - Hyper Parameter tuning(1) Hyper Parameter Tuning의 대표적 3가지 방법 1. Grid Search 2. Random Search 3. Bayesian Optimization Grid Search. Hyperparameter를 일정한 간격으로 변경하여, 최적의 파라미터를 찾아가는 기법. * 사전에 탐색할 값들을 미리 지정해주고, 그 값들의 모든 조합을 바탕으로 최고점을 찾아낸다. -> Problem : 최적의 해를 찾을 수 없다 / 동작 방식이 비효율적(찾을 필요가 없는 구간을 찾는다.) Random Search 위의 문제를 해결하기 위해 Hyperparameter의 값을 랜덤하게 선출하는 과정을 사용. * 사전에 탐색할 값들의 범위를 지정해주고, 가능한 조합을 바탕으로, 최고점을 찾는다. -> Grid Searc.. 2022. 7. 11. [TIL] 0708 아침스터디 / 표본추출 + Python의 랜덤 표본추출 방법의 가장 큰 분류 - 확률 표본추출 : 모든 대상이 표본으로 선정될 확률을 "동일하게 한 후" 무작위로 표본을 추출 - 비확률 표본추출 : 비확률적 방법으로 표본 추출. 확률표본추출 단순무작위 표본추출(Simple Random Sampling) - 표본을 균등한 확률로 임의로 추출 체계 표본추출(Systematic Sampling) - 하나의 표본을 랜덤으로 고른 후, k번째마다 추출 층화 표본추출(Stratified Random Sampling) - 모집단을 여러개의 층으로 분류, 각 층에서 표본을 임의추출. - 각 계층은, 게층끼리는 이질성이 있으나, 계층 내에서는 동질성을 유지해야 함. 군집 표본추출(Clustering Sampling) - 모집단을 군집으로 나눈 뒤, 군집을 추출하는 .. 2022. 7. 8. [TIL] 0706 아침 스터디 / t-SNE 추가 참고자료 https://gaussian37.github.io/ml-concept-t_sne/ https://lovit.github.io/nlp/representation/2018/09/28/tsne/ https://velog.io/@swan9405/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-T-SNE-T-distributed-Stochastic-Neighbor-Embedding PCA -> t-SNE PCA는 차원축소를 하면서, 축소된 데이터들이 "어떤 군집에 속하는지?"에 대답하기 어렵다. 이를 해결하기 위해, t-SNE를 활용. t-SNE란? (t-distributed stochastic neighbor embedding) * 고차원 데이터 -> 저차원(주로 2차원?)으로.. 2022. 7. 6. [TIL] 0704 아침스터디 / VIF, LDA # VIF 다중공산성을 진단할 수 있는 지표. 다중공산성 : 회귀문제에서 독립변수간, 강한 상관관계가 나타나는 문제 (회귀분석의 기본 가정에 위배!) * 다중 공산성이 강하게 나타날 경우 여러 변수들 중 어떤 변수가 Y변수에 어느정도의 영향을 미치는지 정확하게 알 수 없어짐. * 다중공산성의 판단법? 회귀분석 결과의 각 독립변수의 p-val이 높다면? 의심. 독립변수들간의 상관관계를 통해 확인 가능, VIF를 통해 다중공산성 점검 가능. VIF란 ? i번째 변수를 제외하고, 만든 회귀 모델의 R^2값을 대입하여 계산한다. VIF > 10이라면, 식을 정리해보면 Ri > 10임을 알 수 있다. 즉 해당 변수가 없어도 설명이 잘 이루어지고 있음을 안다. 보통, VIF > 10일 경우, 해당 변수의 제외를 고.. 2022. 7. 4. [TIL] Transformer 간단정리. 풀잎스쿨 9주차 대비. 참고자료 [1] https://wikidocs.net/31379 [2] https://wdprogrammer.tistory.com/72 개요. * transformer는 2017년 구글이 발표한 논문 'Attention is all you need'에서 나온 모델. 기존의 seq2seq 구조인 encoder-decoder에서 각 encoder, decoder를 attention으로 제작. seq2seq -> attention을 사용했던 이유는 인코더가 입력 seq를 하나의 벡터로 압축하면서 정보가 날라가는 단점을 보정하기 위해 사용했는데, attention만으로 encoder와 decoder를 만들어 보면 어떻게 될지, 그리고 이렇게 한 것이 transformer이다. 기본적으로 .. 2022. 6. 8. 이전 1 2 3 4 5 ··· 8 다음
