Archive/TIL48 [TIL] Gradient Vanishing 문제와 활성화 함수 (면접에서 틀렸던 문제다... 진짜..) Gradient Vanishing이란? 신경망 학습 과정에서는, 가중치를 back-propagation 하는 과정에서 가중치가 발산하거나 곡선의 기울기가 0이 되면서 학습이 제대로 되지 않는 현상이 발생할 수 있다. 원인은 활성화함수에서 사실, 선형 함수의 경우는 미분해봤자 계수가 되기 때문에 선형함수에서는 그 원인을 찾을 수 없다. 즉, 원인을 찾기 위해서는 비선형 함수를 만들어주는 활성화함수에서 찾아야 할 것이다. 미분계수가 0에 수렴이 되면, 기울기에 의해서 값을 찾아가야 하는데 제대로 오차가 감소되지 않거나, local minima에 빠지는 문제가 발생할 것이다. Sigmoid function 시그모이드는 로지스틱 회귀와 연관된 함수로, 0과 1 사이의 실.. 2021. 9. 20. [TIL] JSON 파일 읽기 csv 파일만 읽다가 json 파일을 읽어보아야 하는 상황을 겪게 되어, 이런저런 삽질을 통해 방법을 알게 되었다. (1) JSON file -> data 읽기 path = '(json 파일이 있는 경로)' records = [json.loads(line) for line in open(path, encoding = 'utf-8')] 이렇게 읽을 경우 list 형태로 데이터를 얻게 된다. records[0].keys() 를 통해 dict형태의 key를 알 수 있고, 필요한 데이터를 직접 추출하면 된다. (2) json URL -> 파일 다운로드 import json import urllib.request from urllib import request url = '(json file의 url)' save.. 2021. 9. 6. [회고] 2021 카카오 인턴 간단 후기 2021 카카오 인턴 간단 후기 저는 Stat 직군으로 입사했으며, 데이터 분야 공부 경험은 2020년 12월 시작으로, 정말 얼마 되지 않았습니다. 이제 8~9개월 정도 공부하고, 본격적 시작은 4월에 공부한 햇병아리의 이야기입니다. - 1차 공통 코딩테스트 코딩테스트는 턱걸이로 합격하였습니다. 마지막 문제는 손도 못 댔고, 3번 문제를 반절 이상 정도 풀었습니다. 알맞은 자료구조가 종료 1분 30초전에 떠올라서 어떻게 할 수가 없었습니다. 하지만 다행히 2차 코딩테스트의 기회가 주어졌습니다. - 2차 Stat 코딩테스트 Stat직군은 별도의 코딩테스트를 봅니다. 문제 형식을 설명드릴수는 없지만, 여러 다양한 통계 문제들을 코딩으로 푼다고 생각하시면 될 것 같습니다. 2차 코딩테스트는 생각보다 할만했으.. 2021. 8. 31. [TIL] Hadoop의 기본 명령어 (사용자 커맨드) 회사에서, 새 프로젝트를 시작하면서 세팅을 하면서 Hadoop이나 Hive에 익숙해져야만 하는 상황이 왔다. Hadoop 명령어를 공부하면서 기본적인 상황을 이해하려고 한다. (Hadoop을 통해서, 서버상에서도 데이터를 관리하는 어떤 매개체인것으로 이해했다. 실제로는 서버에서 작업을 해야 한다고 하셔서... 일단 이렇게 이해..) 주요 사용자 커맨드 $ hdfs dfs -ls $ hadoop fs -ls 기본적으로는 hdfs dfs + 명령어, hadoop fs + 명령어의 구조이다. cat 지정한 파일을 기본 입력으로 읽어서 출력 $ hdfs dfs -cat /user/file.txt text 지정한 파일을 텍스트 형식으로 읽음 $ hdfs dfs -text /user/file.txt ls 주어진 경.. 2021. 6. 30. [TIL] 0610~0613 0. 며칠째 과제 하나를 도저히 손을 못대고 있습니다. 혼자 고민한다고 풀릴 문제가 아니라서, 월요일 수업 시간에 문의 후 재시도를 해봐야합니다... 1. 그동안 베이지안 추론이 뭔지 전혀 감이 안왔는데, 계속 같은 과정을 보면서 흐름 정도는 감이 오는 듯합니다. 사후 확률을 구하기에는 사전확률에는 정보가 없는데, 이를 위해서 베이즈 정리를 활용하여 가능도 * 사전확률에 비례하는 결과를 만들고, 가능도를 최대화 하는 방향을 통하여 사후확률을 구하는 그 흐름을 반복적으로 보았습니다. 베이즈 정리가 대단하다고 느꼈던건, 로지스틱에서 로짓비가 대체 왜 나왔나를 몰랐는데, 베이즈 정리로 식을 쓰면 한번에 그 형태가 나오는 것을 보고 엄청난 성능을 확인했습니다. 2. 캐글 기준일 수 있지만, 모델 1개만 사용하지.. 2021. 6. 13. [0607] TIL * 베타분포에 대해서 배웠다. 일어날 횟수에 대해 물어볼 수도 있지만, 일어날 확률에 대해서도 물어볼 수 있다는 것을 알게 되었다. * 과제에 대해 논의하면서, 말도 안되는 실수를 또 범했음을 깨달았다. 등호 빼먹지 말자. 2021. 6. 7. 이전 1 ··· 3 4 5 6 7 8 다음