Project 관련 기록5 [Project] 원티드 채용 공고 분석 및 인사이트 도출 (2) 기존(1) 에 이어서... 단계 2 / 기초 전처리 추가 진행 전처리를 추가로 진행하였다. 우선 추가로 진행한 사항은 다음과 같다. (1) category를 대분류, 중분류로 나누어 각 분야별로 분석이 가능하게 텍스트 분리 (2) 주요 업무 / 자격 요건 / 우대 사항을 분리하여 분석할 수 있도록 만듬 (3) 공백, 특수 문자등에 대한 전처리 실시 (4) 형용사 등은 공고의 핵심어와는 상관없으므로 명사만 취급하며 별도의 stopword를 지정하여 제외 가장 어려운 부분은 stopwords의 목록을 만드는 일이다. 현재도 분석하면서 계속적으로 stopword를 추가 중, import pandas as pd import re job_df = pd.read_csv('C:/Users/USER/Desktop/pe.. 2024. 1. 5. [Project] 원티드 채용 공고 분석 및 인사이트 도출 (1) 프로젝트 계기 데이터를 직접 취득하여 무언가 인사이트를 얻을 수 있을 좋은 프로젝트 소스를 고민하다가 이전에 데이터 분석쪽 취업을 위해 열심히 사용했던 Wanted 사이트가 기억나게 되었다. Wanted 채용 공고를 다양하게 분석하여 무언가 얻어보기로 한다. 프로젝트 목표 - Wanted에는 어떤 분야의 채용공고가 가장 많이 올라올까? - 각 직군별로 요구 사항, 우대 사항, 업무는 어떻게 다를까? - 그 외 데이터를 탐색하며 유의미한 인사이트 및 가설검정 해보기 단계 1 / 데이터 취득 동적 크롤링을 무작정 돌리기에는 직군이 매우 많아 좋지 않아, 정적 크롤링을 활용하였다. 원티드의 공고에는 번호가 있어, 해당 번호를 바탕으로 크롤링을 실시하였다. 데이터를 더 많이 하고 싶으나, 컴퓨터의 한계도 존재하.. 2024. 1. 2. [DevCourse] Monthly EDA Project(3) 최종 결과 및 회고 http://taksw222.pythonanywhere.com/ Monthly Project taksw222.pythonanywhere.com 아무튼, 두 개의 과정을 통해 만든 EDA 최종 결과물은 다음과 같다. 배운점, 부족한 점들을 쭉 적어보면 다음과 같다. - 원하는 모양의 차트를 찾기 위해 다양하게 찾아보았고, 이 덕분에 radar chart, 도넛 차트, heat map을 삼각형 모양으로 그리기 등을 할 수 있었다. - 추가적인 분석을 위해 다른 데이터를 가져와서 쓰는 등 여러 시도를 하였다. - 단순히 원페이지에서 끝내지 않기 위해 CSS를 어떻게 적용해야하는지 찾아보았고, 그리드를 나눠서 표현하는 법에 대해 배웠다. - 배포를 위해서 정말 많은 것을 찾아보았으나, 배포를 하는 것만 성공했지.. 2021. 5. 22. [DevCourse] Monthly EDA Project (2) 배포는 어떻게 할 건가? EDA를 실시한 이후, (추가를 하긴 했으나) Django를 통해 페이지를 만드는데는 문제가 적었으나, 가장 어려운 점은 바로 '배포'를 하는 것이었다. 많은 블로그 등을 통해 방법을 찾아보며 성공하였기에 어떻게 했는지 그 방법을 정리해본다. '배포'? 왜? 일단, 우리가 다른 사람들에게 결과물을 보여줄때 이 쪽을 아는게 아닌 이상 주피터 노트북으로 보세요, 깃에 들어가세요 할 수는 없다. 따라서, Django나 Flask를 사용하여 사이트 형태로 만드는 것이 필요하다. 문제는, 우리가 Django를 활용하여 사이트를 만들어서 테스트를 해도, 우리 컴퓨터에 만들어둔 가상환경 상에서만 확인이 가능하다는 것이 문제이다. 즉, 배포 작업을 통해 다른 사람도 이것을 확인하게 해줘야 한다. 이 과정에서 배포가 들.. 2021. 5. 22. [DevCourse] Monthly EDA Project (1) EDA Baseline을 작성하면서 배운 시각화 방법 프로그래머스 DevCourse 인공지능과정 Monthly Project (1) EDA를 webpage를 통해 보여줘야 하는 것이 Monthly Project이다. 풀 코드는, github Link를 통해 대체하고, 기본적으로 사용할 자료를 만들면서 배운 내용을 다음과 같이 정리한다. Full code github.com/SeongwonTak/programmers_kdt_II/blob/week4%ED%83%81%EC%84%B1%EC%9B%90/EDA/EDA_project_happiness2021.ipynb SeongwonTak/programmers_kdt_II KDT 인공지능 교육과정 1개월차 Material. Contribute to SeongwonTak/programmers_kdt_II developm.. 2021. 5. 12. 이전 1 다음
