doeunn.log

▶형태소 분석 형태소 분석은 자연 언어의 문장을 형태소라는 최소 단위로 분할하고 품사를 판별하는 작업입니다. 영어 형태소 분석은 형태소 마다 띄어쓰기를 해서 문장을 구성하는 것이 기본입니다. 그래서 영어 형태소 분석은 쉬운편이며 유용한 라이브러리도 많습니다. 반면 아시아 계열 언어 분석은 많은 노력이 필요합니다. ▷한국어 형태소 분석 라이브러리 : koNLpy !pip install koNKpy ▷koNLpy는 kolaw[대한민국 헌법 텍스트 파일]을 제공 from konlpy.corpus import kolaw kolaw.fileids() # 파일 아이디를 확인 out::: ['constitution.txt'] ['constitution.txt']을 열어서 law라는 변수에 저장해두겠습니다. law =..

▶셀레니움(Selenium) 셀레니움은 브라우저를 컨트롤 할 수 있도록 지원하는 라이브러리 입니다. ▷셀레니움 실행을 위한 chrome 드라이버 다운로드 1) 우선 크롬 버전을 확인해야 합니다. (버전에 맞는 드라이버를 설치하기 위함 입니다.) 주소창에 chrome://version/ 입력해서 버전을 확인합니다. 2) 버전에 맞는 크롬 드라이버 다운로드 버전에 완전히 동일하지 않아도 괜찮습니다. 최대한 비슷한 버전으로 설치하시면 되겠습니다. https://sites.google.com/chromium.org/driver/ ChromeDriver - WebDriver for Chrome WebDriver is an open source tool for automated testing of webapps a..

▶스크레이핑(Scraping) - 크롤링(Crawing) : 인터넷의 데이터를 활용하기 위해 정보들을 분석하고 활용할 수 있게 수집하는 행위 - 크롤링과 같은 개념이지만, 데이터를 추출해서 가공하는 최종 목표 ▷크롤링(Crawing) Web상에 존재하는 contents를 수집하는 작업을 말합니다. HTML 페이지를 가져와서, HTML/CSS등을 파싱하고, 필요한 데이터만 추출하는 기법이라 할 수 있습니다. 예제를 통해 알아보겠습니다. 1) 영어 교육 사이트 ▷링크 : https://basicenglishspeaking.com/daily-english-conversation-topics/ (75 Audio Lessons) Daily English Conversation Practice | Questions..

우리가 이전까지 공부했던 numpy, pandas, 데이터전처리, matplotlib를 총합해서 직접 프로젝트를 진행해보겠습니다 :) 1) 사용할 데이터셋 간단 설명 - 온라인 리테일 사이트의 2010/12-2011/12까지의 주문 기록 데이터 - 약 500,000건의 데이터 2) 라이브러리 불러오기 import numpy as np import pandas as pd 3) csv 파일 불러오기 retail = pd.read_csv('OnlineRetail.csv') 4) 파일 정보 알아보기 reatil.info() out:::: - 총 541,909개의 entries # InvoiceNo : 주문번호 # StockCode : 아이템 아이디 # Description : 상품 설명 # Quantity : ..

이전 글에서 수행한 전처리 파일을 matplotlib 라이브러리를 활용해서 시각화를 해봅시다 :) [matplotlib 라이브러리] - 파이썬 기반 시각화 라이브러리 - import matplotlib.pyplot as plt - 파이썬 표준 시각화 도구라고 불릴만큼 다양한 기능을 지원 - pandas와 연동이 용이함 - 한글에 대한 지원이 완벽하지 않음 - 세부 기능이 많으나 사용성이 복잡하다고 느낄 수도 있음 - https://matplotlib.org/ Matplotlib — Visualization with Python seaborn seaborn is a high level interface for drawing statistical graphics with Matplotlib. It aims ..

이전까지 공부했던 numpy와 pandas를 활용하여 데이터 전처리를 해봅시다 :) - 공공데이터 포털(https://www.data.go.kr/)에서 제공하는 데이터를 활용 - 민간 아파트 가격동향 데이터(http://bit.ly/ds-house-price)를 이용 🌟 /// Error 메세지를 잘 확인해서 전처리를 이어가자 /// 🌟 우선 모듈을 불러오겠습니다. import pandas as pd 오늘 이용할 데이터셋을 불러오겠습니다. df = pd.read_csv('http://bit.ly/ds-house-price') # df에 저장 데이터셋을 우선 살펴보겠습니다. df out:::: - 5개의 컬럼과 4505개의 데이터가 있음 - 컬럼은 '지역명', '규모구분', '연도', '월', '분양가격(..