doeunn.log

▶공공 데이터 상권 정보 분석하기 2016년 상권별 업종밀집 통계에 관한 데이터입니다. 다음 링크를 참고했습니다. 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr ▷필요한 라이브러리 import import pandas as pd import numpy as np import missingno as masno # 코랩이 아니라면 install 해주어야 함 import matplotlib as plt import matplotlib.pyplot as pyplot import seaborn as sns ▷사용할 데이터 불..

▶folium folium은 지도 위에 데이터를 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 입니다. 다음 사이트를 참고해봅시다. Folium — Folium 0.12.1 documentation folium builds on the data wrangling strengths of the Python ecosystem and the mapping strengths of the leaflet.js library. Manipulate your data in Python, then visualize it in on a Leaflet map via folium. Concepts folium makes it easy to visualize data tha python-visualization.github..

▶워드 클라우드 워드 클라우드는 핵심 단어를 시각화하는 기법입니다. 문서의 키워드, 개념 등을 직관적으로 파악할 수 있게 핵심 단어를 시각적으로 돋보이게 합니다. ▷wordcloud 라이브러리 install, import !pip install wordcloud from wordcloud import WordCloud ▷wordcloud 기본 예제 ▷예제에 사용할 파일 ▷txt파일 읽어오기 text = open('wordData.txt').read() ▷generate() : 단어별 출현 빈도수를 비율로 반환 wordcloud = WordCloud.generate(text) wordcloud.words_ # 전체 글자의 빈도수 나타내기 ▷wordcloud(위에서 정의한 객체)를 시각화 - matplotl..

▶형태소 분석 형태소 분석은 자연 언어의 문장을 형태소라는 최소 단위로 분할하고 품사를 판별하는 작업입니다. 영어 형태소 분석은 형태소 마다 띄어쓰기를 해서 문장을 구성하는 것이 기본입니다. 그래서 영어 형태소 분석은 쉬운편이며 유용한 라이브러리도 많습니다. 반면 아시아 계열 언어 분석은 많은 노력이 필요합니다. ▷한국어 형태소 분석 라이브러리 : koNLpy !pip install koNKpy ▷koNLpy는 kolaw[대한민국 헌법 텍스트 파일]을 제공 from konlpy.corpus import kolaw kolaw.fileids() # 파일 아이디를 확인 out::: ['constitution.txt'] ['constitution.txt']을 열어서 law라는 변수에 저장해두겠습니다. law =..

▶셀레니움(Selenium) 셀레니움은 브라우저를 컨트롤 할 수 있도록 지원하는 라이브러리 입니다. ▷셀레니움 실행을 위한 chrome 드라이버 다운로드 1) 우선 크롬 버전을 확인해야 합니다. (버전에 맞는 드라이버를 설치하기 위함 입니다.) 주소창에 chrome://version/ 입력해서 버전을 확인합니다. 2) 버전에 맞는 크롬 드라이버 다운로드 버전에 완전히 동일하지 않아도 괜찮습니다. 최대한 비슷한 버전으로 설치하시면 되겠습니다. https://sites.google.com/chromium.org/driver/ ChromeDriver - WebDriver for Chrome WebDriver is an open source tool for automated testing of webapps a..

▶스크레이핑(Scraping) - 크롤링(Crawing) : 인터넷의 데이터를 활용하기 위해 정보들을 분석하고 활용할 수 있게 수집하는 행위 - 크롤링과 같은 개념이지만, 데이터를 추출해서 가공하는 최종 목표 ▷크롤링(Crawing) Web상에 존재하는 contents를 수집하는 작업을 말합니다. HTML 페이지를 가져와서, HTML/CSS등을 파싱하고, 필요한 데이터만 추출하는 기법이라 할 수 있습니다. 예제를 통해 알아보겠습니다. 1) 영어 교육 사이트 ▷링크 : https://basicenglishspeaking.com/daily-english-conversation-topics/ (75 Audio Lessons) Daily English Conversation Practice | Questions..