doeunn.log

▶Scikit-learn 모듈 대표적인 파이썬 머신러닝 프레임워크로서 다양한 머신러닝 알고리즘과 샘플 데이터를 제공합니다. 또한 머신러닝 결과를 검증하는 기능도 제공합니다. (BSD 라이선스이기 때문에 무료로 사용 및 배포가 가능합니다.) 자세한 내용은 다음 사이트를 참고하면 좋겠습니다. scikit-learn: machine learning in Python — scikit-learn 0.16.1 documentation scikit-learn.org 1) LinearSVC 클래스 구분을 하는 분류 문제에서 각 클래스를 잘 구분하는 선을 그려주는 방식을 사용하는 알고리즘입니다. 지도 학습 알고리즘을 사용하는 학습 전용 데이터(x)와 결과 전용 데이터(y)를 함께 가지고 있어야 사용이 가능합니다. 우선 ..

▶머신러닝(Machine Learning) 우선 가장 큰 분류인 인공지능은 인공(Artificial) + 지능(Intelligence)을 합친 용어가 되겠습니다. 우리 일상생활에서는 과거 로봇 청소기, 과거 일반적인 게임에서 찾을 수 있습니다. 이들의 특징은 학습을 하지 않는다는 것입니다. 그 다음 분류인 머신러닝은 학습(Learning)하는 기계(Machine)이라는 뜻으로 Decision Tree, SVM 등이 있습니다. 그 다음으로 딥러닝은 깊은(deep) 신경망 구조의 머신러닝으로 MLP, CNN, RNN 등이 있습니다. 1) 배경 과거 컴퓨터로 데이터를 읽어 들이고 그 데이터 안에서 특징을 학습해서 패턴을 찾아내는 작업 즉 패턴 인식을 해왔었습니다. 데이터를 대량으로 수집 및 처리할 수 있는 환..

▶folium folium은 지도 위에 데이터를 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 입니다. 다음 사이트를 참고해봅시다. Folium — Folium 0.12.1 documentation folium builds on the data wrangling strengths of the Python ecosystem and the mapping strengths of the leaflet.js library. Manipulate your data in Python, then visualize it in on a Leaflet map via folium. Concepts folium makes it easy to visualize data tha python-visualization.github..

▶워드 클라우드 워드 클라우드는 핵심 단어를 시각화하는 기법입니다. 문서의 키워드, 개념 등을 직관적으로 파악할 수 있게 핵심 단어를 시각적으로 돋보이게 합니다. ▷wordcloud 라이브러리 install, import !pip install wordcloud from wordcloud import WordCloud ▷wordcloud 기본 예제 ▷예제에 사용할 파일 ▷txt파일 읽어오기 text = open('wordData.txt').read() ▷generate() : 단어별 출현 빈도수를 비율로 반환 wordcloud = WordCloud.generate(text) wordcloud.words_ # 전체 글자의 빈도수 나타내기 ▷wordcloud(위에서 정의한 객체)를 시각화 - matplotl..

▶형태소 분석 형태소 분석은 자연 언어의 문장을 형태소라는 최소 단위로 분할하고 품사를 판별하는 작업입니다. 영어 형태소 분석은 형태소 마다 띄어쓰기를 해서 문장을 구성하는 것이 기본입니다. 그래서 영어 형태소 분석은 쉬운편이며 유용한 라이브러리도 많습니다. 반면 아시아 계열 언어 분석은 많은 노력이 필요합니다. ▷한국어 형태소 분석 라이브러리 : koNLpy !pip install koNKpy ▷koNLpy는 kolaw[대한민국 헌법 텍스트 파일]을 제공 from konlpy.corpus import kolaw kolaw.fileids() # 파일 아이디를 확인 out::: ['constitution.txt'] ['constitution.txt']을 열어서 law라는 변수에 저장해두겠습니다. law =..

▶셀레니움(Selenium) 셀레니움은 브라우저를 컨트롤 할 수 있도록 지원하는 라이브러리 입니다. ▷셀레니움 실행을 위한 chrome 드라이버 다운로드 1) 우선 크롬 버전을 확인해야 합니다. (버전에 맞는 드라이버를 설치하기 위함 입니다.) 주소창에 chrome://version/ 입력해서 버전을 확인합니다. 2) 버전에 맞는 크롬 드라이버 다운로드 버전에 완전히 동일하지 않아도 괜찮습니다. 최대한 비슷한 버전으로 설치하시면 되겠습니다. https://sites.google.com/chromium.org/driver/ ChromeDriver - WebDriver for Chrome WebDriver is an open source tool for automated testing of webapps a..