Crawler

785 단어 Node.js

네트워크 데이터 수집

  • 웹 페이지 다운로드
  • HTML 분석
  • 로그인해야 하는 웹 사이트 복제

  • PhantoomJS 및 CasperJS
  • Electron
  • 데이터의 정형과 보존

  • 문자 코드 및 변환
  • 정규 표현식
  • DB
  • 보고서 자동 생성
  • 형태소 분석을 통해 일본어를 처리하다

  • 형태소 분석
  • Crawler에 사용되는 데이터 원본

  • Twitter
  • Facebook
  • 책갈피
  • Amazon
  • Flicker
  • Youtube
  • Yahoo!Finance
  • Wikipedia
  • 데이터 분류, 예측 및 기계학

  • 데이터의 활용법
  • 데이터 시각화

  • Google Charts
  • D3.js의 자유도가 높은 도표
  • D3.js지도
  • D3.js에서 파생된 라이브러리
  • 좋은 웹페이지 즐겨찾기