한 줄로 웹사이트를 스크래핑하여 JSON화할 수 있는 명령을 만들었다

할 수 있는 것



샘플 : qiita의 새로운 페이지를 스크래핑하여 json으로 얻는 명령입니다.

여자 에서 json을 작성하고 jq 으로 성형하고 있습니다.
jo -B topics="$(jo -B title="$(jo -a .tr-Item_title text)" link=.tr-Item_title _unfold=true )" | xargs -0 kirinuki scrape -p https://qiita.com/ | jq .

xargs -0 kirinuki scrape -p https://qiita.com/부분이 만든 명령 입니다.

할 수 있는 일



cssSelector를 값으로 작성한 json에서 데이터 처리 프로세스 없이 json을 검색할 수 있습니다.

기법에 대해 쓴 과거 기사

ocilif



과거 기사가 있었다.
htps : // 이 m / 모모토 / / ms / f70 에이 f72f795f1d7322

장점


  • 소스 코드 내에 쓴 help 등의 데이터로부터 Readme 등의 문서를 자동 생성해 준다
  • 기본적으로 typescript 지원
  • 디버깅이 쉽습니다.

  • 이번에는 사용하지 않은 장점


  • 지원하고 있는 피드백의 인터페이스가 리치
  • 대화형 인터페이스
  • 알림
  • 테이블
  • 스피너

  • oclif 자체의 플러그인이 쉽게 만들기
  • 자동 업데이트도 빨리 할 수 ​​있습니다.

  • commander와 한결같이 풍부한 피드백을 만들려고 하면, 외부 라이브러리 사용하게 되기도 하므로, 살짝 만들고 싶을 때 최고라고 생각합니다.

    puppeteer



    모두 사랑 Headless Chrome Node API

    puppetter 자체를 일반 종속성으로 만들면 거대한 chromium 실행 파일을 DL하게 되므로 puppeteer-core 을 종속성에 추가하기만 했습니다.
    옵션으로 chorme의 실행 경로를 건네줄 수 있게 하고, 인스톨이 끝난 chrome를 사용할 수 있도록(듯이) 하고 있습니다.
    전역 등에 설치된 puppetter가 있다면 그곳을 찾아갑니다.

    요약



    정기적으로 감시하고 싶은 페이지라든가, json으로 취하고 싶은 페이지가 있을 때에 사용해 주세요.

    좋은 웹페이지 즐겨찾기