한 줄로 웹사이트를 스크래핑하여 JSON화할 수 있는 명령을 만들었다
할 수 있는 것
샘플 : qiita의 새로운 페이지를 스크래핑하여 json으로 얻는 명령입니다.
※ 여자 에서 json을 작성하고 jq 으로 성형하고 있습니다.
jo -B topics="$(jo -B title="$(jo -a .tr-Item_title text)" link=.tr-Item_title _unfold=true )" | xargs -0 kirinuki scrape -p https://qiita.com/ | jq .
xargs -0 kirinuki scrape -p https://qiita.com/
부분이 만든 명령 입니다.
할 수 있는 일
cssSelector를 값으로 작성한 json에서 데이터 처리 프로세스 없이 json을 검색할 수 있습니다.
기법에 대해 쓴 과거 기사
ocilif
과거 기사가 있었다.
htps : // 이 m / 모모토 / / ms / f70 에이 f72f795f1d7322
장점
이번에는 사용하지 않은 장점
commander와 한결같이 풍부한 피드백을 만들려고 하면, 외부 라이브러리 사용하게 되기도 하므로, 살짝 만들고 싶을 때 최고라고 생각합니다.
puppeteer
모두 사랑 Headless Chrome Node API
puppetter 자체를 일반 종속성으로 만들면 거대한 chromium 실행 파일을 DL하게 되므로 puppeteer-core 을 종속성에 추가하기만 했습니다.
옵션으로 chorme의 실행 경로를 건네줄 수 있게 하고, 인스톨이 끝난 chrome를 사용할 수 있도록(듯이) 하고 있습니다.
전역 등에 설치된 puppetter가 있다면 그곳을 찾아갑니다.
요약
정기적으로 감시하고 싶은 페이지라든가, json으로 취하고 싶은 페이지가 있을 때에 사용해 주세요.
Reference
이 문제에 관하여(한 줄로 웹사이트를 스크래핑하여 JSON화할 수 있는 명령을 만들었다), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다
https://qiita.com/rike422/items/6c3762c440c048fc23ce
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
Reference
이 문제에 관하여(한 줄로 웹사이트를 스크래핑하여 JSON화할 수 있는 명령을 만들었다), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/rike422/items/6c3762c440c048fc23ce텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)