node.js+selenium 환경에서 jquery를 사용하여 스크래핑하는 방법

node.js+selenium 환경에서 jquery를 사용하여 스크래핑하는 방법



node.js+selenium 환경에서 jquery를 사용하여 스크래핑하고 싶습니다! ! 그런 때는 이런 식으로 하면 잘 되었습니다.
  • selenium 측에서 jquery를 사용하여 스크래핑
  • 스크래핑한 결과의 데이터를 배열로 해 JSON 형식으로 해 서버에 건네준다.
  • 서버 측에서 JSON 구문 분석하여 객체로 만듭니다.
  • 서버 측에서 수신 한 JSON 데이터를 data.json라는 파일에 저장합니다.
      var webdriver = require('selenium-webdriver');
    
      var driver = new webdriver.Builder()
        .forBrowser('chrome')
        .build();
    
      driver.get('http://hogehoge.com/');
      driver.executeScript("return JSON.stringify($('.entry-title').map(function(){return $(this).text().trim();}).get());").then(function (return_value) {
        let json = JSON.parse(return_value);
        for (var key in json) {
          let val = json[key];
          fs.writeFile(path.join(__dirname, "data.json"), JSON.stringify(json), function (err) {
            if (err) {
              return console.log(err);
            }
          });
        }
    

    ※URL 「h tp : // 푹신 푹신. 코m/

    이제 jQuery의 선택기와 일치하는 데이터를 JSON 파일에 저장할 수 있습니다
    selenium의 작법을 배우는 것보다 익숙한 jQuery를 사용하고 싶습니다! ! 라는 사람에게는 유용한 방법이라고 생각합니다.

    엔지니어에게 도움이 되는 정보를 Twitter에서도 발신하고 있으므로 좋다면 Twitter의 쪽도 팔로우를 잘 부탁드립니다!
    트위터 링크는 여기
  • 좋은 웹페이지 즐겨찾기