Google 자동 완성 제안 스크랩

이 게시물에서는 Google 자동 완성 제안을 긁는 방법을 배웁니다.

요구 사항:

시작하기 전에 이 튜토리얼에서 앞으로 나아가기 위해 필요한 모든 것을 설치해야 합니다.

Node JS

Unirest JS

Cheerio JS

따라서 시작하기 전에 Node JS 프로젝트를 설정한 다음 Unirest JS 및 Cheerio JS 패키지를 모두 설치하십시오. 위에 명시된 링크에서 두 패키지를 모두 설치할 수 있습니다.

표적:

우리는 커피의 자동 완성 제안을 스크랩하는 것을 목표로 할 것입니다.

프로세스:

이제 스크레이퍼를 준비하는 데 필요한 모든 것이 설치되었습니다. 원시 HTML 데이터를 얻을 수 있도록 npm 라이브러리 Unirest JS를 사용하여 대상 URL에 대한 get 요청을 할 것입니다. 그런 다음 추출된 HTML 데이터를 구문 분석하기 위해 Cheerio JS를 사용합니다.

다음 URL을 타겟팅합니다.

https://www.google.com/complete/search?&hl=en&q=coffee&gl=us&client=chrome

브라우저에서 이 URL을 복사하고 Enter 키를 누릅니다. 브라우저에 이 URL을 입력하면 브라우저에 텍스트 파일이 다운로드되는 것을 볼 수 있습니다. 해당 코드 편집기에서 이 파일을 엽니다.



이제 먼저 이 JSON 문자열을 객체로 변환하고 필요한 각각의 데이터를 얻습니다.



다음 링크에서 이 코드를 복사할 수 있습니다. https://github.com/Darshan972/GoogleScrapingBlogs/blob/main/GoogleAutocompleteScraper.js

결과:

[
  { value: 'coffee near me', relevance: 1250, type: 'QUERY' },
  { value: 'coffee shops near me', relevance: 650, type: 'QUERY' },
  { value: 'coffee shop', relevance: 601, type: 'QUERY' },
  { value: 'coffee table', relevance: 600, type: 'QUERY' },
  { value: 'coffee maker', relevance: 553, type: 'QUERY' },
  { value: 'coffee bean', relevance: 552, type: 'QUERY' },
  { value: 'coffee grinder', relevance: 551, type: 'QUERY' },
  { value: 'coffee meets bagel', relevance: 550, type: 'QUERY' }
]
1300

Google 자동완성 API 사용

가끔 스크래핑에 시간이 많이 걸릴 수 있으므로 스크레이퍼를 만들지 않고 Google 자동 완성 결과를 쉽게 스크랩하고 싶다면 이 API를 사용해 볼 수 있습니다.

Serpdog | Google Search API은 또한 월 100회의 무료 검색을 제공하며 요청 할당량을 조정하려는 경우 유료 요금제를 구입할 수도 있습니다.

요청 코드 예:

const axios = require('axios');

axios.get('https://api.serpdog.io/autocomplete?api_key=APIKEY&q=football&gl=us')
  .then(response => {
    console.log(response.data);
  })
  .catch(error => {
    console.log(error);
  });

결과:

{
  "meta": {
    "api_key": "APIKEY",
    "q": "football",
    "gl": "us"
  },
  "suggestions": [
    {
      "value": "football cleats",
      "relevance": 601,
      "type": "QUERY"
    },
    {
      "value": "football games",
      "relevance": 600,
      "type": "QUERY"
    },
    {
      "value": "football wordle",
      "relevance": 555,
      "type": "QUERY"
    },
    {
      "value": "football today",
      "relevance": 554,
      "type": "QUERY"
    },
    {
      "value": "football gloves",
      "relevance": 553,
      "type": "QUERY"
    },
    {
      "value": "football field",
      "relevance": 552,
      "type": "QUERY"
    },
    {
      "value": "football movies",
      "relevance": 551,
      "type": "QUERY"
    },
    {
      "value": "football positions",
      "relevance": 550,
      "type": "QUERY"
    }
  ],
  "verbatim_relevance": 1300
}

결론

이 자습서에서는 Google 자동 완성 제안 결과를 스크랩하는 방법을 배웠습니다. 질문이 있으시면 언제든지 의견을 보내주십시오. 나를 따르라. 읽어 주셔서 감사합니다!

추가 리소스

Google Maps Reviews Scraper

Google Images Scraper

Google Organic Search Results Scraper

작가

저는 serpdog.io의 설립자 Darshan입니다. 저는 웹사이트를 긁어모으고 블로그에 글을 쓰는 것을 좋아합니다.