Rest API 구성 요소를 사용한 데이터 통합 ​​: Similarweb

3870 단어 ETLXplentyREST-API
SimilarWeb (시밀러 웹)이라는 제품을 아십니까?

디지털 마켓과 거기에서의 경쟁사의 스타츠에 대해 조사해, 의사 결정에 필요한 정보를 제공해 주는 제품입니다. SimilarWeb 사이트에서

SimilarWeb은 디지털 세계의 지도입니다. 이제 주요 경쟁사를 신속하게 파악하고 추세를 정확하게 파악하고 업계 최고의 성능을 위해 벤치마킹할 수 있습니다.

그리고 있습니다. SimilarWeb(시밀러 웹)을 사용하는 것으로 경쟁 사이트와의 비교나 어떤 키워드로 타사는 자사와 비교해 어느 정도의 유입을 취하고 있는가? 등의 질문에 대답할 수 있습니다.

이번에는 Xplenty에서 SimilarWeb API를 활용하여 데이터를 어떻게 수집하고 처리할 수 있는지 소개합니다.

1. SimilarWeb API 정보
2. Xplenty로 패키지 만들기
3. 정리

1. SimilarWeb API 정보



우선 API의 사양에 대해, 이 사이트에서 확인했습니다.

이번 기사에서 이용하는 API는 이하의 2 종류입니다.
  • Desktop Keyword Analysis > Keyword Competitors (Organic)
  • Desktop Keyword Analysis > Keyword Competitors (Paid)

  • 사이트에는 검색되는 JSON 샘플 데이터가 있으며 위의 API에서 검색할 수 있는 항목은 다음과 같습니다.{
    "search_term": "wooden door",
    "share": 0.00004544731546152074,
    "visits": 190.59609562344377,
    "change": -0.4384225611154365,
    "volume": 0,
    "cpc": 0,
    "url": "N/A",
    "position": 0
    },


    품목
    설명


    search_term
    검색 키워드

    share
    공유

    visits
    방문 횟수

    volume
    검색 볼륨

    cpc
    클릭당 입찰

    position
    게재순위


    2. Xplenty로 패키지 만들기



    여기에서는 Xplenty를 사용하여 실제로 패키지를 만드는 절차를 소개합니다.

    Step1 데이터 연결: Rest API 구성 요소 사용



    Rest API 구성 요소를 사용하고 이번에 사용할 API 엔드포인트(Desktop Keyword Analysis > Keyword Competitors (Organic)) URL을 설정 화면에 입력합니다.

    이때 분석할 사이트와 API 키가 포함된 매개변수를 설정합니다.

    예) 사이트의 키워드나 공유를 취득하는 경우https://api.similarweb.com/v1/website/xxxxx.com/traffic-sources/organic-search?api_key=xxxxx&start_date=2019-01&end_date=2019-01&country=jp&limit=100000&main_domain_only=false&format=json


    미리보기를 보면 데이터는 다음과 같은 구조로 얻을 수있었습니다.

    이번 블로그에서 사용하는 것은 "meta"와 "serach"입니다.

    "meta"는 지정된 조건이 저장된 메타 정보입니다. 주로 meta> request에 필요한 메타 정보가 저장됩니다.

    「search」에는 유입 키워드나 점유율이나 방문 횟수가 많은 순서대로 배열 데이터로서 BAG 형식으로 취득할 수 있습니다.



    Step2 변환: Select 컴포넌트를 이용하여 취득한 데이터를 가공



    가공할 때의 스텝으로서는 2단계로 실시합니다.
  • meta > search에 저장된 데이터를 항목별로 각각 얻기


  • 2.search에 저장된 검색 키워드와 공유를 얻습니다.


    Step3 로드: Amazon S3에 CSV 파일로 출력



    이번에는 S3에 출력합니다. (S3에 출력을 설정하는 방법에 대해서는 이번에는 할애합니다.)

    최종 패키지는 다음과 같습니다.


    3. 정리



    다양한 클라우드에서 API로 공개되는 표준 데이터 형식으로 JSON은 일반적이지만 Xplnety를 사용하면 JSON 형식의 데이터도 프로그래밍하지 않고 약간의 함수를 이용하는 것만으로 간단하게 가공하고 데이터웨어 하우스나 스토리지에 로드할 수 있습니다.

    Xplenty에서는 이 페이지 에서 소개되고 있는 통합 대상의 데이터 소스 이외에도, 이번에 소개한 것 같은 Similarweb 등 다양한 데이터에 접속 가능합니다. 자세한 내용은 HP의 채팅을 통해 문의하십시오.

    좋은 웹페이지 즐겨찾기