HubSpot의 데이터를 BigQuery에 통합하여 사용자의 행동을 시각화하고 서비스를 개선합니다

개요

저는 HubSpot을 이용하는 사람을 이용해서 HubSpot에서 매일의 마케팅 활동에 관한 기록을 찾으려고 합니다.
지금까지 허브스폿이 입수한 데이터를 활용해 지금까지의 활동을 돌아보는 일도 있다고 생각한다.
데이터를 분석할 때나 지금까지의 업적을 다른 사람에게 설명할 때 도표 등 한눈에 알아볼 수 있는 자료가 효과가 있다.
하지만 새로운 데이터가 늘어날 때마다 최신 상태로 다운로드해 도표를 다시 만드는 것은 힘든 일이다.
따라서 이번에 우리는'ETL & 작업 흐름'trocco의 서비스를 사용하여 데이터를 자동화+DWH의 통합+가시화할 것이다.
이번에 데이터 전송수단으로trocco가 적용됐고, 허브스팟 이외에도 다양한 광고·CRM·DB 등에 대응하는 데이터 소스가 적용됐다.
trocco 사용법 요약(CRM, 광고, 데이터베이스 등)

골대

↓ 그림처럼 그래프를 정리한 후 30분 정도 지나면 완성(제작 후 자동으로 최신치로 업데이트)

이런 분들께 추천해드릴게요.

HubSpot을 이용하여 기판이나 데이터 소프트웨어 하우스에 데이터를 옮기는 것을 고려한 사람

각종 CRM 사이트의 정보를 종합하여 하나의 서비스로 관리하고자 하는 사람

관리 화면에서 데이터를 얻는 데 지친 직원

1. DWH와 동기화할 수단을 선택합니다.

1-1. 선택한 DWH

먼저 DWH(데이터 소프트웨어 하우스)를 선택하여 데이터를 어디에 집중할 것인가.

Google BigQuery

Amazon Redshift

MySQL 및 PostgreSQL

이번에는 빅큐리를 활용하기로 했다.

1-2. HubSpot 데이터를 BigQuery로 전송하는 4가지 방법

빅Query에 데이터를 집중하기로 결정했기 때문에 앞으로 전송하는 방법을 검토할 것이다.
1. 관리 화면에서 HubSpot 데이터를 다운로드하여 BigQuery에 수동으로 업로드
2. HubSpot과 BigQuery의 API를 사용하여 쓰기 프로그램 결합
3. Embalk를 활용하여 환경 구축
4. trocco를 이용해 화면에 설정
1 단발 집행이라면 문제없지만 정기적인 섭취를 고려해 매번 같은 일을 반복하는 것은 시간과 정력을 소모한다.
2 협력을 시작하기 전에 API의 포착+프로그램+환경 구축을 써야 하는 시간, 오류 대응 등의 운용 작업 시간도 지속해서 발생한다.
3과 2와 마찬가지로 엠뱅크는 어느 정도의 전문 지식이 필요하며, 스스로 환경을 구축하고 운용하기 위해 약간의 번거로움이 생길 수 있다.또한 잘못된 내용이 전문적이기 때문에 오류를 없애는 데 시간이 걸릴 수 있다.
이에 따라 이번에는 엠뱅크의 과제를 해결해 4개trocco 사아스를 활용해 프로그램을 쓰지 않고 화면상의 설정만으로 작업을 수행할 수 있도록 할 예정이다.

2. 트로코를 통해 HubSpot→BigQuery의 전송 자동화 실현

2-0. 사전 준비

데이터 전송을 위해서는 trocco의 계정·허브스팟의 계정이 필요하다.
무료 시행을 실시하고 있으니, 사전에 신청·등록하세요!
https://trocco.io/lp/index.html
(신청할 때 이 글을 보았다는 뜻을 적으면 안내가 순조롭게 진행될 수 있다.)

2-1. 라우팅 소스 및 라우팅 대상 파악

액세스trocco가 완료되면 대시보드에서 라우팅 설정 작성 버튼을 누릅니다.

"HubSpot"을 전송 소스로 선택하고 "BigQuery"를 전송 목적지로 선택한 다음 전송 설정을 눌러 생성 버튼을 누릅니다.

그리고 화면 설정이기 때문에 화면 설정에서 필요한 정보를 입력한다.

2-2. HubSpot과의 공동 작업 설정

나중에 전송 설정을 볼 때 스스로 알 수 있도록 이름과 노트를 입력하세요.

이어 허브스폿 협업과 관련된 설정을 하기 위해'전송원 설정'내'추가 연결 정보'버튼을 눌렀다.

다른 탭에서 연결 정보를 새로 만드는 화면을 열고 필요한 사항을 기입한 후 저장 단추를 누르십시오.

다시 전송 설정 화면으로 돌아가 연결 정보의'재읽기'버튼을 누르면 방금 만든 연결 정보를 선택할 수 있다.

이렇게 되면 허브스팟과의 협업이 완성된다.

2-3. HubSpot에서 데이터를 추출하는 설정

다음은 어떤 데이터를 얻었는지 설정합니다.
trocco는 현재'콘택트렌즈'와'거래'를 지원하고 있다.
여기에서 렌즈에 대한 데이터를 얻습니다.
열을 작성하지 않으면 모든 연락처 항목을 얻을 수 있습니다.

2-4. 대상 BigQuery 설정

전송원과 같은 요령에 따라 설정하다.
데이터 세트와 표에 원하는 이름을 입력하십시오.자동 생성 옵션이 활성화되어 있으면 데이터 세트 테이블이 자동으로 작성됩니다.
또한 사용자 정의 변수를 사용하면 작업을 수행할 때 지정한 값으로 바꿀 수 있습니다.
BigQuery 데이터 세트의 위치를 지정할 수 있습니다.기본값은 US 영역입니다.

이렇게 입력하면 완성됩니다.'저장 후 자동 데이터 설정, 미리보기 들어가기'를 클릭하여 확인합니다.

2-5. 데이터 미리 보기

전송 원본 데이터를 미리 봅니다.여기에는 HubSpot에서 얻은 데이터가 나와 있습니다.

전송하려는 데이터가 확보되었는지 확인하면'일정·알림 설정'에 들어갑니다.

2-6. 스케줄/알림 설정

스케줄 트리거 설정 탭을 엽니다.

"시간표 추가"단추를 누르면 아래 그림의 입력 표시줄이 나타납니다.이 설정을 통해 실행할 시기를 설정하면 전송과 자동화를 정기적으로 실행할 수 있습니다.

2-7. 데이터 전송 작업 실행

이상은 설정입니다.마지막으로 수동으로 전송 작업을 수행하고 BigQuery에 데이터를 보냅니다.
수동으로 실행할 때 작업 상세 화면의 '실행' 단추를 누르십시오.

이렇게 전송이 완료되었습니다!

3. BigQuery 설정

특별한 설정이 없습니다.미리보기에서 데이터가 전송되었는지 확인합니다.

전송이 성공했기 때문에 지금 바로 분석과 가시화를 진행할 수 있습니다.

4. Google 데이터 포털(레거시 데이터 Room) 시각화

BigQuery 화면에서 내보내기 데이터 포털을 선택합니다.

그런 다음 다음 다음 Data Portal 화면으로 이동합니다.
이번에는 각 계좌 매출액의 도표 예시를 보여 주었다.데이터는 내가 준비한 샘플을 이용해서
그림의 지시에 따라 변경하세요.

그러면 아래의 도표가 완성됩니다.

이 화면은 데이터 포털 사이트의 자원 관리자 기능이다.

데이터 포털의 최상위 화면에서'보고서'를 만들어 필요한 도표를 위와 동일하게 만들면 서비스용 대시보드를 만들 수 있다.

총결산

어때?trocco를 사용하면 HubSpot의 관리 화면을 만지지 않고 간단하게 데이터를 얻어 DWH(BigQuery)에 저장할 수 있다.
BigQuery에 데이터를 저장한 후 Google 데이터 포털을 이용하여 그래프를 만들어 시각화할 수 있습니다.
실제로 폐회사의 서비스trocco에서도 이런 절차로 시장 KPI 등을 수집·분석한다.
광고 데이터를 분석할 때 꼭 활용하세요.
https://trocco.io/lp/index.html
실제로 시도하고 싶으시다면무료 체험 지금 실행 중이므로 이 기회에 꼭 한번 시도해 보십시오.(신청할 때 이 기사를 본 내용을 기입해 주시면 순조롭게 소개해 드릴 수 있습니다.)
이 밖에도 광고, 데이터베이스 등 각종 분석 데이터를 ETL·리트윗한 사례를 총결산했다.
trocco 사용법 요약(CRM, 광고, 데이터베이스 등)