【Google Cloud Day'21】「리크루트의 온프레미스 Hadoop을 BigQuery로 마이그레이션한 사례」를 시청해

모집 온프레미스 Hadoop을 BigQuery로 마이그레이션한 사례
htps : // c ぉ 우도없는 r.ぃth おお gぇ. 이 m / 에ょ ぇ ts / 굉장히 ぇ-c ぉ d-d y- ぢ 기 l-21 / 와 tch? lk = d2 - 03
리크루트의 여러 미디어에서 활용되고 있는 10 클러스터, 100 노드 이상의 Hadoop 시스템을 BigQuery로 마이그레이션한 사례를 소개합니다. 어떤 검증을 거쳐 채용에 있었는지, 이행 중 어떠한 고생이 있었는지, 이행한 결과 어떤 변화가 일어났는지 등을 소개하겠습니다.


질문
답변


마이그레이션 대상 DWH는 BQ 이외에 후보가 있었습니까? BQ의 장점은 전해 주셨습니다만, 그 중에서도 하나, 결정수가 된 것을 가르쳐 주세요.
가장 큰 결정자는 컴퓨팅 리소스와 스토리지가 분리된 곳입니다. 우리가 안고 있던 과제 해결에 직결했습니다.


상당한 대응, 데이터량입니다만 마이그레에는 어느 정도 기간이 필요하게 되었습니까.
전체적으로는 4, 5년 정도의 기간을 걸고 있습니다(1클러스터당 1~2년 정도 걸리고 있습니다) 이행은 아직 계속중입니다만, 현재 사내에 있는 클러스터는 마지막 1개가 되고 있어 모두 BQ로 대체되는 목표가 보입니다.


우리는 Hadoop에서 BQ로의 전환을 고려하고 있습니다. 주의점의 소개 매우 살아납니다. 덧붙여서 이번에 재기록 대상이 된 쿼리는 몇 개 정도 있었습니까?
재기록 대상의 쿼리는 전체적으로 수천개가 있었습니다



커팅
내용


마이그레이션 배경



요청



마이그레이션 시점
마이그레이션하여 굉장히 빨라졌다.