개요 및 경위

BI 툴의 DOMO로 데이터 세트를 작성할 때, 데이터가 억 단위까지 도달하면 생성하는데 많은 시간(1억 레코드로 3~4시간)을 필요로 하고, 카드를 만들어도 필터를 걸거나, 표시 기간을 변경하면 표시가 매우 느려집니다. 그래서 현재는 레코드수가 큰 데이터에 관해서는 쿼리로 집약해 데이터 세트를 만들도록 하고 있습니다.

집계하지 않는 것을 비교 검증

집계되지 않은 쿼리

SELECT
"jst_date"
,"user_id"
FROM
"access_hist"

집계된 쿼리

SELECT
"jst_date"
,COUNT("user_id") as user_cnt
FROM
"access_hist"
GROUP BY
"jst_date"

결과

집약하면 처리 시간은 약 절반이 되었습니다! !

잘 보면 Data Output에서 97만 레코드와 169 레코드 사이에 큰 차이가 있습니다.
Data Output을 줄임으로써 DOMO의 처리 시간을 크게 줄일 수 있다는 것을 알았습니다.

실제 평상시의 일에서 사용하고 있는 데이터 세트는 2억 레코드 정도 있어,
집약을 하기 전에는 처리에 3시간 걸리고 있었는데, 집약을 하면 1시간 조금 완료할 수 있었습니다.