AWS Redshift의 운영을 편하게 해주는 웹 콘솔을 만들었습니다.

소개

AWS Redshift은 PostgreSQL 8.0.2를 기반으로 만들어진 열 사고 DB입니다.
DWH로 자주 사용되며 GCP BigQuery가 쿼리 요금인 반면 AWS Redshift는 시간 청구입니다. 따라서 Redshift는 대규모 데이터 소스에 대해 높은 빈도로 SQL을 실행할 때 매우 비용을 절감할 수 있는 제품입니다.

한편, 매우 고부하 SQL이 실행될 때 다른 쿼리의 실행에 영향을 미치거나 테이블을 정기적으로 VACUUM하면 어느 정도의 모니터링과 관리가 필요합니다. .

그 모니터링을 편하게 하는 Redshift 콘솔(Spectrometer) 를 만들었으므로, 소개하겠습니다. Redshift(적색 편이)를 따서 Spectrometer(분광기)라는 이름입니다.

기능

Digest 인증

Redshift 연결 사용자/비밀번호로 인증
(수퍼 유저 권한 필요)

AWS ClowdWatch의 지표 표시

CPUUtilization, Percentage Disk Space Used 등

Admin View

Admin View
표시 내용


Query Timelines
가장 최근의 긴 쿼리를 타임라인 및 목록으로 표시

스키마 테이블
스키마 및 테이블 목록

Stats Queries
쿼리 실행 횟수 그래프

WLM Queue state
WLM 대기열 상태 (STV_WLM_SERVICE_CLASS_STATE)

Inflight Queries
실행 중인 쿼리 보기 및 취소 실행

Slow Queries
느린 쿼리 목록

Stats Off Tables
통계의 이전 테이블 목록 (VACUUM & ANALYZE 실행 권장 목록)

Vacuum Results
VACUUM 실행 목록

Cluster Restart
Redshift 클러스터 재시작 기록

사용자 목록
사용자 이름과 최근 쿼리 실행 횟수 목록 표시

오류 목록
오류 목록 (STL_ERROR)

Load Error list
데이터로드 오류 목록 (STL_LOAD_ERROR)


※ 2016년 12월 18시점의 것입니다

설정

여기 README 을 참고로 설정해 주세요.
Redshift에 연결하는 수퍼 유저 정보를 database.yml에,
AWS CloudWatch에서 지표를 검색하려면 aws.yml 설정이 필요합니다.

뱀발

실은 그 밖에도 Redshift Console 라는 이름 그대로의 것이 있었습니다만, 리포지토리 소유자의 EverythingMe가 해산해 버리고 있는 것과, 1년 이상 메인터넌스되어 있지 않은 모습이었으므로 1부터 재작성했습니다.

Livesense Advent Calendar 2016 의 19일째의 기사였습니다.