redash Redash의 파이썬에서 자작 로직을 작동시키는 방법 ・복수의 DataSource로부터 execute_query를 이용해 데이터를 취득해 DataFrame에 가공. · add_result_row와 add_result_column을 이용하여 Redash용 테이블화. 상기 2점을 실시하는 것이 귀찮았기 때문에, 래퍼 클래스의 작성하기로 했다. Redash는 docker에서 움직이고 있기 때문에, 스크립트는 docker 내부에 설치할 필요가 있다. ... 파이썬redash redash v10.0.0으로 버전을 업그레이드했을 때 발생하는 문제에 대해 요 전날, 2021/10/01에 약 2년만에 redash의 릴리스가 있었기 때문에 조속히 버전 업 해 보았습니다만, 2개 정도 결함에 부딪쳤으므로, 같은 현상에 휩쓸리고 있는 분의 도움에 된다고 생각해 써 둡니다. 버전 업 이전 버전은 8.0.0 버전 업그레이드 절차는 여기에 설명 된대로 수행했습니다. 구체적으로는 docker-compose.yml 편집 Docker 이미지 교체 service... redash where 절을 사용하는 동안 모든 레코드를 SELECT or 특정 레코드 만 SELECT를 실현하는 방법 Redash와 같은 선택 상자에서 ID1을 선택하면 해당 ID의 레코드를, ALL을 선택하면 필터링하지 않고 모든 레코드를 검색하고 싶을 수 있습니다. 그래서 SQL 에서 WHERE id = 에 1 을 기재하면 id 1 의 레코드를 취득, ALL 와 같은 것을 기재하면 전체 레코드를 취득하는 방법을 생각해 보았습니다. ※ 대상 테이블이 문자열의 고유 식별자를 가지고 있는 것이 전제 조건이 됩... MySQLBigQueryredash Redash에서 풀다운 필터 만들기 ~ BigQuery의 public-data를 사용하여 연습 ~ Redash는 SQL이 쓸 수만 있으면, 나머지는 GUI로 플롯을 좋은 느낌으로 만들 수 있으므로 매우 편리합니다. 이 편리한 기능보다 편리하게 사용할 수 있게 되고 싶습니다. 나 자신 SQL 돌출이라고 하는 일도 있어 나날의 업무로부터 발견한 tips등을 남겨 가면 된다고 생각하고 있습니다. 이미지적으로는 이런 느낌의 풀다운 필터를 플롯에 붙이고 싶습니다. 이번에는 이 Redash에서 필터... SQLBigQueryredash GCE에 시작된 redash에서 파이썬을 사용할 수있게 될 때까지 VM 인스턴스 세부정보 > 편집 > HTTP 트래픽 허용 (여기까지 IP에 액세스하면 redash가 열립니다.) 서버로 SSH하고 다음을 수행 ( /opt/redash 에 docker-compose.yml 또는 env 파일이 있습니다) 이것으로 파이썬을 사용할 수있는 상태가됩니다. ※ DNS에서 redash IP에 도메인을 할당해야합니다 다음 설정으로 Google 로그인을 할 수 있습니다. ... gceredash Re:dash API를 사용하여 Re:dash로 이동 옛날 혼잡한 Re:dash에서 새로운 Re:dash 환경으로 쿼리를 이사한다. Re:dash를 혼잡한 결과 다양한 문제에 직면했기 때문에 새롭게 Re:dash 환경을 시작해 이사하기로 결정했다. 기존 환경을 최선을 다해 좋은 느낌으로 만드는 것도 생각할 수 있지만 이용자가 적다(나와 디렉터 1명만)&query 이외 거기까지 이용하지 않은 배경이 있어, 새로운 환경 세워 이사하는 것이 빠른 것... 루비redash 【BigQuery 초보자의 잡기 vol.3】Re:dash 입력치를 IN구의 조건으로 사용~실무의 분석으로 사용하기 쉽게 한 이야기 주식회사 오즈비전 유코 ( )입니다. 최근 BigQuery에서 쿼리를 작성하는 삶을 살았기 때문에 오늘도 그 관계가 있습니다. 오즈비전에서는 AWS에 세워진 MySQL Aurora 및 Google Analytics와 같은 데이터 소스를 탐색하기 위해 Re:dash를 세워 운영하고 있습니다. 최근 BigQuery가 그 데이터 소스에 동료 들어가고, 그 자리수 차이의 연산 능력에 반하는 사람이 ... BigQueryredash Redash 데이터를 Google 스프레드시트에 자동으로 반영하는 방법 수작업이라면 취득해 잊거나 등 수수하게 귀찮기 때문에, 이 작업을 자동화할 수 없을까 생각한 것이 계기입니다. Google 스프레드시트를 기반으로 하는 시트를 만들고 이 시트를 정기적으로 복제하여 데이터를 활용합니다. Redash 데이터를 Google 스프레드 시트에 맞게 조정 Google 스프레드 시트에서 Redash 데이터로드 데이터로드 작업을 자동화하는 스크립트 설정 자동화 된 작업의 ... redashGoogle 스프레드시트 Redash를 사용할 때 몰랐던 SQL을 쓰는 법을 배웠습니다. 최근 redash에서 sql을 쓸 기회가 많고, 이런 쓰는 방법이 있었는지와 sql에 대해 공부를 다시하고 있기 때문에 배운 것을 여기에 씁니다. Redash란? 월별로 데이터를 표시하고 싶습니다 주별로 데이터를 표시하고 싶습니다 날짜 지정 방법 case when 과 or null 데이터 연계 1. Redash란? Redash는 SQL 분석 결과를 명확하게 시각화하고 공유하는 오픈 소스 BI... MySQLSQLredash Redash on EC2 장애 및 복구 작업 EC2에서 호스팅하는 Redash가 중지되었습니다. ELB에게서 말하는 502 Bad Gateway 메시지 원인 식별에서 복구까지 로그를 남깁니다. 즉시 생략합니다. 왜냐하면 ALB 로깅이 활성화되지 않았기 때문입니다. 다음에 도움이 될 수 있도록 AWS 공식 문서에 따라 ALB 액세스 로그를 S3에 저장하도록 설정합니다. 발판 서버를 통해 EC2 인스턴스의 80번 포트에 액세스합니다. 그러... EC2redash Redash v9의 경고 사용자 정의 기능 v8 시점에서는 실험적인 기능이라고 하는 위치 지정으로 디폴트 OFF였던 경고 커스터마이즈 기능이, v9에서는 UI·기능이 크게 개선됨과 함께 디폴트 ON이 되었습니다. 기본적으로 매우 간단한 경고 메시지를 사용자 정의할 수 있습니다. 기본적으로 임계값을 초과했음을 알렸지만 사용자 지정 기능을 사용하면 쿼리 실행 결과에서 메시지를 조립할 수 있습니다. Default Template Use C... redash EC2 인스턴스의 스토리지 볼륨 크기 변경 사내에서 Redash의 AMI를 운용하고 있었습니다만, 갑자기 움직이지 않게 되어 버려, 볼륨 사이즈의 변경이 필요하게 되었습니다. /is using 99.8% of 7.69GB 굳게~. 볼륨 크기를 변경하는 절차는 다음과 같습니다. EBS 볼륨의 크기 조정 EC2의 파티션을 물리적 볼륨의 크기에 맞게 재구성합니다. EC2 대시보드 > Elastic Block Store > 볼륨으로 이동하여... EC2redashebsAWS Redash에서 그래프를 작성해 보았지만 제대로 집계되지 않았습니다 (쿼리 수정) 이번에는 마지막으로 만든 쿼리 결과를 그래프로 표시하고 싶습니다. ① 이전에 작성한 쿼리를 표시하고 [New Visualization] 버튼을 누릅니다. ② Visualization Editor가 표시됩니다. ③ 지역별 매출 및 이익을 표시하는 그래프를 작성하고 싶습니다. X축에 「지역」, Y축에 「매출」과 「이익」을 설정합니다. (차트 타입은 막대 그래프 그대로) ④ 지역별 매출과 이익이 ... 그래프쿼리redash Redash에서 쿼리를 만드는 방법(DB, Google Spread Sheet) ① 툴바에서 [Create] - [Query]를 선택합니다. ② 데이터 소스(MySQL(Amazon RDS))를 선택합니다. ③ SQL을 기재하고 「実行」 버튼을 누르면 취득한 데이터가 표시됩니다. (쿼리 이름도 변경합니다.) ④ 「保存」 버튼을 누릅니다. 이것으로 DB(Amazon RDS)에서 데이터 검색 쿼리 생성이 완료됩니다. ① 툴바에서 [Create] - [Query]를 선택합니다.... GoogleSpreadSheet쿼리RDS동적 SQLredash Redash 데이터 소스 만들기 이전 기사에서 AWS RDS로 데이터를 가져와 데이터를 준비할 수 있었으므로 이번에는 Redash에 로그인하여 데이터 소스를 만들고 싶습니다. ① 먼저 AWS EC2 인스턴스와 RDS가 시작되었는지 확인합니다. 부팅되지 않은 경우 부팅하십시오. ② EC2 인스턴스의 공용 IP 주소를 복사합니다. ③ 복사한 IP 주소를 브라우저의 URL에 입력합니다. ④ Redash의 초기 설정 화면이 표시되... redash데이터 소스AWS AWS RDS로 데이터 가져오기 이번에는 이전에 만든 AWS의 RDS로 CSV 데이터를 가져올 때의 단계를 아래에 설명합니다. · 마지막으로 작성한 EC2 인스턴스와 RDS가 시작되었음 ・RDB로 임포트하고 싶은 CSV 파일을 작성되고 있는 것(※문자 코드는 UTF8인 것) ① 마지막으로 만든 EC2 인스턴스의 공용 IP 주소를 복사합니다. ② 다음으로 rLogin으로 접속 정보를 설정하고 EC2에 접속합니다. (여기에서는... RDSCSV 가져오기redashAWS AWS AMI에서 구축한 redash metadata에 연결(작업 로그 보기) AWS의 AMI에서 구축한 redash의 Datasouce에 metadata(postgresql)를 추가해 보았습니다. 그대로 docker에서 실행중인 postgresql에 연결할 수 없습니다 (포트가 지정되지 않기 때문에), docker-compose.yml을 변경하고 다시 시작합니다. 이렇게하면 docker 외부에서 연결할 수 있습니다. redash의 Datasource 만들기 호스트가 ... redashAWS docker의 redash와 로컬 mysql을 연결 docker에 세운 redash와 로컬 mysql을 연동시키는 데 조금 힘들었기 때문에 방법을 남겨두려고 생각합니다. 데이터를 redash에 연계시킴으로써 코드 등을 작성하지 않고 데이터를 그래프화 할 수 있습니다 docker에 서있는 redash와 Macpc의 로컬에서 실행중인 mysql을 연동시킨다 mysql 데이터를 redash로 그래프화 (redash 자체의 개발은 실시하지 않는 가정... MySQL도커redash Redash를 Docker for Mac에서 가장 빠르게 이동 Redash용 Docker for Mac에서 가장 빠르게 움직입니다. Redash를 개발하지 않으므로 준비된 설정을 실행하기 만하면됩니다. 설치 파일 실행부터 Redash 시작까지 약간의 수정이 필요했습니다. macOS 10.15.3 Catalina Mac용 Docker 2.2.0.3 Redash v8.0.0.b32245 setup 디렉토리는, 공식으로부터 git clone 해 온 것. 그 ... docker-compose도커redash Redash API로 동적으로 결과 얻기 Redash 2.0.0+b2990 <host>는 Redash의 호스트를 의미합니다. 예를 들어, 환경의 Redash GUI에 액세스 할 때 https://www.example.com/redash/에 액세스하는 경우 호스트입니다. <host>/api 라고 기재하면https://www.example.com/redash/api 를 의미합니다. 그 외, <>로 둘러싼 문자는 적절히 변수를 의미합니다... redash redash의 그래프로 빠지다. redash를 사용하여 아래의 sql인 수를 매일 집계한 꺾은선형 차트를 만들려고 하면 왠지 그래프를 잘 만들 수 없었습니다. 날짜 형식의 %y/%m/%d를 %y-%m-%d로 수정하면 제대로 그래프로 표시되었습니다. mysql의 날짜 형식이 '2015-07-21', '20150721', 20150721과 같이하지 않으면 날짜로 인식되지 않기 때문이었습니다.... redash Airflow에서 redash 쿼리 결과를 GCS로 보내기 별로 없는 장면이라고 생각합니다만, 「이런 일이 있었다」가 엄청나게… Airflow에서 redash 쿼리 결과를 API를 사용하여 GCS로 보낼 수 있도록 조사한 개인 메모 redash 쿼리 API를 실행하고 검색 결과를 GCS에 업로드합니다. 그림에 나타내면 아래와 같이 됩니다. GCP Cloud Composer Airflow(ver 1.10.2) redash (var 5.0) GCS bu... 메모GCSAirflowredash Redash v8의 도입과 사용법(조금) 리포트 화면을 만드는 것이 힘들었기 때문에, 드디어 귀찮게 되었기 때문에, Redash로 대용해 보았습니다. 처음으로 BI 툴을 사용해 보았습니다만, 상당히 좋은 느낌에 이용할 수 있었으므로, ざっくり한 사용감을 포함하여 도입 방법을 정리해 가고 싶습니다! (얼굴이지만) SQL 쿼리에서 보고서 화면을 만들 수있는 것입니다. 그래프를 표시하거나 WHERE 절에 대한 매개변수 포함도 쉽게 할 수... MySQLredash redash에서 MySQL 자체의 시각화 시스템계의 정보 표시는 Mackerel에서 부족합니다만, 좀 더 세세한 DB의 값을 깜박이 보기 위해 MySQL 자체의 통계 표시를 해 보았습니다. 이라고 해도 데이터계에서 숫자가 나오는 지표는 적기 때문에 이 정도입니다. 이것은 누구나 즉시 흉내내서 사용할 수 있는 지표라고 생각합니다! 위의 대시보드 쿼리는 매우 간단합니다. 언제나 익숙한 MySQL의 통계 정보를 내는 것뿐입니다. Inno... MySQLredash Redash의 QueryRunner 확장 Redash의 Elasticsearch 용 파서 (QueryRunner)에서 문제 ( )를 발견했으므로 문제를 해결하기 위해 QueryRunner를 확장합니다. 기존 파일을 수정하여 대응하는 것도 가능했지만, 그렇다면 버전 업 시에 번거롭기 때문에 이번에는 QueryRunner를 새로 추가해 보았습니다. Redash(v7.0.0) Elasticsearch(v7.3.2) Elasticsearc... 파이썬도커Elasticsearchredash [Redash] Redshift에서 임시 테이블을 사용하는 경우 스키마 정보를 검색하지 못할 수 있음 Redash version: Redshift를 데이터 소스에 등록한 후 쿼리를 작성(또는 편집)하는 대시보드에서 원래 왼쪽 창에 표시되어야 하는 스키마 정보가 표시되지 않고 페이지 오른쪽 하단에 다음 오류 메시지가 표시됨 있습니다. ※ 물론 아무리 기다려도 스키마는 표시되지 않습니다. Redash Scheduler 로그를 확인할 때 다음 예외 오류가 발생했습니다. 분명히 스키마 정보를 얻는 ... redash7redash 【MySQL】JOIN은 무엇인가? 사내 SQL 연구회가 재개되었습니다. 이전의 공부회에서, 기본적인 SQL을 쓸 수 있었습니다만, 사실, 업무에 쿼리는 조금 어려운 곳이 있습니다. JOIN을 모르겠습니다. 이번에는 JOIN에 대해 설명합니다. JOIN은 두 테이블을 결합합니다. 각 테이블은 자신에게 맞는 데이터를 저장하지만, 다른 테이블에서 데이터를 가져오려면 JOIN해야 합니다. 위와 같이 두 개의 테이블이 있습니다. 이들... MySQLSQL조인redash Re : dash로 얻은 데이터를 Slack에 게시 (및 Re : dash 내 python을 작성할 때의주의 사항) Re : dash로 얻은 데이터를 파이썬 데이터 소스를 사용하여 Slack에 게시하고 싶습니다 Re : dash의 alert 기능은 편리하지만 조건이 해소되지 않으면 계속 나오는 문제가 있었다 Slack Admin에서 Incoming Webhooks를 설정하고 Webhook URL를 얻습니다. Re:dash는 이미 python 데이터 소스를 가지고 있다고 가정합니다. 구그라면 가득 나온다 슬... 슬랙파이썬redash7redash GCE 환경의 redash에서 SystemStatus 페이지에서 액세스하는 CeleryStatus 내의 Queries가 사라지지 않는 경우의 kill 방법 ※자신용의 메모입니다. GCE 내에서 도커 운영 redash Version: 7.0.0+b18042 위의 이미지는 No Data가 되어 있습니다만 여기에 스케줄로 실행된 Query나 Execute한 Query가 기본적으로 표시되게 되어 있습니다만, 실행이 실패했는지 어쨌든 무한하게 여기에 남아있는 사람 (이미지 없음)이 있습니다. 그리고, 그것을 지우지 않으면 다음의 스케줄 되고 있는 Que... redash7redash 이전 기사 보기
Redash의 파이썬에서 자작 로직을 작동시키는 방법 ・복수의 DataSource로부터 execute_query를 이용해 데이터를 취득해 DataFrame에 가공. · add_result_row와 add_result_column을 이용하여 Redash용 테이블화. 상기 2점을 실시하는 것이 귀찮았기 때문에, 래퍼 클래스의 작성하기로 했다. Redash는 docker에서 움직이고 있기 때문에, 스크립트는 docker 내부에 설치할 필요가 있다. ... 파이썬redash redash v10.0.0으로 버전을 업그레이드했을 때 발생하는 문제에 대해 요 전날, 2021/10/01에 약 2년만에 redash의 릴리스가 있었기 때문에 조속히 버전 업 해 보았습니다만, 2개 정도 결함에 부딪쳤으므로, 같은 현상에 휩쓸리고 있는 분의 도움에 된다고 생각해 써 둡니다. 버전 업 이전 버전은 8.0.0 버전 업그레이드 절차는 여기에 설명 된대로 수행했습니다. 구체적으로는 docker-compose.yml 편집 Docker 이미지 교체 service... redash where 절을 사용하는 동안 모든 레코드를 SELECT or 특정 레코드 만 SELECT를 실현하는 방법 Redash와 같은 선택 상자에서 ID1을 선택하면 해당 ID의 레코드를, ALL을 선택하면 필터링하지 않고 모든 레코드를 검색하고 싶을 수 있습니다. 그래서 SQL 에서 WHERE id = 에 1 을 기재하면 id 1 의 레코드를 취득, ALL 와 같은 것을 기재하면 전체 레코드를 취득하는 방법을 생각해 보았습니다. ※ 대상 테이블이 문자열의 고유 식별자를 가지고 있는 것이 전제 조건이 됩... MySQLBigQueryredash Redash에서 풀다운 필터 만들기 ~ BigQuery의 public-data를 사용하여 연습 ~ Redash는 SQL이 쓸 수만 있으면, 나머지는 GUI로 플롯을 좋은 느낌으로 만들 수 있으므로 매우 편리합니다. 이 편리한 기능보다 편리하게 사용할 수 있게 되고 싶습니다. 나 자신 SQL 돌출이라고 하는 일도 있어 나날의 업무로부터 발견한 tips등을 남겨 가면 된다고 생각하고 있습니다. 이미지적으로는 이런 느낌의 풀다운 필터를 플롯에 붙이고 싶습니다. 이번에는 이 Redash에서 필터... SQLBigQueryredash GCE에 시작된 redash에서 파이썬을 사용할 수있게 될 때까지 VM 인스턴스 세부정보 > 편집 > HTTP 트래픽 허용 (여기까지 IP에 액세스하면 redash가 열립니다.) 서버로 SSH하고 다음을 수행 ( /opt/redash 에 docker-compose.yml 또는 env 파일이 있습니다) 이것으로 파이썬을 사용할 수있는 상태가됩니다. ※ DNS에서 redash IP에 도메인을 할당해야합니다 다음 설정으로 Google 로그인을 할 수 있습니다. ... gceredash Re:dash API를 사용하여 Re:dash로 이동 옛날 혼잡한 Re:dash에서 새로운 Re:dash 환경으로 쿼리를 이사한다. Re:dash를 혼잡한 결과 다양한 문제에 직면했기 때문에 새롭게 Re:dash 환경을 시작해 이사하기로 결정했다. 기존 환경을 최선을 다해 좋은 느낌으로 만드는 것도 생각할 수 있지만 이용자가 적다(나와 디렉터 1명만)&query 이외 거기까지 이용하지 않은 배경이 있어, 새로운 환경 세워 이사하는 것이 빠른 것... 루비redash 【BigQuery 초보자의 잡기 vol.3】Re:dash 입력치를 IN구의 조건으로 사용~실무의 분석으로 사용하기 쉽게 한 이야기 주식회사 오즈비전 유코 ( )입니다. 최근 BigQuery에서 쿼리를 작성하는 삶을 살았기 때문에 오늘도 그 관계가 있습니다. 오즈비전에서는 AWS에 세워진 MySQL Aurora 및 Google Analytics와 같은 데이터 소스를 탐색하기 위해 Re:dash를 세워 운영하고 있습니다. 최근 BigQuery가 그 데이터 소스에 동료 들어가고, 그 자리수 차이의 연산 능력에 반하는 사람이 ... BigQueryredash Redash 데이터를 Google 스프레드시트에 자동으로 반영하는 방법 수작업이라면 취득해 잊거나 등 수수하게 귀찮기 때문에, 이 작업을 자동화할 수 없을까 생각한 것이 계기입니다. Google 스프레드시트를 기반으로 하는 시트를 만들고 이 시트를 정기적으로 복제하여 데이터를 활용합니다. Redash 데이터를 Google 스프레드 시트에 맞게 조정 Google 스프레드 시트에서 Redash 데이터로드 데이터로드 작업을 자동화하는 스크립트 설정 자동화 된 작업의 ... redashGoogle 스프레드시트 Redash를 사용할 때 몰랐던 SQL을 쓰는 법을 배웠습니다. 최근 redash에서 sql을 쓸 기회가 많고, 이런 쓰는 방법이 있었는지와 sql에 대해 공부를 다시하고 있기 때문에 배운 것을 여기에 씁니다. Redash란? 월별로 데이터를 표시하고 싶습니다 주별로 데이터를 표시하고 싶습니다 날짜 지정 방법 case when 과 or null 데이터 연계 1. Redash란? Redash는 SQL 분석 결과를 명확하게 시각화하고 공유하는 오픈 소스 BI... MySQLSQLredash Redash on EC2 장애 및 복구 작업 EC2에서 호스팅하는 Redash가 중지되었습니다. ELB에게서 말하는 502 Bad Gateway 메시지 원인 식별에서 복구까지 로그를 남깁니다. 즉시 생략합니다. 왜냐하면 ALB 로깅이 활성화되지 않았기 때문입니다. 다음에 도움이 될 수 있도록 AWS 공식 문서에 따라 ALB 액세스 로그를 S3에 저장하도록 설정합니다. 발판 서버를 통해 EC2 인스턴스의 80번 포트에 액세스합니다. 그러... EC2redash Redash v9의 경고 사용자 정의 기능 v8 시점에서는 실험적인 기능이라고 하는 위치 지정으로 디폴트 OFF였던 경고 커스터마이즈 기능이, v9에서는 UI·기능이 크게 개선됨과 함께 디폴트 ON이 되었습니다. 기본적으로 매우 간단한 경고 메시지를 사용자 정의할 수 있습니다. 기본적으로 임계값을 초과했음을 알렸지만 사용자 지정 기능을 사용하면 쿼리 실행 결과에서 메시지를 조립할 수 있습니다. Default Template Use C... redash EC2 인스턴스의 스토리지 볼륨 크기 변경 사내에서 Redash의 AMI를 운용하고 있었습니다만, 갑자기 움직이지 않게 되어 버려, 볼륨 사이즈의 변경이 필요하게 되었습니다. /is using 99.8% of 7.69GB 굳게~. 볼륨 크기를 변경하는 절차는 다음과 같습니다. EBS 볼륨의 크기 조정 EC2의 파티션을 물리적 볼륨의 크기에 맞게 재구성합니다. EC2 대시보드 > Elastic Block Store > 볼륨으로 이동하여... EC2redashebsAWS Redash에서 그래프를 작성해 보았지만 제대로 집계되지 않았습니다 (쿼리 수정) 이번에는 마지막으로 만든 쿼리 결과를 그래프로 표시하고 싶습니다. ① 이전에 작성한 쿼리를 표시하고 [New Visualization] 버튼을 누릅니다. ② Visualization Editor가 표시됩니다. ③ 지역별 매출 및 이익을 표시하는 그래프를 작성하고 싶습니다. X축에 「지역」, Y축에 「매출」과 「이익」을 설정합니다. (차트 타입은 막대 그래프 그대로) ④ 지역별 매출과 이익이 ... 그래프쿼리redash Redash에서 쿼리를 만드는 방법(DB, Google Spread Sheet) ① 툴바에서 [Create] - [Query]를 선택합니다. ② 데이터 소스(MySQL(Amazon RDS))를 선택합니다. ③ SQL을 기재하고 「実行」 버튼을 누르면 취득한 데이터가 표시됩니다. (쿼리 이름도 변경합니다.) ④ 「保存」 버튼을 누릅니다. 이것으로 DB(Amazon RDS)에서 데이터 검색 쿼리 생성이 완료됩니다. ① 툴바에서 [Create] - [Query]를 선택합니다.... GoogleSpreadSheet쿼리RDS동적 SQLredash Redash 데이터 소스 만들기 이전 기사에서 AWS RDS로 데이터를 가져와 데이터를 준비할 수 있었으므로 이번에는 Redash에 로그인하여 데이터 소스를 만들고 싶습니다. ① 먼저 AWS EC2 인스턴스와 RDS가 시작되었는지 확인합니다. 부팅되지 않은 경우 부팅하십시오. ② EC2 인스턴스의 공용 IP 주소를 복사합니다. ③ 복사한 IP 주소를 브라우저의 URL에 입력합니다. ④ Redash의 초기 설정 화면이 표시되... redash데이터 소스AWS AWS RDS로 데이터 가져오기 이번에는 이전에 만든 AWS의 RDS로 CSV 데이터를 가져올 때의 단계를 아래에 설명합니다. · 마지막으로 작성한 EC2 인스턴스와 RDS가 시작되었음 ・RDB로 임포트하고 싶은 CSV 파일을 작성되고 있는 것(※문자 코드는 UTF8인 것) ① 마지막으로 만든 EC2 인스턴스의 공용 IP 주소를 복사합니다. ② 다음으로 rLogin으로 접속 정보를 설정하고 EC2에 접속합니다. (여기에서는... RDSCSV 가져오기redashAWS AWS AMI에서 구축한 redash metadata에 연결(작업 로그 보기) AWS의 AMI에서 구축한 redash의 Datasouce에 metadata(postgresql)를 추가해 보았습니다. 그대로 docker에서 실행중인 postgresql에 연결할 수 없습니다 (포트가 지정되지 않기 때문에), docker-compose.yml을 변경하고 다시 시작합니다. 이렇게하면 docker 외부에서 연결할 수 있습니다. redash의 Datasource 만들기 호스트가 ... redashAWS docker의 redash와 로컬 mysql을 연결 docker에 세운 redash와 로컬 mysql을 연동시키는 데 조금 힘들었기 때문에 방법을 남겨두려고 생각합니다. 데이터를 redash에 연계시킴으로써 코드 등을 작성하지 않고 데이터를 그래프화 할 수 있습니다 docker에 서있는 redash와 Macpc의 로컬에서 실행중인 mysql을 연동시킨다 mysql 데이터를 redash로 그래프화 (redash 자체의 개발은 실시하지 않는 가정... MySQL도커redash Redash를 Docker for Mac에서 가장 빠르게 이동 Redash용 Docker for Mac에서 가장 빠르게 움직입니다. Redash를 개발하지 않으므로 준비된 설정을 실행하기 만하면됩니다. 설치 파일 실행부터 Redash 시작까지 약간의 수정이 필요했습니다. macOS 10.15.3 Catalina Mac용 Docker 2.2.0.3 Redash v8.0.0.b32245 setup 디렉토리는, 공식으로부터 git clone 해 온 것. 그 ... docker-compose도커redash Redash API로 동적으로 결과 얻기 Redash 2.0.0+b2990 <host>는 Redash의 호스트를 의미합니다. 예를 들어, 환경의 Redash GUI에 액세스 할 때 https://www.example.com/redash/에 액세스하는 경우 호스트입니다. <host>/api 라고 기재하면https://www.example.com/redash/api 를 의미합니다. 그 외, <>로 둘러싼 문자는 적절히 변수를 의미합니다... redash redash의 그래프로 빠지다. redash를 사용하여 아래의 sql인 수를 매일 집계한 꺾은선형 차트를 만들려고 하면 왠지 그래프를 잘 만들 수 없었습니다. 날짜 형식의 %y/%m/%d를 %y-%m-%d로 수정하면 제대로 그래프로 표시되었습니다. mysql의 날짜 형식이 '2015-07-21', '20150721', 20150721과 같이하지 않으면 날짜로 인식되지 않기 때문이었습니다.... redash Airflow에서 redash 쿼리 결과를 GCS로 보내기 별로 없는 장면이라고 생각합니다만, 「이런 일이 있었다」가 엄청나게… Airflow에서 redash 쿼리 결과를 API를 사용하여 GCS로 보낼 수 있도록 조사한 개인 메모 redash 쿼리 API를 실행하고 검색 결과를 GCS에 업로드합니다. 그림에 나타내면 아래와 같이 됩니다. GCP Cloud Composer Airflow(ver 1.10.2) redash (var 5.0) GCS bu... 메모GCSAirflowredash Redash v8의 도입과 사용법(조금) 리포트 화면을 만드는 것이 힘들었기 때문에, 드디어 귀찮게 되었기 때문에, Redash로 대용해 보았습니다. 처음으로 BI 툴을 사용해 보았습니다만, 상당히 좋은 느낌에 이용할 수 있었으므로, ざっくり한 사용감을 포함하여 도입 방법을 정리해 가고 싶습니다! (얼굴이지만) SQL 쿼리에서 보고서 화면을 만들 수있는 것입니다. 그래프를 표시하거나 WHERE 절에 대한 매개변수 포함도 쉽게 할 수... MySQLredash redash에서 MySQL 자체의 시각화 시스템계의 정보 표시는 Mackerel에서 부족합니다만, 좀 더 세세한 DB의 값을 깜박이 보기 위해 MySQL 자체의 통계 표시를 해 보았습니다. 이라고 해도 데이터계에서 숫자가 나오는 지표는 적기 때문에 이 정도입니다. 이것은 누구나 즉시 흉내내서 사용할 수 있는 지표라고 생각합니다! 위의 대시보드 쿼리는 매우 간단합니다. 언제나 익숙한 MySQL의 통계 정보를 내는 것뿐입니다. Inno... MySQLredash Redash의 QueryRunner 확장 Redash의 Elasticsearch 용 파서 (QueryRunner)에서 문제 ( )를 발견했으므로 문제를 해결하기 위해 QueryRunner를 확장합니다. 기존 파일을 수정하여 대응하는 것도 가능했지만, 그렇다면 버전 업 시에 번거롭기 때문에 이번에는 QueryRunner를 새로 추가해 보았습니다. Redash(v7.0.0) Elasticsearch(v7.3.2) Elasticsearc... 파이썬도커Elasticsearchredash [Redash] Redshift에서 임시 테이블을 사용하는 경우 스키마 정보를 검색하지 못할 수 있음 Redash version: Redshift를 데이터 소스에 등록한 후 쿼리를 작성(또는 편집)하는 대시보드에서 원래 왼쪽 창에 표시되어야 하는 스키마 정보가 표시되지 않고 페이지 오른쪽 하단에 다음 오류 메시지가 표시됨 있습니다. ※ 물론 아무리 기다려도 스키마는 표시되지 않습니다. Redash Scheduler 로그를 확인할 때 다음 예외 오류가 발생했습니다. 분명히 스키마 정보를 얻는 ... redash7redash 【MySQL】JOIN은 무엇인가? 사내 SQL 연구회가 재개되었습니다. 이전의 공부회에서, 기본적인 SQL을 쓸 수 있었습니다만, 사실, 업무에 쿼리는 조금 어려운 곳이 있습니다. JOIN을 모르겠습니다. 이번에는 JOIN에 대해 설명합니다. JOIN은 두 테이블을 결합합니다. 각 테이블은 자신에게 맞는 데이터를 저장하지만, 다른 테이블에서 데이터를 가져오려면 JOIN해야 합니다. 위와 같이 두 개의 테이블이 있습니다. 이들... MySQLSQL조인redash Re : dash로 얻은 데이터를 Slack에 게시 (및 Re : dash 내 python을 작성할 때의주의 사항) Re : dash로 얻은 데이터를 파이썬 데이터 소스를 사용하여 Slack에 게시하고 싶습니다 Re : dash의 alert 기능은 편리하지만 조건이 해소되지 않으면 계속 나오는 문제가 있었다 Slack Admin에서 Incoming Webhooks를 설정하고 Webhook URL를 얻습니다. Re:dash는 이미 python 데이터 소스를 가지고 있다고 가정합니다. 구그라면 가득 나온다 슬... 슬랙파이썬redash7redash GCE 환경의 redash에서 SystemStatus 페이지에서 액세스하는 CeleryStatus 내의 Queries가 사라지지 않는 경우의 kill 방법 ※자신용의 메모입니다. GCE 내에서 도커 운영 redash Version: 7.0.0+b18042 위의 이미지는 No Data가 되어 있습니다만 여기에 스케줄로 실행된 Query나 Execute한 Query가 기본적으로 표시되게 되어 있습니다만, 실행이 실패했는지 어쨌든 무한하게 여기에 남아있는 사람 (이미지 없음)이 있습니다. 그리고, 그것을 지우지 않으면 다음의 스케줄 되고 있는 Que... redash7redash 이전 기사 보기