Airflow Airflow에서 redash 쿼리 결과를 GCS로 보내기 별로 없는 장면이라고 생각합니다만, 「이런 일이 있었다」가 엄청나게… Airflow에서 redash 쿼리 결과를 API를 사용하여 GCS로 보낼 수 있도록 조사한 개인 메모 redash 쿼리 API를 실행하고 검색 결과를 GCS에 업로드합니다. 그림에 나타내면 아래와 같이 됩니다. GCP Cloud Composer Airflow(ver 1.10.2) redash (var 5.0) GCS bu... 메모GCSAirflowredash Apache Airflow 작업 실패를 Teams에 알립니다. Apache Airflow는 태스크가 실패했을 경우에 호출할 수 있는 on_failure_callback 라고 하는 구조가 있다. 이를 사용하여 Microsoft Teams의 특정 채널에 경고를 POST하는 메커니즘을 만듭니다. Teams에게 메시지를 POST하는 처리는 로 작성해, 그것을 호출하도록 Airflow측에서 구현하는 것이 편리할 것 같다. 이번에는 Teams에 POST하는 것만의... AzureAirflowlogicapps팀 【Airflow 입문】Airflow의 Job을 다른 강한 노드로 처리시키고 싶다 특정 Job을 강한 GPU를 쌓은 workerNode에 일하고 싶습니다. 특히 기계 학습 Job을 돌릴 때 등이 필요합니다. 어떻게 실현하는지 Celery Executor라는 것을 사용합니다. 은 원래 Job을 분산 처리하기위한 미들웨어입니다. 이것을 Airflow는 좋은 느낌으로 사용해줍니다. 그 좋은 느낌에 사용하는 것을 응용해, 특정 노드에 일을 시킵니다. Airflow에는 Celery... RedisCeleryAirflow Airflow에서 GoogleCloudStorageToS3Operator를 사용하여 GCS 파일을 S3로 전송 GCS의 csv 데이터를 S3로 transfer하고 싶습니다. GCS-S3 전송에는 을 사용한다. S3의 비밀 정보 관리는 에서 관리한다. S3에 대한 비밀 정보는 Airflow 연결을 사용하여 관리합니다. Airflow 콘솔 화면에서 Airflow 연결 정보를 등록합니다. ↓등록 내용 Login: AWS 액세스 키 Password: AWS 액세스 비밀 키 사용법 샘플 git: [AIRFLO... S3Airflow
Airflow에서 redash 쿼리 결과를 GCS로 보내기 별로 없는 장면이라고 생각합니다만, 「이런 일이 있었다」가 엄청나게… Airflow에서 redash 쿼리 결과를 API를 사용하여 GCS로 보낼 수 있도록 조사한 개인 메모 redash 쿼리 API를 실행하고 검색 결과를 GCS에 업로드합니다. 그림에 나타내면 아래와 같이 됩니다. GCP Cloud Composer Airflow(ver 1.10.2) redash (var 5.0) GCS bu... 메모GCSAirflowredash Apache Airflow 작업 실패를 Teams에 알립니다. Apache Airflow는 태스크가 실패했을 경우에 호출할 수 있는 on_failure_callback 라고 하는 구조가 있다. 이를 사용하여 Microsoft Teams의 특정 채널에 경고를 POST하는 메커니즘을 만듭니다. Teams에게 메시지를 POST하는 처리는 로 작성해, 그것을 호출하도록 Airflow측에서 구현하는 것이 편리할 것 같다. 이번에는 Teams에 POST하는 것만의... AzureAirflowlogicapps팀 【Airflow 입문】Airflow의 Job을 다른 강한 노드로 처리시키고 싶다 특정 Job을 강한 GPU를 쌓은 workerNode에 일하고 싶습니다. 특히 기계 학습 Job을 돌릴 때 등이 필요합니다. 어떻게 실현하는지 Celery Executor라는 것을 사용합니다. 은 원래 Job을 분산 처리하기위한 미들웨어입니다. 이것을 Airflow는 좋은 느낌으로 사용해줍니다. 그 좋은 느낌에 사용하는 것을 응용해, 특정 노드에 일을 시킵니다. Airflow에는 Celery... RedisCeleryAirflow Airflow에서 GoogleCloudStorageToS3Operator를 사용하여 GCS 파일을 S3로 전송 GCS의 csv 데이터를 S3로 transfer하고 싶습니다. GCS-S3 전송에는 을 사용한다. S3의 비밀 정보 관리는 에서 관리한다. S3에 대한 비밀 정보는 Airflow 연결을 사용하여 관리합니다. Airflow 콘솔 화면에서 Airflow 연결 정보를 등록합니다. ↓등록 내용 Login: AWS 액세스 키 Password: AWS 액세스 비밀 키 사용법 샘플 git: [AIRFLO... S3Airflow