Airflow 중국어 문서: Lineage
리 니 지 지원 은 매우 실험 적 이어서 변화 가 생 길 수 있다.
Airflow 는 데이터 의 출처, 발생 하 는 일과 데이터 가 시간 에 따라 변화 하 는 것 을 추적 하 는 데 도움 을 줄 수 있 습 니 다.이것 은 감사 추적 과 데이터 관 리 를 실현 하 는 데 도움 이 되 고 데이터 흐름 도 디 버 깅 할 수 있다.
기류 가 작업 의 입구 와 출구 를 통 해 데 이 터 를 추적 합 니 다.그것 이 어떻게 일 하 는 지 예 를 들 어 봅 시다.
from airflow.operators.bash_operator import BashOperator
from airflow.operators.dummy_operator import DummyOperator
from airflow.lineage.datasets import File
from airflow.models import DAG
from datetime import timedelta
FILE_CATEGORIES = [ "CAT1" , "CAT2" , "CAT3" ]
args = {
'owner' : 'airflow' ,
'start_date' : airflow . utils . dates . days_ago ( 2 )
}
전문 읽 기 / 개선 본문
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Spark 의 -- Spark Submit 제출 프로그램 상세 설명이 스 크 립 트 는 Spark 류 경로 (classpath) 와 응용 프로그램 의존 패 키 지 를 설정 할 수 있 고 서로 다른 Spark 가 지원 하 는 클 러 스 터 관리 와 배치 모드 를 설정 할 수 있 습 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
