소개

Azure Data Factory(이하, ADF)에서는 스케줄로 실행과 Blob Storage에 데이터가 Create(or Delete) 되었을 때 실행하는 2 종류의 Trigger를 작성 가능합니다.
Azure Data Factory에서 파이프라인 실행 및 트리거

본 기사에서는 Event Trigger를 이용할 때 주의가 필요했던 포인트에 대해 비망록적으로 정리합니다.

이벤트 트리거

Blob Storage상에 있는 캐릭터 라인 혹은 패스에 파일이 오르면 파이프라인을 실행하는 트리거입니다.
이벤트에 응답하여 파이프라인을 실행하는 트리거 생성

주의점

매우 유용한 트리거이지만 여러 파일이 단번에 업된 경우에 주의점이 있습니다.
기본 설정은 순차적으로 큐에 들어가는 형태가 아니라 병렬로 트리거가 작동하고 파이프라인 처리가 병렬로 실행됩니다.
그 때문에, 시간이 걸리는 파일이 혼잡했을 경우 등에, 파일의 오른 순서로 처리되지 않는 경우가 발생합니다.

대책

파이프라인 자체의 병렬도를 낮추면 순차적으로 실행되는 형태를 구성할 수 있습니다.
트리거 자체는 점점 감지하지만 파이프라인이 병렬로 실행할 수 없기 때문에 대기열과 같은 상태를 실현할 수 있습니다.

설정 방법

트리거와 연관된 파이프라인을 열고 General 탭 아래의 Concurrency를
“1”로 설정하면 순차 실행 파이프라인으로 설정할 수 있습니다.

요약

표준으로 병렬 실행이 서포트되고 있기 때문에, 본래는 기쁜 기능입니다만, 이벤트 구동형의 데이터 제휴를 생각할 때에는 주의점이 있다고 하는 이야기였습니다.