업데이트

Glue Workflows 소개

Glue 작업 및 클론 작성 워크플로우
Glue의 Trigger 기능도 클론에 대응하여 상태 및 프로세스를 시각적으로 표시
Glue의 리소스 제작 프로세스만 활용하려는 경우에 유용합니다.
오류를 잘 처리하고 싶을 때, 건너뛰고 싶을 때, 다른 AWS 자원과 연합된 프로세스를 만들고 싶을 때는 StopFunction이 가장 좋다.

Workflows 만들기

컨텐트

다음 글에서 쓴 복제자 또는 작업으로 작업흐름 만들기
https://qiita.com/pioho07/items/a24d188d67fe97034b34
자유형 -> 작업(PySpark) -> 작업(Pythenshell)
S3 csv 파일을 Parquet으로 간단히 복사하여 파일 이름 바꾸기

첫 번째 복제자: S3의 csv 파일을 필터링하여 Glue Data Catallog의 테이블(모드)

만들기

두 번째 작업: PySpark를 통해 포맷을parquet으로 설정하고country,year,month,day,hour를 통해 구분화하여 압축하여 S3

로 출력한다.

세 번째 작업: PythhonShell 출력 파일 이름 바꾸기

※ 자세한 코드 내용은 위의 링크를 참조하십시오.

자원 이름

클론 이름

se2_in0

작업 이름

se2_job15
se2_job16

Workflow 제작

Glue 화면 왼쪽 메뉴에서 "Workflows", "Add workflow"를 클릭

다음 내용을 입력하고 [Add workflow]를 클릭합니다.
Workflow name: se2_workflow1

만들어진workflow의 "se2 workflow1"을 선택하고 화면 아래의 "Graph"탭을 클릭하고 "Add trigger"를 클릭합니다
※ 이곳에서 만든 트레일러는 글루의 트레일러입니다.

"Addnew"탭을 클릭하고 Name에 "se2 wf trigger1"을 추가하고 "On demand"에서 Trigger type을 선택하고 "Add"를 클릭합니다.
※ "Clone existing"탭에서 기존 Trigger로부터 복사 가능

이런 걸 만들 수 있어요.

어쨌든 전체 화면에 표시하고 "Add node"를 클릭한 곳

팝업 화면이 나오므로 "Crawlers"탭을 클릭하고 해당 복제자 "se2 in0"중에서 선택하고 "Add"를 클릭합니다
※ "Jobs"탭을 클릭하면 의뢰를 선택할 수 있습니다.

왼쪽 동그란 시작, 벌레 같은 아이콘

복제자 아이콘을 클릭하면 다음과 같은 상황이 발생합니다. "Add trigger"를 클릭하십시오.

팝업 화면에서name에 "se2 wf trigger2"를 입력하고 "Add"를 클릭합니다

나는 이 순간이 이상하다고 생각한다. 신경 쓰지 말고 오른쪽에 있는 "Add node"를 눌러라.

"Jobs"옵션을 클릭하고 작업 "se2 job15"를 선택하고 "Add"를 누르십시오

두 번째 미션을 할 수 있습니다.

그리고 같은 요령으로 세 번째 미션을 추가합니다.

염주를 연결하려는 임무나 기어오르기를 Trigger로 연결하는 흐름이다.

Workflow 실행

객체의 워크플로우를 선택하고 [Action]->[Run]을 클릭합니다.

대상의workflow를 선택하고 화면 아래의 "History"옵션을 클릭하고 "RunID"를 선택하고 "View run detail"을 클릭합니다

Workflow의 상태를 확인할 수 있습니다.
녹색 완료 표시, 클론 완료 표시, 파란색 표시, 다음 작업 수행 중임을 확인

주의점

현재 방치해도 상태가 바뀌지 않기 때문에 수동으로 다시 불러야 한다

도중에 멈출 수가 없어요.작업 단위라면 정지할 수 있지만 작업 흐름 단위로 정지할 수 없음

GUI의 사용 편의성은 사람에 따라 다르므로 습관이 되면 됩니다

여기도 꼭.

Glue Workflows 공식 문서
Performing Complex ETL Activities Using Workflows in AWS Glue
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/orchestrate-using-workflows.html
Glue 사용 방법의 오류: (Pythn Shell 사용)
https://qiita.com/pioho07/items/a24d188d67fe97034b34
Glue 사용법 요약
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f