dbt 병렬 사무 데이터베이스 오류 복구

데이터 엔지니어링 및 개발을 위해 Fishtown Analyticsdata build tool (dbt)를 사용하는 경우 프로젝트의 스레드 수가 증가할 수 있습니다.이것은 설정 파일에서 쉽게 실현될 수 있다.yml 파일은 당신의 것입니다.여러 가지 원인으로 인해dbt/폴더, 부터configuring dbt projects for multithreading.

동시 트랜잭션 오류

그러나 때때로 라인 수를 늘리면 오류가 발생할 수 있습니다. 예를 들어 병발 사무 충돌을 표시하는 흔한 데이터베이스 오류가 발생할 수 있습니다.

Completed with 1 error and 0 warnings:

Database Error in model test_model (models/stg/test_model.sql)
  could not complete because of conflict with concurrent transaction
  compiled SQL at target/compiled/of_models/stg/test_model_column_name.sql

잠재적인 빠른 해결 방안

이런 복구 방법은 모든 상황에 적용되지 않지만,
a) 멀티스레드와
b) 이 오류가 발생하면 모델을 실행할 수 없습니다. 이것은 빠른 복구입니다.dbt run의 단일 라인을 되돌려 보십시오.그리고 너는 앞으로 준비가 다 되었을 때 라인 수를 늘릴 수 있다.
이것은 병렬 업무를 실행할 때dbt 데이터베이스 오류를 신속하게 복구하는 방법입니다.즐거운 프로그래밍!