Pentaho Data Integration을 통해 Table로 데이터 내보내기

5425 단어 PDIpentahoETL
ETL 처리에서 DB(Table)에 데이터를 자주 출력하고 싶어서 PDI의 설정 방법을 총괄했습니다.
테이블 출력 단계를 사용합니다.
표에서 데이터를 추출할 때이 문장을 참조하시오.

출력 대상 테이블 확인


다음 테이블을 만듭니다.
이번에 PostgreSQL에 etl이라는 DB를 구축해 Sample이라는 표를 만들었다.
etl=# \d sample
                  テーブル"public.sample"
 列  |    タイプ    | 照合順序 | Null 値を許容 | デフォルト
-----+--------------+----------+---------------+------------
 key | character(3) |          |               |
 var | integer      |          |               |
안은 비어 있다.
etl=# select * from sample;
 key | var
-----+-----
(0 行)

테이블 출력까지 ETL에서 처리


Table로 출력되는 테스트 데이터를 만들고 Table로 출력되는 프로세스를 만듭니다.
데이터 격자를 사용하여 ETL에서 테스트 데이터를 제작하는데 그 중에서 설정 방법은 여기를 참조하시오이다.
여기에 상기 참조 페이지에서 제작한 처리에 표 출력 처리의 형식을 추가하고자 하기 때문에 다음과 같은 표 출력 절차를 설정하여 데이터 격자 절차와 연결한다.

【보충】
단계 간에 점프 연결을 사용할 때 이러한 경고가 표시될 수 있습니다.
이것은 한 단계에서 여러 개의 점프를 설정한 상황에서 발생한 것이다.
이 경고가 무엇을 전달했느냐면 "출력 목적지가 여러 개 있지만 데이터 전달 방법은 어떻게 할 것인가?"그러니까
즉, 위의 예에서 어떻게 데이터 격자 절차로 만든 3줄 데이터를 줄로 배열하고 표 출력으로 전달합니까?그러니까
분배는 순서대로 다음 단계로 전달되기 때문에 먼저 줄을 배열하여 한 줄을 바꾼 다음에 표 출력에 한 줄을 바꾼 다음에 한 줄로 배열한다.
복사는 동일한 데이터를 다음 단계로 모두 전송하므로 데이터 격자선 단계에서 작성된 3줄 데이터는 행 정렬 및 테이블 출력으로 전달됩니다.
기본적으로 분배를 사용하지 않았기 때문에 나는 복사본을 사용할 줄 안다고 생각한다.

또한 할당 및 복사 설정은 원래 단계 아이콘을 마우스 오른쪽 버튼으로 클릭한 메뉴 내 데이터 이동 설정을 통해 변경할 수 있다.

테이블 출력 설정


작업표 출력 단계의 설정이 끝났습니다. 테이블 출력 단계의 아이콘을 두 번 클릭하여 설정 화면을 표시하고 설정합니다.

위 그림에서 보듯이 표 출력의 설정 화면을 표시한 후 DB와 연결된 데이터 원본을 먼저 설정해야 하기 때문에 새 단추를 누르면 데이터 원본을 만들 수 있다.
또한 여기서 만든 데이터 원본은 같은Transformation에서 공유되며 테이블 출력 절차를 다시 설정하면 방금 만든 데이터 원본을 선택할 수 있습니다.

데이터 원본을 저장하고 테이블 출력의 설정 화면으로 돌아간 후 테이블 이름을 설정하고 OK 단추를 누르면 된다.

실행 및 확인


ETL 처리를 수행하려면 실행 버튼을 누릅니다.
다음처럼 착오 없이 집행하면 OK.

데이터가 Sample표에 투입되었는지 확인할 수 있습니다.
etl=# select * from sample;
 key | var
-----+------
 aaa |  100
 bbb |   10
 ccc | 1000
(3 行)

열 이름을 지정하여 테이블로 데이터를 출력합니다.


상기 예에서 표에서 출력한 Input 데이터와 출력 목적지의 표의 열의 이름이 같고 수량이 같기 때문에 비교적 간단한 설정으로 OK.
즉 인풋 데이터는 키와 var, 표는 키와 var, PDI 측은 인스터트를 마음대로 연관시킨 것이다.
그러나 실제 운용 상황을 고려하면 인풋 측은 데이터 가공을 할 때 다양한 데이터를 추가하는데, 이 데이터들은 표에 인사퍼트를 할 필요도 없는 경우도 있다.
열 이름 지정 및 테이블로 데이터 출력을 설정해야 합니다.
예를 들어 다음과 같이 상수를 늘려 Input 측면의 열과 Table 측면의 열을 어긋나게 합니다.

상수 추가 단계에서 미리 보면 Input 측은 키, var, dummy 세 열, Output 측은 Samplet 표의 키, var 두 열로 변하지 않아 일치하지 않는 경우가 발생한다.

이 상태에서 실행하면 다음과 같은 오류가 발생합니다.

이 오류를 피하기 위해서 열 이름을 설정하십시오.
테이블 출력 단계를 두 번 클릭하여 다음과 같이 설정 화면을 표시합니다.

다음은dummy열을 설정해야 하기 때문에 삭제합니다.

결과는 다음과 같다.

이 상태에서 OK 설정을 저장하고 Transformation 자체를 저장한 후 실행합니다.

틀리지 않으면 오케이!

좋은 웹페이지 즐겨찾기