Talend Data Preptaration과 Talend Studio의 공동 작업(실시간 모드)

DataPreptation의 DATASETS가 준비한 데이터를 읽고 PREPARATIONS에서 정의한 클렌징을 하고 파일로 출력하는 일괄 처리 모드를 지난번에 소개했다.
이번에는 Talend Studio에서 만든 작업을 Talend Administration Center에 로그인하고 Data Proporation에서 작업을 사용하여 DATASETS로 출력하는 현장 모드를 소개한다.

입력 데이터

이번에 입력을 위해 15000개의 CSV 파일을 준비했다.

작업 작성

먼저 Studio에서 프로젝트를 만들고 로그인합니다.
DataProporation Live라는 프로젝트가 작성되었습니다.

프로젝트를 연 후 새 작업을 만듭니다.
LiveDummyData라는 작업이 작성되었습니다.

입력을 위해 CSV 파일을 준비했습니다. 작업에서 tFile Input Delimited를 설정하고 파일 이름, 충전기, 눈썹 설정을 합니다.

모드를 CSV 파일과 동일하게 설정합니다.

인코딩을 UTF-8로 설정합니다.

tFileInputDelimited 설정은 여기서 끝냅니다.
tDatasetOutput 구성 요소를 추가합니다.

tDataset Output 구성 요소의 Mode를 LiveDataset으로 변경합니다.

tDataset Output 구성 요소의 Url과 Limit에 설정된 대상 Context 이름을 Context 탭에 추가합니다.

구성 요소의 설정이 끝났습니다.
tFile InputDelimited와 tDataset Output을 연결합니다.

임무의 설정은 이것으로 끝냅니다.
저장소의 작업 이름을 마우스 오른쪽 버튼으로 클릭하여 메뉴를 열고 Build Job 을 클릭합니다.

Build Job 창에서 ZIP 파일의 출력 위치를 설정합니다.
다른 항목은 기본값으로 Finish 버튼을 클릭합니다.

지정된 폴더에 Build의 ZIP 파일이 작성되었는지 확인합니다.

임무의 제작은 이것으로 끝냅니다.

TAC(Talend Administration Center)의 작업 등록

작성된 작업을 TAC에 등록합니다.
TAC를 통해 작업을 작성할 때 Studio에서 만든 프로젝트를 등록합니다.
Menu에서 Project 를 클릭한 다음 Add 를 클릭합니다.

오른쪽 프로젝트 설정에서 레이블에 DataPreptation Live를 입력하고 프로젝트 type을 Data Integration/ESB로 설정하고 Storage를 None으로 설정하고 아래의 Save 단추를 누르십시오.

은 Project 요약 테이블에 로그인된 항목을 보여 줍니다.

항목에 대한 사용자 정의 권한을 설정합니다.
Menu Project Authorization 을 클릭하고 방금 만든 Data Proport Live 를 클릭하여 오른쪽 사용자를 선택하고 맨 오른쪽 Read write 아이콘을 클릭합니다.

DataProporation Live의 오른쪽에 1이 표시되며 지정된 사용자에게 항목에 대한 읽기와 쓰기 권한이 부여됩니다.

프로젝트의 설정은 이것으로 끝냅니다.
작업 서버의 설정을 확인하고 작업 서버의 이름을 변경합니다.
Menu의 Servers 를 클릭하고 요약에서 serv1 을 클릭하여 Label 을 Local Server 로 변경하고 Save 버튼을 클릭합니다.


프로젝트 서버의 권한을 설정합니다.
Menu의 Server Project autohorization 을 클릭하고 차트에서 DataProporation Live 프로젝트를 클릭하여 Local Server의 라이센스 여부를 확인합니다.

작업 서버의 설정은 이것으로 끝냅니다.
작성된 작업을 등록합니다.
Menu에서 Job Conductor 를 클릭하고 Add 를 클릭한 다음 정규 Task 를 클릭합니다.

화면 오른쪽에 작업 로그인 막대를 입력하고 레이블에 "dataprep Dummy Data"를 입력하여 Execution server: Local Server로 설정하고 Job: 가운데 아이콘을 클릭하여 작업을 가져옵니다.
여기에 주의해야 할 점이 있다. Data Preptaration과 합작하기 위해 Label의 첫머리에는 반드시'dataprep'이라고 써야 한다.탭
이 "dataprep"이러한 값은 DataProporation 설정 파일에서 변경할 수 있습니다.

Import generated code 창이 표시됩니다. 찾아보기...버튼을 누릅니다.

Studio에서 작성한 LiveDummyData 작업의 ZIP 파일을 선택하고 Open 버튼을 클릭합니다.

Launch upload 버튼을 클릭합니다.

업로드된 작업에 대한 정보를 표시하려면 아래의 Save 버튼을 클릭합니다.

목록에 등록된 작업을 표시하고, 작업 선택을 누르고, 화면 위에 있는 Deploy 단추를 누르십시오.

디버그가 완료되면 작업을 확인하는 Status가 Ready to run이 됩니다.

TAC 임무는 이것으로 로그인하여 끝냅니다.

DataPreptaration에서 작업을 수행하여 DATASETS 생성

DataProporation의 DATASETS에서 작업을 수행하고 DATASETS를 생성합니다.
왼쪽 메뉴에서 DATASETS를 클릭하고 ADD DATASET 오른쪽에 있는 화살표를 클릭한 다음 메뉴에서 Talend Job을 클릭합니다.

ADD TALEND JOB DATASET 화면이 열리면 Dataset name에서 LiveDummyData를 설정하고 Username 및 Password를 TAC에 로그인한 사용자로 설정하고 오른쪽 아래에 있는 TEST CONNINCTION 버튼을 클릭합니다.

Username 과 Password 가 올바르면 Task 가 표시되므로 선택할 수 있는 Dummy Data 를 선택하십시오.
이 Task 이름은 TAC 작업 로그인 이름에서 시작합니다.라는 이름입니다.

설정 내용을 확인한 후 오른쪽 아래에 있는 ADD DATASET 버튼을 클릭합니다.

작업을 수행하고 작성한 DATASET이 조만간 표시됩니다.

총결산

이번에는 CSV 파일에서 입력했습니다. Talend 구성 요소의 Input 시스템은 모두 입력을 사용할 수 있기 때문에 데이터베이스에서 가져오는 것도 쉽게 할 수 있습니다. 만약에 PREPARATIONS로 클렌징 정의를 등록하면 추가 tDataprepRun 구성 요소가 실행됩니다.데이터베이스에서 데이터를 읽고 화장을 지우고 DATASET로 출력할 수도 있다.
지금까지 소개된 DataPreptation 기능과 Talend Studio를 활용하면 클렌징 정의를 간단하게 만들어 데이터베이스에서 데이터를 쉽게 얻을 수 있다.