폭발속도로Talend 진입(환경구축→CSV 전환작업→DB 협업까지)

10076 단어 Talend

개시하다


가능한 한 빨리 TalendOpenStudio의 총결산을 배우기 위해서다.
기본적으로 나는 조용히 쓴 Talend 블로그의 중요한 부분에서 정리한 느낌일 뿐이다.

그나저나...뭐?


ETL 개발 도구
GUI로 도매와 백스테이지에서 뛰는 미션을 간단하게 만들 수 있습니다!그러니까 파는 거야.
비교적 진지하고 간단하여 곧 해낼 수 있다.
Talendopen Studio라면 무료로 이용할 수 있다.
더 자세히 알고 싶으신 분들은 이쪽으로 봐주세요[Talend Open Studio] 빠른 대량 개발!Talend 정보

폭발 속도로 입문!


그럼 우리 입문합시다.
객체인 TalendOpenStudio의 버전은 5.6입니다.

환경 구조


환경 구축은 다음 링크에서 JDK와 Talend 호스트를 다운로드하고 설치하면 됩니다.
하지만 Talend5.만약 x학과라면 JDK는 7을 설치해 주십시오.
JDK 다운로드(갑골문 사이트)
TalendOpenStudio(Talend 웹 사이트) 다운로드
둘 다 다운로드하고 설치하고 시작할 때 오류가 발생하면 다음 페이지를 참조하십시오.
[Talend Open Studio 입문01] 개발 환경 구축Talend를 설치해 주세요.
Talend를 순조롭게 시작하면 새 항목이 만들어져 시작 작업이 수행됩니다.

위 이미지에 제작 버튼 ↑ 항목명, 항목설명 등 간단한 제작이 가능하다.

샘플 제작 작업의 1CSV 데이터 변환


환경 구축이 완료되면 즉시 제작 의뢰를 시작합니다.
상세 정보여기.
간단한 CSV 데이터 변환 작업을 시작합니다.
일단 미션을 만드는 방법부터 시작해볼게요.

Talend를 시작하면 이 느낌의 화면이 표시됩니다.
오른쪽 키로 맨 왼쪽의'창고'중의'퀘스트'를 클릭하면 퀘스트를 완성할 수 있습니다.
당분간 오른쪽 단추를 눌러 폴더를 만들면 그곳에서 숙제를 하면 보기 쉽다.
미션을 만들면 아래처럼 하얀 화면이 나올 것 같아요.

이 하얀 곳에서≤연결부품을 배치하면 작업이 완성된다.

부품 구성


CSV 변환 작업을 만들려면 CSV 읽기 부품을 구성합니다.
맨 오른쪽 팔레트의 검색 창에 tFile InputDelimited 를 입력하고 Enter 를 누릅니다.

원하는 부품을 찾으면 끌어서 화면에 놓으십시오.
파일 입력 부품입니다.
같은 순서로 이번에'tMap'을 입력한 다음 그 부품을 화면에 떨어뜨린다.
항목 편집 부품입니다.
또한 tLog Row를 입력한 후 부품을 구성합니다.
로그 출력 위젯입니다.

부품 연결


이어서 구성된 세 부품을 연결한다.

부품σRow↑를 마우스 오른쪽 단추로 클릭하고tFileInputDelimited와tMap을 연결합니다.

tFileInputDelimited 부품 설정


다음에 tFileInputDelimited에서 처리하는 데이터 열 (열) 을 정의합니다.
tFileInputDelimited} 아래쪽에 있는 "구성 요소"옵션 카드를 선택하고 "모드 편집"단추를 누르면 진행합니다.

이렇게 정의합니다.
그런 다음 읽어들일 CSV의 경로 설정 및 분할 설정도 미리 수행됩니다.
이렇게 csv에서 위젯의 설정을 읽으면 ok입니다.

tMap 설정


프로젝트 편집에 사용되는 tMap 부품을 편집합니다.tmap 아이콘을 두 번 클릭하여 편집기를 엽니다.

맨 오른쪽 위에 있는 "+"단추를 누르면 출력표를 만들 수 있습니다.어쨌든 이름이'out1'이면 OK.
제작된 출력 측면 테이블의 항목(열)을 편집합니다.

출력 측면의 열 정의를 완성한 후 항목별로 설정한 값을 매핑하여 정의합니다.

"식"에 직접 숫자를 써도 ok, 드래그를 통해 입력 측면의 항목을 설정할 수 있습니다.
여기까지만 설정하면 트랩 설정이 끝납니다.

동작을 잠시 확인하다


tmap의 out1을 Twog Row에 연결하고 동작을 확인하세요.
작업수행은아래의실행탭

정상적으로 끝나면 로그가 컨트롤러에 토출됩니다.

파일 출력 위젯 설정 & 설정


수치가 제대로 출력된 경우 다음 구성 파일에서 부품을 출력합니다.
이름은 "tFile OutputDelimited"입니다.

tLogRow에서 row를 연결하여 "구성 요소"탭 → "파일 이름"의 설정, CSV 설정을 진행합니다.

임무 완수!실행 및 확인


이상에서 CSV 입력→CSV 출력 편집 작업을 완료했습니다.
익숙해지면 3분이면 이런 임무를 완수할 수 있다.
실행하면 이런 느낌이에요.

출력 경로가 지정한 경로에 csv가 있어야 합니다.
수고하셨습니다.

tmap에 대해서 더 자세히 알고 싶어요.


tmap은 Talend에서 상당히 중요한 구성 요소입니다.
아래 페이지를 보시면 참고가 될 수 있습니다.
tmap을 통해 주 데이터를 연결하는 방법
tMap의 필터 기능 및 Var 사용 방법

샘플 제작 작업 2개 데이터베이스와 협업


이번에는 데이터베이스에서 데이터를 가져와 편집하고 다른 표로 가져옵니다.
사용할 DB는 SQLServer입니다.그러나 부품의 접두어 부분만 바뀌면 다른 DB도 거의 같다.
상세 정보여기.

DB 연결 위젯


먼저 DB 연결에 사용할 구성 요소를 구성합니다.
SQL 서버라면 "tMSSQLconnection"과 팔레트로 검색하십시오.(다른 DB, 예를 들어 MySQL이라면 tMySQLconnection처럼 tXConnection과 XXX의 부분은 각 DB 제품과 다르다)

배치한 후 어셈블리 탭에서 연결 대상 정보를 설정합니다.
여기에는 각 환경에 따라 다르기 때문에 적당한 파라미터를 드리겠습니다.

테이블 레코드 가져오기 위젯


그런 다음 연결된 DB의 테이블에서 값을 가져오는 부품을 구성합니다.
SQLServer는 "tMSSQLINput"입니다.

부품도 어셈블리 탭에서 설정됩니다.
'편집 모드' 에서 테이블에서 가져오고 row로 다음 구성 요소로 흐를 열을 정의합니다.

조회에서 원하는 데이터를 가져오는 데 사용되는 Select 명령문(SQL)을 발행합니다.
'조회' 에서 제시한 매개 변수는 문자열이기 때문에 글씨체에 쓰려면 더블 인용부호로 동그라미를 칠 수 있다.
(↑ 가끔은 테두리가 새서 틀릴 때가 있다)

먼저 레코드 획득 확인


여기에 잘못된 일이 없도록 설정하고 TwogRow로 확인해 보세요.
실행 탭을 실행하여 작업을 이동합니다.

만약 문제가 없다면, 얻은 기록은 로그에 표시해야 한다.

tmap에서 작은 사이즈의 데이터와 충돌합니다. (이번 샘플의 요구이기 때문입니다.)


이번에 참고한 여기.의 요구는 DB의 표에서 메인 데이터를 얻고 csv에서 거래를 얻는 것이기 때문에 저희도 이 절차에 따라 진행할 것입니다.
(누르는 관계로)
따라서 tmap과 tFile InputDelimited를 설정하면 테이블의 값과 일치합니다.

tmap에 매핑 설정을 입력합니다.

레코드 삽입 부품


편집한 데이터 insert를 테이블에 저장합니다.
표 insert에서 사용하는 부품은 "tMSSQLoutput"입니다.

테이블에 insert 대상 테이블 이름을 입력합니다.
'책상 조작'에서 책상이 없으면 ~등을 설정할 수 있지만 보통 아무것도 하지 않으면 ok를 해야 한다.
데이터 조작은 이번에 삽입만 합니다. 삽입하십시오.

마지막으로 제출 잊지 마세요.


제출하지 않으면 조작 내용을 반영하기 어려우니 넣는 것을 잊지 마세요.
“tMSSQLCommit”.

이렇게 하면 DB에서 데이터를 얻기→편집→데이터를 삽입할 수 있는 Talend 작업이 완료된다.
수고하셨습니다.

[2016/10/24] Talend가 설치한 Tips 요약


이럴 때 어떡하지?총결산을 했습니다.

좋은 웹페이지 즐겨찾기