소개

Data Integration은 다양한 데이터 자산에서 데이터를 캡처하고 데이터를 정리, 변환, 재형성 및 변환하는 등 ETL 처리가 가능한 완전 관리형 서비스입니다. 서버 관리가 필요 없으며 GUI에서 시각적으로 이해하기 쉽게 ETL 처리를 표현할 수 있습니다.

이번에는 일본어 데이터를 사용한 데이터 가공 처리를 기사로하고 있습니다. 과거, 어쩐지 Data Integration의 검증을 해 왔지만, 모두 영어로 쓰여진 csv 파일을 사용하고 있었습니다. 일본어 대응은 어떻게 되어 있는 것일까 하고, 검증한 결과를 공유합니다. 결론을 먼저 쓰면 일본어를 사용한 데이터도 정상적으로 취급할 수 있습니다.

그러면 검증한 내용을 소개하겠습니다.

할 일

다음 일본어 csv 파일을 Object Storage에 저장하고 Data Integration에서 데이터 처리를 수행합니다.

名前,住所,電話番号
杉山,北海道,111-1111-1111
鈴木,埼玉県,222-2222-2222
木村,沖縄,333-3333-3333

이름에 杉山 로 쓰여진 행을 필터하여 Object Storage 에 가공 후의 csv 파일을 출력해 봅니다.

데이터 플로우 만들기

데이터 처리의 흐름을 GUI 로 정의해 갑니다. Create Data Flow를 선택합니다.



Source Icon을 캔버스로 드래그 앤 드롭



다양한 매개 변수를 변경하여 Object Storage에 저장된 일본어 csv 데이터를 지정합니다.



데이터 탭을 선택하면 일본어 CSV 데이터의 내용을 볼 수 있습니다.



Filter Icon을 놓고 Source에 연결합니다. 그런 다음 Create를 눌러 필터 조건을 추가합니다.



스기야마에서 필터링할 조건을 갖고 Create를 누릅니다.
FILTER_1.日本語データ01_CSV.名前='杉山'


Data Tab을 보면 필터링된 결과를 실시간으로 저장할 수 있습니다! 편리하네요.



Target Icon을 배치하고 Filter에 연결합니다.



Target의 Attribute를 넣습니다. Object Storage 에 있는 output 버킷에 multibytedir001 디렉터리를 만들고 그 안에 데이터 처리 후 csv 파일을 출력합니다.



Validate에서 아무런 오류가 없는지 확인합니다. 그런 다음 Save and Close로 저장합니다.

Task 만들기

작성한 Data Flow를 사용하여 Integration Task를 작성하고 Application에 저장하십시오. 각각의 관계는 다음의 내용으로 되어 있습니다.



Integration Task 만들기



만든 Data Flow를 선택하고 Save and Close합니다.



Publish to Application을 선택합니다.



Application에서 Run을 누릅니다.



일정 시간이 지나면 Runs 상태가 Success로 변경됩니다.





csv 파일의 내용입니다. 제대로 杉山 에만 필터 되고 있네요. Data Integration의 데이터 처리는 일본어가 포함된 파일에서도 문제 없이 동작하는 것을 확인할 수 있었습니다.

名前,住所,電話番号
杉山,北海道,111-1111-1111