Talend Data Preptation Desktop의 클렌징 기능

지난번에는 Talend Data Preptation Desktop의 기본 사용법을 설명했습니다.
문자열 변환과 날짜 형식 지정을 소개했고 다른 클렌징 기능도 많이 있으니 일람표에서 소개하고 싶습니다.

대상에 대한 클렌징 기능

Compare numbers
지정된 값 또는 다른 열의 값과 비교하여 Boolean형

으로 반환

Add,multiply,subtract or divide
지정한 값이나 다른 열의 값과 네 가지 연산을 하고 결과를 되돌려준다

Negate value
Boolean형에 부정값 반환

Concatenate with
지정된 값 또는 다른 열의 값과 조합하여 결과를 반환합니다

.

Delete column
선택한 열 삭제(여러 개 지정 가능)

Swap column
지정된 열의 값 바꾸기

Convert distance
거리 단위로 변환(미터, 인치, 피트, 야드, 마일, 바다, 광년)

Convert duration
일자 단위로 변환(연, 월, 일, 시, 분, 초, 밀리초)

Convert temperature
온도 단위(화씨, 섭씨, 켈빈)

Clear on matching value
지정된 기준에 맞는 셀 지우기

Clear the cells with invalid values
잘못된 값을 가진 셀 지우기

Delete the rows that match
지정된 기준에 맞는 행 삭제

Delete the rows with empty cell
빈 셀이 있는 행 삭제

Delete the rows with invalid cell
잘못된 셀이 있는 행 삭제

Delete the rows with negative values
음수가 있는 행 삭제

Fill cells with value
지정된 값 또는 다른 열의 값으로 채우기

Fill empty cells from above
빈 셀을 이전 셀의 값으로 채우기

Fill empty cells with text
빈 셀을 지정된 값 또는 다른 열 값으로 채웁니다

.

Fill invalid cells with value
잘못된 셀을 지정된 값 또는 다른 열 값으로 채웁니다

.

Standardize value(fuzzy matching)
수치 표준화(모호 일치)

Mask data(obfuscation)
데이터 일부를 X로 대체하여 숨기기

Calculate time since
지정한 날짜나 다른 열의 날짜와 시간 사이의 경과 시간을 계산한다

Calculate timestamp to date
일전의 시간 스탬프 계산

Compare date
지정된 날짜 또는 다른 열의 날짜와 비교하여 Boolean형

으로 반환

Convert date
지정된 형식(캘린더)으로 변환된 날짜

Extract date parts
열의 날짜 시간에서 지정한 부분 (년 월 일 등) 을 추출합니다

Modify date
지정된 단위(연월일 시간) 또는 기타 열의 값을 더하기

base 10 logarithm
10을 밑으로 하는 대수

를 계산하다

Calculate absolute value
절대값 계산

Cosine
계산 코사인

Exponential
계산 지수

Max
지정된 값 또는 다른 열의 값과 비교하여 최대값

을 반환합니다.

Min
지정된 값 또는 다른 열의 값과 비교하여 최소값

을 반환합니다.

Modulo
지정한 값이나 다른 열 값의 여수 연산 값을 되돌려줍니다

Natural logarithm
자연 대수 계산

Negate
부정값 반환

Power
제곱값 계산

Sine
계산 사인 (사인)

Square root
계산 제곱근

Tangent
계산 탄젠트(탄젠트)

Format numbers
숫자를 지정된 형식으로 반환

Generate sequence
지정된 시작 값과 증가 값으로 일련 번호 생성

Remove fractional part
소수점 삭제 및 반환

Remove negative values
셀 값이 음수이면 삭제

Round value using ceil mode
지정된 소수점 자릿수로 반올림

Round value using down mode
지정된 소수점 자릿수를 반올림

Round value using floor mode
지정된 소수점 자릿수로 반올림 및 반환

Round value using halfup mode
지정된 소수점 자릿수를 반올림하여 반환

Format phone number
전화 번호를 지정된 형식으로 반환

Extract email parts
Email을 로컬 및 도메인으로 분할

Extract number
숫자만 추출하여 반환

Extract string parts
지정한 정규 표현식으로 문자열 부분을 추출하고 되돌려줍니다

Extract URL parts
프로토콜, 호스트, 포트를 통해 URL 분할 및 반환

Split the text in parts
지정한 구분 문자로 지정한 숫자로 문자열을 분할하고 되돌려줍니다

Calculate length
반환 값의 자릿수

Change to lower case
대문자를 소문자로 변환하고 반환

Change to title case
소문자로 시작하는 경우 대문자로 변환하여 반환

Change to upper case
소문자를 대문자로 변환하고 반환

Contains text
지정된 값 또는 다른 열의 값을 비교하여 Boolean형

으로 반환

Extract parts of text
셀에서 지정한 조건에 따라 문자열로 추출

Match similar text
셀에 지정된 텍스트와 일치하거나 Boolean형 반환 비교

Matches pattern
셀에 지정된 정규 표현식과 일치하거나 Boolean형 비교

Remove consecutive characters
셀에 지정된 문자가 연속이면 문자를 삭제합니다

.

Remove part of the text
셀 값이 지정된 조건과 일치하는 경우 삭제

Remove trailing and leading characters
셀의 시작 및 끝에서 지정된 문자 삭제

Search and replace
지정된 패턴과 일치하는 부분을 지정된 값으로 대체

Add extra characters
지정된 자릿수를 충족하는 섹션에 지정된 문자 추가

Find and group similar text
셀에서 유사한 텍스트 찾기 및 조합

Remove non alpha numeric characters
셀 값에서 영숫자가 아닌 문자 삭제

Remove non numeric characters
셀 값에서 비숫자 문자 제거

Simplify text(remove case,accent,etc,)
셀의 텍스트 단순화(대소문자 구분, 악센트 등)

비헤이비어 객체의 클렌징 기능

Delete row
지정된 행 삭제(여러 개 지정 가능)

Make as header
지정된 행의 값을 사용하여 머리글 만들기

시계를 대상으로 하는 클렌징 기능

Delete empty rows
빈 줄 삭제

Remove duplicate rows
중복 행 제거

Format phone number
데이터의 전화 번호를 지정된 형식으로 반환

Remove trailing and leading characters
데이터의 시작 및 끝에서 지정된 문자를 삭제합니다

.

클렌징 기능 미리 보기

화장을 지우기 전에 화면에서 미리 볼 수도 있다.
Email 열을 클렌징 액체로 대문자로 변환하여 설명합니다.
메뉴에서 Change to upper case를 클릭하면 SUBMIT 버튼이 표시되고 마우스 커서가 버튼에 있으면 테이블에 Preview가 표시됩니다.

미리보기가 시작되면 전자 메일 열의 값이 대문자로 표시됩니다.

SUBMIT 버튼 위에 있는 Create new column을 확인하면 오리지널 큐는 그 오른쪽에 새로운 클렌징 내용을 만드는 열을 남긴다.

대부분의 클렌징 기능에는 Create new column 옵션이 있지만 일부 클렌징 기능(분할 추출 기능 등)은 무조건 새 열을 만든다.

총결산

Talend Data Preptation Desktop에는 다양한 클렌징 기능이 있다는 것을 알지만, 개인적으로 클렌징 결과를 미리 보고 확인할 수 있는 것이 유용하다고 생각합니다.
다음에도 Talend Data Preptaration의 기능을 소개합니다.