우리 케타69 사바다.
OpenRefine이라는 데이터 정형(데이터 전처리) 도구가 훌륭하기 때문에 꼭 사용해 달라고 부탁하고 싶어서 Qita에서 사용법을 총괄하기로 했습니다.
하지만 저는 데이터 엔지니어(데이터 과학)가 아니기 때문에'데이터 성형(데이터 예처리)은 어떻게 처리합니까?'이해가 안 돼서 오픈 레파인에서 해볼 것예비처리 대전 목록에서 할 수 있는 것들을 해보기로 했다.

OpenRefine 소개

뭘 할 수 있어요?

화면에 "Apower tool for working with messy data"및 OpenRefine에 대한 설명
언어를 일본어로 바꾸면 "난잡한 데이터를 처리하는 힘의 도구"번역
역시 파워 키트.

공간이나 반각 전각의 가명을 붙일 수 있음

데이터의 우편번호를 매개 변수로 하고 API 서비스를 통해 주소를 취득한다

Wikidata와 협업하여 관련성 있는 단어를 추출

프로그램 언어(GRREL, Pythen/Jythhon, Clojour)를 사용하여 데이터 성형
※ GREAL은 Open Refine 고유 언어(함수)

네. ※나는 더 많은 기능이 있을 것이라고 생각한다.

설치 단계

Windows 환경에서는 ①"Java JRE 설치"②"Open Refine의 ZIP 파일 다운로드"③"동결해제 후 두 번 클릭.exe"만 하면 됩니다.자세한 내용은 여기.를 참조하십시오.

데이터 정형(데이터 예처리) 일람

예비처리 대전의 디렉터리에서 연상하기 쉬운 항목을 열거했다.OpenRefine으로 데이터 성형을 시도해 Qita에 수시로 투고한다.

성명 일람표

수정 데이터의 흔들림(반각 전각 공간)
나는 데이터의 흔들림 (반각 전각 공간) 을 수정하기 위해 글을 썼다.(2018/08/02 추가)

반각 전각의 흔들림 수정
나는 반각 전각 공간의 흔들림을 수정하는 글을 썼다.(2018/08/10 추가)

일본어 영어의 흔들림 수정

인출

지정된 데이터 열을 통해 추출

조건에 따라 지정된 추출

데이터 값을 기반으로 하지 않은 샘플링

샘플링

취합

계산 데이터 수량과 종류수

합계 계산

극치와 대표값 계산

계산 편차 상황

가장 빈번하게 계산

석차의 계산

잇닿다

메인 테이블의 결합

조건에 따라 결합표를 전환

과거 데이터의 결합

통합

갈라놓다

데이터 분할
Open Refine API를 사용하여 데이터 테이블을 버스트하는 글을 썼습니다.(2018/08/25 추가)

디지털 유형

수치 유형으로의 전환

편차 제거

범주 유형

분류 유형의 수치화

날짜 유형

날짜 유형 및 날짜 유형으로 변환

년/월/일/시간/분/초/요일 전환

시간차로 전환

날짜 유형의 증감

시간대로의 전환

총결산

아마도 Open Refine에는 더 많은 할 수 있는 일이 있을 것입니다. 유용한 기능이 있으면 언제든지 업데이트할 수 있습니다. (일람표에 추가)