데이터 세척 (二) --- 데이터 변환

1. 스프 레 드 시트 를 CSV 형식 으로 변환 합 니 다.
        이것 은 비교적 간단 하 다. 기본적으로 소프트웨어 로 전자 표를 열 고 다른 이름 으로 저장 하면 다른 파일 의 형식 과 인 코딩 을 정의 할 수 있다. 이것 은 비교적 간단 하고 빠르다.하지만 주의해 야 할 부분 도 있다.

CSV 파일 로 따로 저장 할 때 현재 시트 의 내용 만 저 장 됩 니 다. CSV 파일 은 한 그룹의 데이터 세트 만 설명 할 수 있 기 때 문 입 니 다.스프 레 드 시트 에 여러 개의 워 크 시트 가 있다 면 각각 CSV 파일 로 저장 해 야 합 니 다.

2. 스프 레 드 시트 를 JSON 으로 변환
        스프 레 드 시트 를 JSON 데이터 로 변환 하 는 것 은 조금 번 거 롭 지만 해결 할 방법 도 많다.

예 를 들 어 엑셀 에서 office 의 응용 도구 인 엑셀 - to - json 을 다운로드 할 수 있 습 니 다. 이 도 구 는 엑셀 의 데 이 터 를 JSON 형식 으로 변환 할 수 있 습 니 다.

온라인 전환 방식 도 사용 할 수 있다.http://www.bejson.com/json/col2json/온라인 변환 상자 에 스프 레 드 시트 의 데 이 터 를 복사 하면 JSON 데 이 터 를 얻 을 수 있 습 니 다.

또 표를 JSON 으로 변환 하 는 데 전문 적 으로 쓰 이 는 이런 작은 도 구 를 개발 해 사용 하기에 도 편리 하고 주 소 를 다운로드 하 는 사람 도 있다.

3. 데이터베이스 에 있 는 데 이 터 를 CSV 또는 JSON 으로 변환 합 니 다.
        MySQL 명령 행 으로 CSV 파일 출력:

select concat(firstname, " ", lastname) as name, email_id
into outfile 'filename.csv'
fields terminated by ',' optionally enclosed by '"'
lines terminated by '
'
from tbl_name; 

        그러나 이런 방식 으로 는 JSON 형식의 데 이 터 를 출력 할 수 없다.
       사용 도구 phpMyAdmin
        phpMyAdmin 은 WEB 기반 MySQL 데이터베이스 클 라 이언 트 프로그램 으로 표 전체의 데이터 나 조 회 된 결과 데 이 터 를 CSV 나 JSON 형식의 파일 로 직접 출력 할 수 있 습 니 다.구체 적 으로 는 시연 하지 않 겠 습 니 다. 설치 후 조금 만 연구 해 보면 사용 할 수 있 습 니 다.
4. python 을 사용 하여 데이터 변환 실현
4.1 python 을 사용 하여 CSV 에서 JSON 으로 전환
         프로그램 으로 전환 하 는 방식 은 다양 하 다. 가장 쉽게 상상 할 수 있 는 것 은 내 장 된 CSV 와 JSON 라 이브 러 리 를 사용 하 는 것 이다.

import json
import csv

#   CSV  
with open('filename.csv') as file:
     file_csv = csv.DictReader(file)
     output = '['
     #        
     for row in file_csv:
         output += json.dumps(row) + ','
     output = output.rstrip(',') + ']'

#        
f = open('filename.json', 'w')
f.write(output)
f.close()

          python 공구 꾸러미 의 csvkit 라 이브 러 리 를 사용 하여 도 가능 합 니 다.
4.2 python 을 사용 하여 JSON 에서 CSV 로 전환
       json 파일 을 읽 고 csv 로 변환:

import json
import csv


with open('filename.json', 'r') as f:
     dicts = json.load(f)

out = open('filename.csv', 'w')
writer = csv.DictWriter(out, dicts[0].keys())
writer.writeheader()
writer.writerrows(dicts)
out.close()