python 기술 csv 및 excel 데이터 읽기 read_csv/sas7bdat/connect

파이썬으로 csv/excel/sas 데이터를 읽고 데이터베이스에 연결하는 방법



CSV를 읽으면 read_csv
excel을 읽으면 read_excel
SAS 데이터 세트를 읽는 경우 sas7bdat 또는 pandas의 read_sas
DB에 연결하면 sqlite3.connect 등

준비


import pandas as pd
import dask
import dask.dataframe as dd
from dask.delayed import delayed
import sqlite3
from sas7bdat import SAS7BDAT

csv 로드 read_csv


Data = pd.read_csv( "パス/ファイル名.csv" )
Data = dd.read_csv( "パス/ファイル名.csv" ).compute()

Dask 쪽이 처리 속도가 빠르기 때문에, 대용량 데이터의 경우는 Dask 쪽이 좋을지도

열명이나 형태를 지정하는 경우(데이터의 1행째에 열명 있다면 header=0으로 1행째 무시)
FilePass = "パス/ファイル名.csv"
FilePass = "./data/test.csv"
name1 = "列名1", "列名2" , "列名3" , ...
type1 = { "列名1":"str" , "列名2":"int" , "列名3":"float" , ... }
Data = dd.read_csv( FilePass, encoding = "cp932", header = 0 ,names = ( name1 ), dtype = type1 ).compute()





excel 로드 read_excel


Data = pd.read_excel( "パス/ファイル名.xlsx" ,sheet_name = "シート名" )

csv와 마찬가지로 열 이름 지정도 가능

Dask에게 read_excel이 없었지만 무리를 한다면
aaaaa = dask.delayed(pd.read_excel)( "パス/ファイル名.xlsx" ,sheet_name = "シート名" )
Data = dd.from_delayed( aaaaa ).compute()

SAS 데이터 세트 로드 sas7bdat/read_sas


# sas7bdat
Data = SAS7BDAT( "パス/ファイル名.sas7bdat" , encoding = "cp932" ).to_data_frame()
# pandasで読み込む場合(日本語入ってると、エラーにはならないが正しく読み込めない)
Data = pd.read_sas( "パス/ファイル名.sas7bdat" , format = "sas7bdat" )

DB 연결 (SQLite3)


# データベース接続
conn = sqlite3.connect( "パス/db名.db" )
# データベース閉じる
conn.close()

htps // 팬더 s. py였다. 오 rg/도 cs/우세 r_구이데/이오. HTML # CSV-XT-Fu s
htps // 팬더 s. py였다. 오 rg/도 cs/우세 r_구이데/이오. html # 에 x 세 l - 후 s
htps : // 에어 mpぇs. 다 sk. rg/다타 f라메 s/01-다타-아세스 s. HTML
htps : // / cs. py 응. rg/그럼/3/ぃb 등 ry/sqぃ테 3. HTML

좋은 웹페이지 즐겨찾기