【python】Jupyter-notebook + pandas + multiprocessing(Pool)를 이동하는 방법 【pandas】 메모
목적
문제
이건 라든지 이건 에도 같은 것이 쓰여 있었다.
결론
func.py
로 저장하고 Jupyter-notebook에서 가져옵니다. NG 예
OK 예
.ipynb
와 같은 폴더에 func.py
로 통째로 복사 __init__.py
파일 넣기 func.py
import pandas as pd
import os,glob
from datetime import datetime as dt
from multiprocessing import Pool
FOLDER_PATH = r'folder_path\\'
FILE_TYPE = r'*.csv'
FILE_FORMAT = 'Report_%Y%m%d.csv'
def read_report_to_dataframe():
# ファイルパスをリスト化
csv_pathlist = glob.glob(FOLDER_PATH + FILE_TYPE)
with Pool(os.cpu_count()) as p:
df = pd.concat(p.map(read_report, csv_pathlist))
return df
# report読み込み
def read_report(csv_path):
separator_list = [';',',']
for sep in separator_list:
df = pd.read_csv(filepath_or_buffer=csv_path,
engine='python',
parse_dates=[0],
index_col=[0],
skiprows=[1],
nrows=96,
sep=sep)
# データフレームが空か確認
if not df.empty:
break
return df
jupyter-notebook
import func
func.read_report_to_dataframe()
요약
Reference
이 문제에 관하여(【python】Jupyter-notebook + pandas + multiprocessing(Pool)를 이동하는 방법 【pandas】 메모), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/snuow/items/06cbadb6dc758d1b696e텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)