📄 Kedro - 내 데이터는 테이블이 아닙니다

Python 데이터 과학/엔지니어링에서 대부분의 데이터는 일종의 테이블 형식이며 일반적으로 pandas, spark 또는 dask와 같은 라이브러리의 DataFrame입니다.

DataFrames는 대부분의 파이프라인의 핵심입니다.

이러한 데이터 컨테이너에는 테이블과 같은 데이터 구조를 조작하는 편리한 방법이 많이 포함되어 있습니다. 때때로 우리는 다른 데이터 유형, 즉 바닐라를 활용합니다.
목록 및 사전과 같은 유형 또는 numpy 데이터 유형.

🤷‍♀️ 케드로(파츠)란?

Waylon Walker ・ 2020년 2월 24일 ・ 3분 읽기

#data #dataengineering #kedro #datascience

unfamiliar with kedro, check out this post

때때로 데이터 세트는 테이블이 아닙니다.

데이터가 DataFrame에 잘 맞지 않는 경우가 있습니다. 운 좋게도 Kedro는 즉시 피클을 지원합니다. Pickle은 파이썬을 저장하는 방법입니다.
객체를 디스크에. 출처를 알 수 없는 피클 파일은 악성 코드를 실행할 수 있으며 안전하지 않은 것으로 간주됩니다. 대부분의 경우
자신의 피클 파일을 읽고 쓰십시오. 그들은 고려해야 할 좋은 도구입니다.

See more about pickle from python.org.

피클 분류

일부 자동차를 설명하는 사전이 있을 수 있습니다.

{
  'truck-012-abc': {
    'type': 'truck'
    'sales': [12, 2, 3, 4, 8]
    'weight': 9024,
    'accesories': ['leather', 'audio-1']
}

카탈로그에서 유형을 pickle.PickleDataSet로 설정하고 filepath를 지정합니다.

cars:
  filepath: data/cars.pkl
  type: pickle.PickleDataSet

This filepath does not have to be on the local filesystem it can be on the cloud thanks to how kedro utilizes fsspec for each of its datasets.

데이터세트 로드

MemoryDataSet로 두는 것과 비교하여 이 데이터 세트를 카탈로그화하는 이점은 추가 개발 또는 디버깅을 위해 파이프라인을 실행하지 않고도 이 데이터를 메모리로 다시 쉽게 로드할 수 있다는 것입니다.

catalog.load('cars')