Feast log #4

Minio S3 활용

Minio Docs

Minio 실행

docker run -d \
  -p 9000:9000 \
  -p 9001:9001 \
  --name feast-minio \
  -v /mnt/data:/data \
  -e "MINIO_ROOT_USER=AKIAIOSFODNN7EXAMPLE" \
  -e "MINIO_ROOT_PASSWORD=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \
  quay.io/minio/minio server /data --console-address ":9001"
-e "MINIO_ROOT_USER=AKIAIOSFODNN7EXAMPLE" \
-e "MINIO_ROOT_PASSWORD=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \
  • 미리 저장한 parquet 파일 업로드 (또는 /mnt/data/<버킷이름>으로 복사)
sudo cp driver_stats_parquet /mnt/data/feast-example
  • [Buckets]-[feast-data → Manage]-[Access Policy : Public] 변경
  • minio 에서 불러오기
docker ps -a
docker inspect 
# 로 minio IP 확인

feast 추론했던 파일에 추가

import pandas as pd
minio_uri = "http://172.17.0.3:9000"
bucket_name = "feast-data"
fname = "driver_stats.parquet"
entity_df=pd.read_parquet(f"{minio_uri}/{bucket_name}/{fname}")
print(entity_df)

좋은 웹페이지 즐겨찾기