kubeflow kubeflow on Rancher 에 Pod has unbound PersistentVolumeClaims 오류 kubeflow를 Rancher (v2.2.3)로 배포했을 때 멈춘 점의 메모. 전제로 다음과 같이 AWS EC2에 Rancher에서 k8s 클러스터를 구축하고 카탈로그에서 "kubeflow"를 선택하여 실행 그러면 겉보기 배포는 성공한 것처럼 보이며 kubeflow 대시보드에도 액세스할 수 있다. 다음에 「Jupyterhub」를 기동하면, 아래의 「Spawning Server」의 상태로부터... rancherkubeflowkubernetes Kubeflow Componet 분석 #1 - Jupyter Notebook ( Notebook 권한 수정) Kubeflow를 설치한 후 생성된 파드를 보면 다양한 컴포넌트들이 존재하는 것을 확인 할 수 있습니다. Dashboard에서 노트북 Menu에서 생성하여 접속해 사용할 수 있습니다. 자신의 Namespace에서 할당 받은 가용 Resource(Memory,Cpu)를 분할 해 사용할 수 있습니다. 노트북이 생성되면 해당 네임스페이스에서 pod가 생성된 것을 확인 할 수 있습니다. notebo... kubeflowkubernetesnotebookkubeflow Minikube NFS 설정하기 PV/PVC를 설정해도 pod 내부(훈련 컨테이너)에서 모델을 저장해도 PV에 저장될 뿐, 이 PV가 호스트에 연결되어 있지 않다.(아래서 진행하려는 설정 문제죠, 클라우드는 이런 부분을 신경쓰지 않아도 자동화 시켜준다는게 편합니다) 2. 쿠버네티스(Minikube)의 Node에선 PV로 NFS 경로를 마운트하기 nfs-kernel-server는 파일 공유 설정에 중요한 nfs-common ... minikubenetwork file systemkfpkubeflowmodel registrynfskfp Python SDK로 ML 파이프라인 만들기 파이프라인은 컨테이너 이미지 기반으로 실행되기 때문에 개발 환경에 도커 클라이언트가 설치되어 있어야 합니다. 파이프라인은 DSL(도메인 특화 언어)을 통해서 작성되며, 컴파일 과정을 거쳐 k8s 파이프라인 리소스로 변환되어 사용됩니다. image: str 필수값, 컨테이너 이미지 이름 command : 컨테이너 실행 명령어 arguments : 컨테이너 실행 인자값 file_outputs :... ML pipelinePython SDKkubeflowpipelineMLML AWS EKS 클러스터에서 Kubeflow 사용하기 - Kubeflow 예제 실행해보기 해당 포스팅은 AWS EKS 클러스터 기반에서 Kubeflow를 사용하기 위한 과정을 다룬 시리즈 중 세번째 포스팅입니다. Kubeflow를 사용하는 간단한 예제를 다룰 예정이니 AWS EKS 클러스터 구축은 시리즈의 1번 포스트를, Kubeflow 설치과정은 시리즈의 2번 포스트를 참고해주세요. Kubeflow 설치하기 Kubeflow 예제 실행해보기 Kubeflow 예제 코드( ) 본 예... awskuberneteskubeflowaws eksaws Kubeflow V1.4 설치 및 초기 설정(User 추가, CORS) 1. Kubeflow 설치 kubeflow의 경우 를 통해 손쉽게 설치 할 수 있습니다. 기본적으로 multi-user 기반 pipeline으로 설치 됩니다. 변경이 없으면 [email protected] /1234123 로 설치 됩니다. 위의 커맨드로 kubeflow에 포함된 컴포넌트를 각각 배포합니다 (처음 시도시 kubectl apply 가 정상적으로 안되는 경우가있는데 이는 재시작 하면... kuberneteskubeflowkubeflow
kubeflow on Rancher 에 Pod has unbound PersistentVolumeClaims 오류 kubeflow를 Rancher (v2.2.3)로 배포했을 때 멈춘 점의 메모. 전제로 다음과 같이 AWS EC2에 Rancher에서 k8s 클러스터를 구축하고 카탈로그에서 "kubeflow"를 선택하여 실행 그러면 겉보기 배포는 성공한 것처럼 보이며 kubeflow 대시보드에도 액세스할 수 있다. 다음에 「Jupyterhub」를 기동하면, 아래의 「Spawning Server」의 상태로부터... rancherkubeflowkubernetes Kubeflow Componet 분석 #1 - Jupyter Notebook ( Notebook 권한 수정) Kubeflow를 설치한 후 생성된 파드를 보면 다양한 컴포넌트들이 존재하는 것을 확인 할 수 있습니다. Dashboard에서 노트북 Menu에서 생성하여 접속해 사용할 수 있습니다. 자신의 Namespace에서 할당 받은 가용 Resource(Memory,Cpu)를 분할 해 사용할 수 있습니다. 노트북이 생성되면 해당 네임스페이스에서 pod가 생성된 것을 확인 할 수 있습니다. notebo... kubeflowkubernetesnotebookkubeflow Minikube NFS 설정하기 PV/PVC를 설정해도 pod 내부(훈련 컨테이너)에서 모델을 저장해도 PV에 저장될 뿐, 이 PV가 호스트에 연결되어 있지 않다.(아래서 진행하려는 설정 문제죠, 클라우드는 이런 부분을 신경쓰지 않아도 자동화 시켜준다는게 편합니다) 2. 쿠버네티스(Minikube)의 Node에선 PV로 NFS 경로를 마운트하기 nfs-kernel-server는 파일 공유 설정에 중요한 nfs-common ... minikubenetwork file systemkfpkubeflowmodel registrynfskfp Python SDK로 ML 파이프라인 만들기 파이프라인은 컨테이너 이미지 기반으로 실행되기 때문에 개발 환경에 도커 클라이언트가 설치되어 있어야 합니다. 파이프라인은 DSL(도메인 특화 언어)을 통해서 작성되며, 컴파일 과정을 거쳐 k8s 파이프라인 리소스로 변환되어 사용됩니다. image: str 필수값, 컨테이너 이미지 이름 command : 컨테이너 실행 명령어 arguments : 컨테이너 실행 인자값 file_outputs :... ML pipelinePython SDKkubeflowpipelineMLML AWS EKS 클러스터에서 Kubeflow 사용하기 - Kubeflow 예제 실행해보기 해당 포스팅은 AWS EKS 클러스터 기반에서 Kubeflow를 사용하기 위한 과정을 다룬 시리즈 중 세번째 포스팅입니다. Kubeflow를 사용하는 간단한 예제를 다룰 예정이니 AWS EKS 클러스터 구축은 시리즈의 1번 포스트를, Kubeflow 설치과정은 시리즈의 2번 포스트를 참고해주세요. Kubeflow 설치하기 Kubeflow 예제 실행해보기 Kubeflow 예제 코드( ) 본 예... awskuberneteskubeflowaws eksaws Kubeflow V1.4 설치 및 초기 설정(User 추가, CORS) 1. Kubeflow 설치 kubeflow의 경우 를 통해 손쉽게 설치 할 수 있습니다. 기본적으로 multi-user 기반 pipeline으로 설치 됩니다. 변경이 없으면 [email protected] /1234123 로 설치 됩니다. 위의 커맨드로 kubeflow에 포함된 컴포넌트를 각각 배포합니다 (처음 시도시 kubectl apply 가 정상적으로 안되는 경우가있는데 이는 재시작 하면... kuberneteskubeflowkubeflow