mlops [MLOps] 🍱 BentoML - 2 : kogpt2 with transformers! 😎 오늘은 간단히 kogpt2 모델을 BentoML로 서빙해보도록 하겠습니다! (transformers==4.18.0 / torch==1.11.0) 🤗 'NLP의 민주화' 라는 컨셉으로 유명한 huggingface의 Transformer 기반으로 작성된 "한국어 생성 모델"입니다. Transformer? 😉 Self-Attention 메커니즘을 사용한 Transformer 등장으로 강력한 성... mlopsmlops TFX: 시작하기 튜토리얼 - 시작 파이프라인 TFX 공식 홈페이지 간단한 TFX 파이프라인을 실행하는 짧은 자습서 데이터 가져오기, 모델 학습 및 학습된 모델 내보내기와 같은 가장 최소한의 ML 워크플로 세 가지 필수 TFX 구성요소: ExampleGen, Trainer 및 Pusher TFX 파이프라인 이해하기 tfx 설치 os.path.join 함수는 운영체제에 맞게 폴더 구분자를 다뤄서 경로를 생성 TensorFlow로 데이터를 ... tfxmlopsmlops 쿠버네티스 실습1 - 워드프레스 배포 첫 번째 실습은 PHP와 MySQL으로 구성된 워드프레스를 쿠버네티스로 배포하는 것이다. 쿠버네티스로 웹 애플리케이션을 배포하는 것은 흔한 작업이라고 한다. 위 링크의 내용을 가급적 동일한 폴더를 만들어 wordpress-k8s.yml로 저장하고 다음의 명령어를 실행한다. 배포 상태를 확인한다. 실행 결과 예시 wordpress-5f59577d4d-8t2dg와 pod/wordpress-mys... mlopskubernetesminikubekubernetes 머신러닝 엔지니어 실무-Section2-1 타입 힌트를 함수에 작성하는 것이 가독성과 에러를 방지할 수 있음 매번 코드 리뷰를 통해 코드 컨벤션을 체크할 수 있지만, 변수나 함수에 타입이 명시된 파이썬 코드는 정적 타입 검사기를 통해 코드를 실행하지 않고도 타입 에러를 찾아낼 수 있음 mypy를 사용하면 python interpreter가 잡지 못하는 타입 버그를 찾아낼 수 있음 mypy를 사용하면 타입 자체의 버그 뿐만 아니라 실제... 머신러닝 엔지니어 실무mlopsmlops 플라스크를 사용하여 ML 모형을 배치하는 절대 초보자 안내서(제1부분) 데이터사이언스 키티는 이제 그녀의 모델로 심장병을 예측할 수 있기 때문에 매우 기뻐하며 코를 골았다.그녀는 현재 이 모델을 한 사이트에 사용하기를 희망하고 있으며, 호만스는 이 사이트에 입력을 제공하고, 데이터를 제출한 후에 예측을 받을 것이다.이것은 모델이 반드시 상호작용 매체와 결합해야 한다는 것을 의미한다.hoomans는 표에 입력을 하고 모델은 표 데이터에 따라 예측을 한다.근데 어떻... pythonmachinelearningmlopsbeginners 첫 DAG를 만들어보자 생성한 파일에서 우리의 첫 DAG를 생성해보자. dag_id, schedule_interval, start_date, catchup 이 파라미터로 전달된다. 이 중 dag_id는 airflow 서버 내에서 유일해야 함에 유의하자. 앞으로 DAG 내에서 동일하게 계속 사용될 애트리뷰트는 default_args로 분리하여두면 코드를 조금 더 깔끔하게 관리할 수 있다. 예를 들어, task의 재실... airflowbig datamlopsairflow
[MLOps] 🍱 BentoML - 2 : kogpt2 with transformers! 😎 오늘은 간단히 kogpt2 모델을 BentoML로 서빙해보도록 하겠습니다! (transformers==4.18.0 / torch==1.11.0) 🤗 'NLP의 민주화' 라는 컨셉으로 유명한 huggingface의 Transformer 기반으로 작성된 "한국어 생성 모델"입니다. Transformer? 😉 Self-Attention 메커니즘을 사용한 Transformer 등장으로 강력한 성... mlopsmlops TFX: 시작하기 튜토리얼 - 시작 파이프라인 TFX 공식 홈페이지 간단한 TFX 파이프라인을 실행하는 짧은 자습서 데이터 가져오기, 모델 학습 및 학습된 모델 내보내기와 같은 가장 최소한의 ML 워크플로 세 가지 필수 TFX 구성요소: ExampleGen, Trainer 및 Pusher TFX 파이프라인 이해하기 tfx 설치 os.path.join 함수는 운영체제에 맞게 폴더 구분자를 다뤄서 경로를 생성 TensorFlow로 데이터를 ... tfxmlopsmlops 쿠버네티스 실습1 - 워드프레스 배포 첫 번째 실습은 PHP와 MySQL으로 구성된 워드프레스를 쿠버네티스로 배포하는 것이다. 쿠버네티스로 웹 애플리케이션을 배포하는 것은 흔한 작업이라고 한다. 위 링크의 내용을 가급적 동일한 폴더를 만들어 wordpress-k8s.yml로 저장하고 다음의 명령어를 실행한다. 배포 상태를 확인한다. 실행 결과 예시 wordpress-5f59577d4d-8t2dg와 pod/wordpress-mys... mlopskubernetesminikubekubernetes 머신러닝 엔지니어 실무-Section2-1 타입 힌트를 함수에 작성하는 것이 가독성과 에러를 방지할 수 있음 매번 코드 리뷰를 통해 코드 컨벤션을 체크할 수 있지만, 변수나 함수에 타입이 명시된 파이썬 코드는 정적 타입 검사기를 통해 코드를 실행하지 않고도 타입 에러를 찾아낼 수 있음 mypy를 사용하면 python interpreter가 잡지 못하는 타입 버그를 찾아낼 수 있음 mypy를 사용하면 타입 자체의 버그 뿐만 아니라 실제... 머신러닝 엔지니어 실무mlopsmlops 플라스크를 사용하여 ML 모형을 배치하는 절대 초보자 안내서(제1부분) 데이터사이언스 키티는 이제 그녀의 모델로 심장병을 예측할 수 있기 때문에 매우 기뻐하며 코를 골았다.그녀는 현재 이 모델을 한 사이트에 사용하기를 희망하고 있으며, 호만스는 이 사이트에 입력을 제공하고, 데이터를 제출한 후에 예측을 받을 것이다.이것은 모델이 반드시 상호작용 매체와 결합해야 한다는 것을 의미한다.hoomans는 표에 입력을 하고 모델은 표 데이터에 따라 예측을 한다.근데 어떻... pythonmachinelearningmlopsbeginners 첫 DAG를 만들어보자 생성한 파일에서 우리의 첫 DAG를 생성해보자. dag_id, schedule_interval, start_date, catchup 이 파라미터로 전달된다. 이 중 dag_id는 airflow 서버 내에서 유일해야 함에 유의하자. 앞으로 DAG 내에서 동일하게 계속 사용될 애트리뷰트는 default_args로 분리하여두면 코드를 조금 더 깔끔하게 관리할 수 있다. 예를 들어, task의 재실... airflowbig datamlopsairflow