Vertex AI 및 Google Cloud로 로깅을 단번에 정복하세요.

Vertex AI는 Google I/O 2021에서 발표되었습니다. 이 제품은 Google AI Platform의 브랜드 변경뿐 아니라 하나의 제품으로 다양한 API(AutoML 포함)를 통합하기 시작합니다. Google은 이를 통해 회사가 MLOps를 더 쉽게 구현할 수 있다고 보도 자료에서 밝혔습니다.

이 블로그에서는 Vertex AI 플랫폼을 사용하여 데이터 과학을 위한 "Hello World"에 해당하는 작업을 수행할 것입니다. 요컨대 Vertex AI "Jupyter"노트북을 사용하여 Google Cloud의 로깅 서비스와 통신할 것입니다. 노트북은 도중에 결과를 캡처할 수 있는 반복적인 방식으로 Python 코드를 실행하는 방법으로 생각하십시오.

TLDR - 코드를 보여주세요!

Vertex AI 노트북을 사용하는 경우 Google Cloud 내 Cloud Loggingpython library을 쉽게 테스트할 수 있습니다. Cloud Logging을 테스트하기 위해 필요한 노트북은 downloaded here 일 수 있습니다.

전제 조건

이 블로그의 단계를 완료하려면 다음이 필요합니다.

1) 구글 클라우드 계정이 있어야 합니다. 아직 계정이 없다면 계정 설정 방법을 보여주는 this video을 참조하십시오.

2) Cloud Logging API를 사용 설정해야 합니다. 계정을 설정한 후 https://console.cloud.google.com/apis/api/logging.googleapis.com에서 이 API 활성화에 대한 세부 정보를 찾을 수 있습니다.

3) https://console.cloud.google.com/vertex-ai/notebooks으로 이동해야 합니다. 해당 경고가 표시되면 노트북 API를 활성화합니다.



이미지 제공: https://www.whiteowleducation.com

Vertex AI 노트북 만들기

Vertex AI 콘솔 내에서 수행해야 하는 첫 번째 단계는 노트북 인스턴스를 생성하는 것입니다. 이 인스턴스는 CPU에 의해 지원될 것이므로 이 연습을 실행하는 것이 핵심이며 완료되면 추가 비용이 발생하지 않도록 노트북 인스턴스를 삭제해야 합니다.



사용을 마친 후에는 노트북 인스턴스를 삭제해야 합니다. 이것은 비용을 관리하는 데 중요합니다.

위에서 본 것처럼 us-central1에 test-logging이라는 노트북을 만들고 있습니다(가까운 위치에 인스턴스를 만들어야 합니다). 데이터 사이언스에서 일반적으로 사용되는 TensorFlow 및 Pandas와 같은 라이브러리로 이 노트북을 만들고 TensorFlow Enterprise 2.5 환경을 선택하여 이 작업을 수행합니다.


로깅만 검토한다면 비용 관리를 위해 CPU를 최소화하고 있습니다.

만들기를 클릭하면 콘솔에 테스트 로깅 노트북이 표시되고 계속하려면 "OPEN JUPTYERLAB"을 클릭합니다.



JupyterLab에 있으면 Python [conda env:root]를 클릭하여 실험용 노트북을 엽니다.



이제 다음 Python 코드를 노트북에 입력하십시오.

import logging
import google.cloud.logging_v2 as logging_v2
from os import environ

client = logging_v2.client.Client()
google_log_format= logging.Formatter(
fmt='%(name)s | %(module)s | %(funcName)s | %(message)s',
                      datefmt='%Y-%m-$dT%H:%M:%S')


handler = client.get_default_handler()
handler.setFormatter(google_log_format)

cloud_logger = logging.getLogger("vertex-ai-notebook-logger")
cloud_logger.setLevel("INFO")
cloud_logger.addHandler(handler)

log = logging.getLogger("vertex-ai-notebook-logger")
log.info("This is a log from a Vertex AI Notebook!")

위의 코드가 익숙하지 않거나 이전에 google-cloud-logging 라이브러리를 사용해 본 적이 없다면 로깅 형식을 설정하는 방법과 가져오는 방법에 대해 설명하는 this video을 참조하시기 바랍니다. 클라우드에 정보를 출력하는 파이썬 로거.

결과 확인

노트북에서 이 테스트 코드를 실행한 후 로그 탐색기로 이동하여 결과를 확인할 수 있습니다.



마지막으로 Vertex AI 내의 노트북 콘솔로 돌아가서 다음을 수행해야 합니다.

1) 생성한 "인스턴스 이름"(예: "test-logging")을 선택합니다.

2) 인스턴스를 삭제하려면 콘솔 상단의 삭제 아이콘을 클릭합니다.

성공하면 콘솔에 "아직 이 프로젝트에 노트북 인스턴스가 없습니다."라는 내용이 표시되어야 합니다.

요약

이 블로그 게시물에서는 Vertex AI 노트북을 간략하게 검토하고 이러한 노트북이 Google Cloud의 중앙 집중식 로깅과 통신하는 방법을 살펴봤습니다.

이 블로그에 대한 여러분의 생각을 듣는 것이 좋을 것입니다. 트위터 @ 에 있는 제 회사(White Owl Education)를 통해 저에게 연락하실 수 있습니다.