개시하다

MLOps(기계학습/AI모델을 지속적으로 활용하는 구조)를 실현하는 서비스 중 하나로서 IBM 클라우드에는 Watson OpenScale 서비스가 있다.
Watson OpenScalle은 모델 및 데이터에 대한 모니터링 기능을 제공합니다.
왓슨 스튜디오에서 모형을 제작하고, 왓슨 머신 리닝에서 디자인한 모형은 왓슨 오픈 스컬어를 통해 모니터링할 수 있다.
왓슨 오픈스컬어의 하나하나 기능과 사용법 등은 다양한 자료로 설명되지만, 전체가 잡기 어려워 이번 기사에서 왓슨 오픈스컬어의 전체상을 해설하고자 한다.

Watson OpenScale 은

전체 이미지 설명에 들어가기 전에 Watson OpenScale의 주요 기능을 살펴보고 싶습니다.
주요 기능은 다음과 같습니다.

정확성(Acuracy)

정식 운행 시간의 성능 저하를 측정한다.

공정성

정식 운행 시간의 공평성 문제(편차)를 측정한다.

드리프트(Drift)

학습할 때와 데이터와 모델의 경향에 차이가 있는지 검사한다.

모델 표이: 운행 시 모델의 정확도가 낮아질 것으로 추정된다.

데이터 표이: 훈련할 때의 데이터 특성에 비해 집행할 때의 데이터의 일치성이 낮아질 것으로 추정된다.

설명(Explainability)

AI의 예측, 판정 결과의 근거, 동선의 제시.

사무단위의 입력 항목에 따라 공헌도를 조사할 수 있다.

Watson OpenScalle에 대한 설명여기 기사.은 알기 쉽게 요약되었으니 참고하십시오.

Watson OpenScale의 전체상

각 구성 요소와 관련된 그림을 한 장으로 표현하면 다음과 같다.

Watson OpenScale의 주요 데이터

왓슨 오픈스컬어는 모니터링에 사용된 데이터를 저장하는 DB를 저장해 이 DB를'데이터 마켓'이라고 부른다.
이 데이터는 슈퍼마켓에 저장된 데이터 중 두 가지 중요한 데이터가 있다.유효 부하 데이터와 피드백 데이터.

페이로드 데이터(Payload Data)

입력 데이터와 추론 결과의 데이터를 설정합니다.(향후 예측 데이터)

는 공평성, 표류와 설명성을 모니터링하는 데 쓰인다.

페이로드 데이터를 데이터 마트로 가져오는 기능을 페이로드 로그(Payload Logging)라고 합니다.

피드백 데이터(피드백 데이터)

정확한 라벨이 달린 데이터.(과거 실적 데이터)

정확성 모니터링에 사용됩니다.

피드백 데이터를 데이터 시장에 가져오는 기능을 피드백 로그(Feedback Logging)라고 한다.

또 하나의 중요한 데이터는 훈련 데이터다.

모델 학습 시 트레이닝 데이터(Training Data)

'모형을 제작할 때의 훈련 데이터'는 모니터를 정의할 때도 필요하다.ICOS 또는 Db2만 지원됩니다.

교육 데이터는 모니터가 정의할 때 설정하고 데이터 슈퍼마켓은 통계 정보와 메타데이터를 저장한다.

는 주로 데이터의 이동을 모니터링하는 데 쓰인다.

모니터링 프로세스

Watson OpenScale의 사용 절차는 다음과 같습니다.

사전 준비

Watson Studio에서 모형을 제작하고 시작합니다.

왓슨 머신 레어닝은 모델을 디자인해 공개했다.

Watson OpenScale은 위의 디버깅을 모니터링하는 모델로 구성됩니다.

공식 자동 운용

응용 프로그램 설계 모델에 대해 API Call을 실시하고'추론'을 한다.

Watson Machine Learning이 응용 프로그램에 모델의 예측 결과를 되돌려줍니다.

동시에 Watson OpenScalle의 데이터 센터에 페이로드 데이터를 자동으로 읽어들입니다.

본격적으로 시작할 때 수시로 운용하다

피드백 데이터를 Watson OpenScalle로 읽습니다.

참조 링크

MLOps 모델 및 데이터 모니터링 요구 사항 고려
https://qiita.com/ttsuzuku/items/7d871598b20e6dad4a9f
Watson OpenScale을 만지기 전에 알고 싶은 것(기술 Tips 등)
https://qiita.com/ishida330/items/2c9b049966a988850b06