개시하다

출전지 코드, 웹사이트는 주식회사 Intel 직원들의 허가를 받았다.

OpenVino(간략한 설명)

Intel에서 제공하는 고성능 컴퓨터 시각과 딥러닝을 개발할 수 있는 소프트웨어입니다.
통속적으로 말하다
AI 모형 제작 방법도 모르는 학생, 엔지니어도 AI 프로그램, 서비스를 쉽게 만들 수 있다!​
또 AI 엔지니어가 자체 개발한 AI 모델을 비즈니스 서비스로 보다 손쉽게 개발할 수 있도록 짧은 시간 내에 개발

OpenVINO의 구조(개요)

1. Tensor Folow, MxNet, Caffe, Kaldi, ONX 프레임워크를 통해 훈련된 모델은 확장명을 가지고 있다.xml 및.bin으로 변환
(.xml 파일은 최적화된 그래프를 표시하고.bin 파일은 무게를 포함함)
2. 이러한 파일을 사용하여 추론 API 생성
3. 추론 API를 사용하여 gRPC 인터페이스를 통해 AI 서비스를 쉽게 만들 수 있음

출처: Intel 공식 웹 사이트
URL: https://www.intel.co.jp/content/www/jp/ja/internet-of-things/solution-briefs/openvino-toolkit-product-brief.html

이른바 OpenVINO 모델 서버

OpenVino 모형 서버는 gRPC나 REST API를 통해 추론 서비스를 제공하는 docker 이미지입니다.
간단한 명령으로 AI 모델 추론을 되풀이하는 포트를 만들 수 있다.

OpenVINO 모델 서버 사용 방법

1. 모델optimather(학습모델을 IR로 하는 것)를 사용하여 TensorFolow에서 모델을 저장하면 IR모델 형식 생성

다음 예시의 명령을 사용할 수 있다

mo_tf.py --saved_model_dir /tf_models/resnet_v1_50 --output_dir /ir_models/resnet_v1_50/ --model_name resnet_v1_50

mo_tf.OpenVinoToolKit가 설치되어 있는 경우 PC(MacOS의 경우)의 path는 다음과 같다.
또 다른 모델은 /opt/intel/openvino/deployment_tools/open_model_zoo 이하이다.(없으면 모델 오실로그래프를 사용하지 말고 Intel의 공식 창고에서.xml,.bin 파일을 다운로드하고 2단계 skip)

|USER_NAME|:model_optimizer |USER_NAME|$ ls
extensions      mo_mxnet.py     requirements_mxnet.txt
install_prerequisites   mo_onnx.py      requirements_onnx.txt
mo          mo_tf.py        requirements_tf.txt
mo.py           requirements.txt    version.txt
mo_caffe.py     requirements_caffe.txt
mo_kaldi.py     requirements_kaldi.txt

|USER_NAME|:model_optimizer |USER_NAME|$ pwd
/opt/intel/openvino/deployment_tools/model_optimizer

2. 모델의 폴더 구조 설정

모델을 포함하는 폴더 구조
모델(.xml,.bin)을 사용하기 전에 다음 폴더 구조에 구성해야 합니다.

모델마다 하나의 단독 폴더가 필요하고, 버전마다 디지털 이름의 하위 폴더에 저장됩니다.이렇게 하면 OpenVINO 모델 서버는 여러 모델을 처리하고 TensorFlow Serving과 같은 방법으로 이 버전을 관리할 수 있다.

3. 도입 절차

확장 프로세스는 다음 두 단계로 제한됩니다.
1. 다음 명령을 사용하여 Docker 이미지 만들기

docker build -t openvino-model-server:latest

출처: Intel 직원 github
URL:　 https://github.com/openvinotoolkit/model_server
2. 다음 명령을 사용하여 Docker 컨테이너를 시작합니다.

docker run -d -v $(pwd)/model:/models/face-detection/1 -e LOG_LEVEL=DEBUG -p 8000:8000 openvino/ubuntu18_model_server /ie-serving-py/start_server.sh ie_serving model --model_path /models/face-detection --model_name face-detection --port 8000  --shape auto

출처: Intel 직원의github(이전과 같은 URL)
(다음 진행에 대해 자세히 설명)
이 두 단계가 끝나면 OpenVINO 모형 서버는 Docker 컨테이너에서 실행되며 포트 8000은 gRPCAPI와 동작합니다

4.check

Intel 직원의 github (이전과 같은 URL) 에서 getserving_meta.py를 사용하면 3에서 오픈된port가 정상적으로 작동하는지 체크할 수 있습니다.
get_serving_meta.py를 실행할 때 다음 명령행 매개 변수를 입력하면 지정된 port에서 추론할 수 있는 AI 모델인 Input metadata와 Output metadata가 나타납니다.

python get_serving_meta.py --grpc_port DOCKER_PORT_NUMBER --model_name AI_MODEL_NAME 

다음 예는 다른 AI 모델, 포트 번호의 check 성공 예입니다.