Google MediaPipe

MediaPipe는 크로스 플랫폼 멀티 모달의 ML 파이프 라인을 구축하기위한 프레임 워크입니다. 이전에는 모바일(Android, iOS) 및 Google Coral과 같은 에지 기기에서 MediaPipe 그래프로 ML 파이프라인을 구축하고 실행하는 것을 입증했습니다.

이 기사에서는 WebAssembly에 의해 활성화되고 XNNPack ML Inference Library에 의해 가속되는 웹 브라우저에서 실시간으로 실행되는 MediaPipe 그래프를 볼 수 있기를 기대합니다. 이 미리보기 기능을 웹 기반 Visualizer 도구에 통합하여 그래프 디자인을 빠르게 반복할 수 있는 놀이터를 제공합니다. 모든 것이 브라우저에서 직접 실행되기 때문에 동영상은 사용자의 컴퓨터에서 멀어지지 않으며 각 반복은 라이브 웹캠 스트림(및 즉시 모든 동영상)에서 즉시 테스트할 수 있습니다.

MediaPipe 비주얼라이저

MediaPipe Visualizer는 viz.mediapipe.dev에서 호스팅됩니다. MediaPipe 그래프를 검사하려면 그래프 코드를 편집기 탭에 붙여넣거나 그래프 파일을 비주얼라이저에 업로드합니다. 사용자는 마우스와 스크롤 휠을 사용하여 그래프의 그래픽 표현을 이동하고 확대할 수 있습니다. 그래프는 편집기 내에서 수행된 변경에도 실시간으로 반응합니다.

MediaPipe Visualizer 데모

기존 MediaPipe 그래프 예제에서 몇 가지 샘플 Visualizer 데모를 만들었습니다. 이들은 Chrome 브라우저에서 다음 주소에 액세스하여 시각화 프로그램에서 볼 수 있습니다.

Edge Detection
얼굴 감지
Hair Segmentation
Hand Tracking



현재 웹 기반 MediaPipe 지원에는 몇 가지 중요한 제한 사항이 있습니다.

위의 데모 그래프 계산기 만 사용할 수 있습니다

사용자는 템플릿 그래프 중 하나를 편집해야 합니다. 그들은 자신을 처음부터 제공 할 수 없습니다

사용자는 자산을 추가하거나 변경할 수 없습니다

그래프의 실행 프로그램은 단일 스레드 (즉, ApplicationThreadExecutor) 여야합니다.

GPU에서 TensorFlow Lite의 추론은 지원되지 않습니다

promote ads: