Tensorflow를 이용한 학습 모델을 이용하여 Semantic Segmentation한 정보를 바탕으로, TouchDesigner로 이펙트 붙이는 것만으로, 실시간의 사람의 움직임에 맞춘 인터랙티브 어플리케이션 만들 수 있다고 말하고 싶지 않습니까?

말하고 싶었기 때문에 만들어 보았습니다.

그렇다고 해서 리얼타임이라고 하면서 전혀 움직일 수 없는 레벨입니다만, GPU를 사용할 수 있는 머신이라면 좀 더 낫게 될 것입니다, 아마. 이런 레벨입니다만, 2인일(16시간, 당사비)로 할 수 있었으므로, 프로토 타입이라고 하는 의미에서는, 다음에 연결된다고 생각하고 있어, 매우 좋지 않을까 생각하고 있습니다.

전제

anaconda, python 설치됨

TouchDesigner 설치됨

MacBook Pro

간단한 메커니즘

웹캠 -> DeepLab에서 Semantic Segmentaiton

1 결과 camTwist를 통해 TouchDesigner에 입력

만든 효과를 하나의 결과에만 적용하여 웹캠의 영상에 중첩합니다.

라는 느낌입니다.

방법

각각 어떻게 할까? 그렇다면 아래 기사로 나뉘어 있으므로 참조하십시오.

1을 위해

DeepLab에서 Sematic Segmentation(데모 이동)

DeepLab에서 웹캠을 사용하려면 Real-time semantic image segmentation with DeepLab in Tensorflow

2를 위해

(예의 제작 중)

3를 위해

Voronoi 효과를 만드는 방법 : TouchDesigner를 공부하고 처음 8시간 만에 멋진 Voronoi 효과 만들기

1과 2의 결과를 합성합니다 (Level과 Add 및 Mutliply를 사용하여 합성했습니다).

참고

영상 음향 처리 개요 2019

【기술 해설】DeepLab의 시맨틱 세그멘테이션과 TouchDesigner를 이용한 영상 제작

이번 이펙트는 이것의 변형