🦸‍♂️AVFoundation 튜토리얼: iOS에서 비디오에 효과를 적용하는 방법

비디오가 처리되는 방식에 대해 생각해 본 적이 있습니까? 효과를 적용하는 것은 어떻습니까? 이 AVFoundation 튜토리얼에서는 iOS에서의 비디오 처리를 간단한 용어로 설명하려고 합니다. 이 주제는 상당히 복잡하면서도 흥미롭습니다. 아래에서 효과를 적용하는 방법에 대한 간단한 가이드를 찾을 수 있습니다.

핵심 이미지

Core Image는 고성능 이미지 처리 및 분석을 위한 Apple의 프레임워크입니다. 클래스 CIImage, CIFilter 및 CiContext는 이 프레임워크의 주요 구성 요소입니다.

Core Image를 사용하면 사용자 정의 효과를 생성하기 위해 서로 다른 필터(CiFilter)를 함께 연결할 수 있습니다. 또한 GPU(그래픽 프로세서)에서 작동하는 효과를 생성하여 CPU(중앙 프로세서)에서 약간의 부하를 이동하여 앱 속도를 높일 수 있습니다.

AV재단

AVFoundation은 iOS, macOS, watchOS 및 tvOS에서 미디어 파일 작업을 위한 프레임워크입니다. AVFoundation을 사용하면 QuickTime 영화 및 MPEG-4(MP4) 파일을 쉽게 생성, 편집 및 재생할 수 있습니다. 또한 HLS 스트림을 재생하고(HLShere에 대해 자세히 알아보기) 플레이어, 편집기 등과 같은 비디오 및 오디오 파일과 함께 작동하는 사용자 정의 기능을 만들 수 있습니다.

효과 추가

동영상에 폭발 효과를 추가해야 한다고 가정해 보겠습니다. 너 뭐하니?

먼저 효과를 적용할 메인 비디오, 알파 채널이 있는 효과 비디오, 알파 채널이 없는 효과 비디오의 세 가지 비디오를 준비해야 합니다.

알파 채널은 이미지에 통합할 수 있는 추가 채널입니다. 여기에는 이미지의 투명도에 대한 정보가 포함되어 있으며 알파 유형에 따라 다양한 투명도 수준을 제공할 수 있습니다.

효과가 있는 비디오가 기본 비디오와 겹치지 않도록 알파 채널이 필요합니다. 다음은 알파 채널이 있는 그림과 없는 그림의 예입니다.



색이 하얗게 될수록 투명도가 떨어집니다. 따라서 검은색은 완전히 투명하지만 흰색은 전혀 투명하지 않습니다.

비디오 효과를 적용한 후에는 폭발 자체(오른쪽 이미지의 흰색 부분)만 표시되고 나머지는 투명해집니다. 효과를 적용한 메인 비디오를 볼 수 있습니다.

그런 다음 세 개의 비디오를 동시에 읽고 CIFilter를 사용하여 이미지를 결합해야 합니다.

먼저 CMSampleBuffer를 통해 CVImageBuffer에 대한 링크를 얻습니다. 다양한 유형의 이미지 데이터를 제어하는 ​​데 필요합니다. CVImageBuffer는 나중에 필요할 CVPixelBuffer에서 파생됩니다. CVImageBuffer에서 CIImage를 얻습니다. 코드에서 다음과 같이 보입니다.

CVImageBufferRef imageRecordBuffer = CMSampleBufferGetImageBuffer(recordBuffer);
CIImage *ciBackground = [CIImage imageWithCVPixelBuffer:imageRecordBuffer];

CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(buffer);
CIImage *ciTop = [CIImage imageWithCVPixelBuffer:imageBuffer];*

CVImageBufferRef imageAlphaBuffer = CMSampleBufferGetImageBuffer(alphaBuffer);
CIImage *ciMask = [CIImage imageWithCVPixelBuffer:imageAlphaBuffer];

3개의 비디오 각각에 대해 CIImage를 수신한 후 CIFilter를 사용하여 컴파일해야 합니다. 코드는 대략 다음과 같습니다.

CIFilter *filterMask = [CIFilter filterWithName:@"CIBlendWithMask" keysAndValues:@"inputBackgroundImage", ciBackground, @"inputImage", ciTop, @"inputMaskImage", ciMask, nil];
CIImage *outputImage = [filterMask outputImage];

다시 한 번 CIImage를 받았지만 이번에는 이전에 얻은 세 개의 CIImage로 구성됩니다. 이제 CIIContext를 사용하여 CVPixelBufferRef에서 새 CIImage를 렌더링합니다. 코드는 대략 다음과 같습니다.

CVPixelBufferRef pixelBuffer =[self.contextEffect renderToPixelBufferNew:outputImage];

이제 완성된 픽셀 버퍼가 있습니다. 비디오 샘플 버퍼에 추가해야 하며 그 후에 효과가 있는 비디오를 받게 됩니다.

[self.writerAdaptor appendPixelBuffer:pixelBuffer withPresentationTime:CMTimeMake(self.frameUse, 30)]

효과가 여기 비디오에 성공적으로 추가되었습니다. 즉, 작업은 GPU를 사용하여 완료되었으며, 이는 우리가 CPU에서 부하를 덜어 앱 속도를 높이는 데 도움이 되었습니다.

결론

iOS에서 비디오에 효과를 추가하는 것은 상당히 복잡한 작업이지만 iOS에서 미디어 작업을 위한 기본 프레임워크를 사용하는 방법을 알고 있다면 수행할 수 있습니다. 그것에 대해 더 알고 싶다면 Contact us form을 통해 언제든지 저희에게 연락하십시오!