AI 얼굴 인식과 증강 현실(AR) 체험하기

이번 수업에서는 AI와 함께 실시간으로 얼굴의 위치를 추적하고, AR(Augmented Reality, 증강현실)을 활용한 가상 의상 착용을 체험합니다.

얼굴을 움직여도 카메라가 얼굴의 위치를 인식할 수 있는 이유는 무엇일까요?

이는 카메라가 얼굴의 위치를 인식할 때, 얼굴의 특징점을 찾아내어 그것을 기준으로 얼굴의 위치를 추적하기 때문입니다.

수업에서 얼굴을 인식하기 위해 사용되는 라이브러리는 MindAR입니다.

MindAR은 웹 기반의 증강 현실 라이브러리로, JavaScript(웹에서 동적인 기능을 구현하는 프로그래밍 언어)와 WebAR(웹 기반의 증강 현실)을 활용해 증강 현실 콘텐츠를 제공합니다.

지금부터 AI가 얼굴을 실시간으로 인식하고, AR이 작용하는 과정을 알아보겠습니다.

MindAR는 내부적으로 AI 모델을 활용하여 웹캠으로 촬영한 영상에서 얼굴의 랜드마크(Landmark)를 탐지합니다.

랜드마크는 얼굴의 코끝, 양쪽 눈의 중심과 같은 특징적인 점들을 말합니다.

이러한 랜드마크는 얼굴 위치 변화를 탐지하기 위한 앵커 포인트(Anchor point, 기준점)가 되어, 얼굴이 움직이더라도 AR 객체를 실시간으로 배치할 수 있게 합니다.

랜드마크를 기준으로 얼굴의 위치를 추적한 후 모자, 선글라스와 같은 가상 의상을 얼굴에 적용합니다.

3D 모델은 얼굴의 위치가 변하더라도 앵커를 따라 얼굴 움직임을 자연스럽게 따라갑니다.

웹 브라우저에 AR 콘텐츠를 적용시킬 때는 A-Frame이 사용됩니다.

A-Frame은 HTML을 사용해 3D 콘텐츠를 구현하는 웹 프레임워크로, MindAR이 추적한 얼굴 랜드마크를 기반으로 3D 모델을 배치합니다.

MindAR과 A-Frame에 대한 더 자세한 내용은 공식 홈페이지에서 확인할 수 있습니다.

• MindAR 공식 홈페이지

• A-Frame 공식 홈페이지