AI 실시간 사물 인식 체험하기

실습을 위해 웹 브라우저의 카메라 접근 권한을 허용해 주세요!

이번 수업에서는 COCO-SSD 모델과 TensorFlow.js를 활용하여 실시간으로 사물을 인식하는 AI를 체험해 보겠습니다.

COCO-SSD는 마이크로소프트가 만든 COCO(Common Objects in Context) 데이터셋으로 학습된 AI 모델로 사람, 동물, 차량과 같은 다양한 사물을 빠르게 식별합니다.

여기서 사람, 동물, 차량 등의 사물을 클래스(Class)라고 부르며, COCO-SSD는 80가지의 클래스를 인식할 수 있습니다.

TensorFlow.js는 웹 브라우저에서 AI 모델을 실행할 수 있도록 돕는 라이브러리로, 이를 통해 웹캠을 통해 실시간으로 사물을 인식하는 AI를 구현합니다.

TensorFlow에 대한 자세한 설명과 코드를 활용한 구현 방법은 추후 수업에서 자세히 다루겠습니다.

지난 실습과 같이 이번 수업은 스마트 기기의 카메라(예: 노트북의 웹캠, 스마트폰의 전면 카메라)를 통해 사물을 인식합니다.

태블릿 또는 노트북을 사용해 AI의 실시간 사물 인식을 체험해 보세요.

웹캠으로 입력된 영상을 COCO-SSD AI 모델에 전달하면, AI는 입력된 영상을 프레임(Frame, 영상을 구성하는 이미지의 한 장) 단위로 분석하여 사물을 식별합니다.

AI는 사람, 자동차 등 80가지의 사물을 학습한 데이터를 바탕으로 영상을 프레임 단위로 분석하며, 해당 프레임에 어떤 사물이 존재하는지 예측합니다.

프레임에 대한 분석을 마친 후, AI는 가장 확률이 높은 사물 클래스를 식별하고 해당 사물 객체(클래스를 식별한 사물)의 좌표를 전달합니다.

다음은 AI가 반환한 사물 판별 결과 예시로, 화면의 객체는 car 클래스일 확률이 10%, person 클래스일 확률이 98%로 판별되었습니다.

Copy
[
  {
    "class": "person",             // 판별한 객체의 클래스      
    "score": 0.98,                 // 클래스가 일치할 확률
    "bbox": [0.1, 0.2, 0.5, 0.6]   // 객체의 좌표
  },
  {
    "class": "car",
    "score": 0.1,                   
    "bbox": [0.3, 0.4, 0.7, 0.8]
  }
]

TensorFlow.js는 AI가 반환한 사물 객체의 이름과 좌표를 웹 브라우저 화면에 표시하여 사용자에게 사물 인식 결과를 보여줍니다.

이렇게 컴퓨터를 활용해 이미지, 영상과 같은 시각 데이터를 처리하는 것을 컴퓨터 비전(Computer Vision)이라고 합니다.

다음 수업에서는 컴퓨터 비전이 AR(Augmented Reality, 증강 현실)과 만나 어떤 서비스를 제공할 수 있는지 알아보겠습니다.