실시간 영상분석 AI 엔진
실시간 AI 영상 분석은 콘텐츠의 흐름을 바탕으로 영상의 감성적 분위기를 파악하는 데 사용됩니다. 영상의 감성적 분위기는 시청자의 감정을 인식하는 데 도움이 되며, 캐릭터, 환경, 색채, 소리 등 현장의 다양한 요소에 대한 AI 분석과 결합하여 AI가 현장과 스토리에 가장 잘 어울리는 감정 값을 찾아냅니다.
감정 분석 인공지능 모델 구성
– 스트리밍 입력 기반 엣지 디바이스(JETSON NANO)에서 감정 정보 분석
– 모델 경량화 및 빠른 추론 가능
감정 분석 인공지능 모델
이미지(CLIP) 및 오디오(Hubert) , Color, Intensity 등의 VECTOR를 이용해 AI 모델로 7가지 감정을 실시간 분석합니다.
감성 AI 사운드 시스템
영상 감성 AI 분석을 통해 선별된 감정클래스에 맞추어 설정된 튜닝 사운드를 제공합니다. 영상의 감성적 분위기를 고조시키고, 인물, 환경, 오브젝트 등의 사운드 효과를 개선하여 영상에 몰입할 수 있는 환경을 만들어줍니다. 단순 노래, 영화, 드라마 등 장르에 따라 반영되는 사운드 튜닝과는 차별화되는 실시간 감성 사운드 효과 입니다.
Dialog / 3D Immersive / Pitch / Volume / EQ 등 사운드 요소에 설정된 감정에 맞는 사운드 튜닝 값을 반영된 사운드 효과로 영상의 감정 분위기를 살리고, 객체와 환경의 소리 발란스 , 공간감을 높여주는 사운드 튜닝
감성 AI 사운드 처리 결과
라이브 튜닝 AI 사운드
실시간 AI 화면 분석을 통해 긴장, 공포, 슬픔, 명상, 분노, 행복감 등 감정 상태에 맞는 튜닝된 사운드를 제공합니다. ‘감성 AI 엔진’은 수동 조정 없이 어떤 장면에서도 실시간으로 최적의 사운드를 즐길 수 있습니다. 분석된 화면에 최적화된 기술을 접목해 몰입감을 더욱 높였습니다.
