한국전자통신연구원(ETRI, 원장 방승찬)은 공동연구기관 펄스나인과 함께 페이스 스왑 기반 실감 가시화 기술을 적용해 아리랑TV의 글로벌 오디션 프로그램인 ‘코드네임 부산’ 생방송을 진행했다고 17일 밝혔다. 

ETRI가 개발한 기술은 생성 인공지능(AI) 기반 실감 가시화 기술을 적용, 생방송 프로그램의 해상도 고도화 및 실감화를 생생하게 재현하는 것이다. 중저품질로 렌더링된 어색한 디지털휴먼 동영상을 AI 기술을 이용해 사람이 구별할 수 없는 수준으로 변환하는 내용이다.

기존 생성 AI 기술로 생성한 동영상은 시간 일치성이 부족해 영상의 떨림 현상이 발생했으나, 이번 기술은 생방송에 바로 적용할 수 있는 수준으로 떨림이 없는 것이 특징이다. 또 생방송을 지원할 정도의 실시간성을 보장한다.

ETRI는 디지털 휴먼이 등장하는 교육, 방송, 쇼핑, 영화 등 다양한 산업 분야에서 활용도가 매우 높을 것으로 전망한다고 밝혔다. 이승욱 ETRI CG/Vision연구실 책임연구원은 “디지털 휴먼의 해상도 향상뿐만 아니라, 키오스크, 게임영상 등 저해상도 또는 저품질로 만들어진 디지털 휴먼 영상을 사람이 구별할 수 없는 수준의 고품질 영상으로 만들 수 있어 다양한 산업 분야에 적용될 수 있을 것으로 기대한다”고 말했다.

ETRI 정일권 콘텐츠연구본부장은 “최근 연구진은 디지털 휴먼뿐만 아니라, 콘텐츠 영역 전반에 활용 가능한 생성 AI 기술을 개발 중”이라며 “실제 산업에서 사용될 수 있는 실용적인 기술을 개발하여 관련 기술 및 산업을 선도하겠다”라고 전했다.

공동연구를 진행한 박지은 펄스나인 대표는 “이번 생방송 프로그램의 해상도 고도화 실연 성공에 힘입어 최근 방송가의 UHD 방송장비 시스템 도입화에 발맞춰 디지털 휴먼을 활용한 다양한 콘텐츠 제작에 힘쓸 계획이다”라고 설명했다.

코드네임 부산은 2030 월드 엑스포 부산 유치 홍보를 위해 아리랑 국제방송의 글로벌 오디션 프로그램이다. 오디션 참가자들이 펄스나인의 실시간 얼굴 합성기술인 딥리얼 라이브로 버추얼 아이돌 ‘이터니티’의 가상 인물로 일일 변신, 생방송 오디션에 참여하는 내용이다. 

ETRI 실감가시화 기술은 과학기술정보통신부와 정보통신기획평가원의 ‘실사 수준의 디지털 휴먼 생성과 30fps급 실감 렌더링 기술 개발’ 과제의 결과물로 개발했다.

임대준 기자 ydj@aitimes.com