일레븐랩스가 원본 화자 감정과 목소리 개성을 살리는 인공지능(AI) 더빙 모델을 공개했다.

일레븐랩스는 영상과 오디오 콘텐츠 번역·더빙을 자연스럽게 구현하는 신규 AI 더빙 모델 '더빙 v2'를 출시했다고 16일 밝혔다. 이번 모델은 원본 음성의 감정, 톤, 억양, 말 간격, 전달 방식 등을 분석해 다국어 음성에 반영하는 것이 특징이다.

기존 AI 더빙은 텍스트 스크립트에 의존해 음성이 단조롭거나 끊기는 한계가 있었다. 더빙 v2는 원본 화자 실제 퍼포먼스를 직접 분석해 단순 번역을 넘어 자연스럽고 몰입감 있는 다국어 더빙 경험을 제공한다.

더빙 v2는 한국어 원본 콘텐츠를 영어를 포함한 90개 이상 언어로 확장할 수 있도록 지원한다. 일레븐랩스는 드라마, 영화, K팝, 웹툰·웹소설 기반 IP, 게임, 애니메이션, 브이튜버, 크리에이터 영상 등 국내 콘텐츠의 해외 진출 비용과 제작 시간을 줄일 수 있을 것으로 기대한다고 밝혔다. 

이 모델은 목표 언어 문맥에 맞는 자연스러운 표현으로 번역과 조정을 수행한다. 번역 후 생성된 음성은 원본 음성 시작과 종료 타이밍에 맞춰 정렬돼 영상 시청 과정에서 발생할 수 있는 어색함을 줄인다.

이번 모델에는 자동 보이스 클로닝 기능도 포함됐다. 더빙 v2는 원본 화자 음색, 피치, 톤을 자동으로 반영해 별도 수동 클로닝 과정 없이 화자 고유의 개성을 살린 다국어 더빙을 생성한다.

국내 활용 분야는 엔터테인먼트 콘텐츠부터 기업 브랜드 메시지까지 가능하다. 일레븐랩스는 드라마·영화·웹툰·애니메이션 IP, 게임, 브이튜버, 유튜브 크리에이터, 교육·관광 콘텐츠, 기업 교육 영상 등에 더빙 v2가 활용될 수 있다고 설명했다.

일레븐랩스 음성 AI 기술은 국내 방송 제작 현장에도 적용됐다. SBS는 지난해 다큐멘터리 '괴물의 시간' 제작 과정에 일레븐랩스 오디오 AI 기술을 도입해 실존 인물의 목소리를 재생성했다.

박재현 SBS AI파트너십팀 부장은 "일레븐랩스 기술로 K-콘텐츠의 글로벌 더빙·로컬라이제이션 영역에서 협력을 확대해 나갈 계획"이라고 밝혔다.

관련기사

올해 일레븐랩스는 국내 스타트업과 디지털 네이티브 기업뿐 아니라 엔터프라이즈 고객을 적극 공략할 방침이다. 

홍상원 일레븐랩스 한국 총괄은 "번역된 음성이 마치 원본 화자가 실제로 그 언어를 구사한 것처럼 느끼게 만드는 것은 그동안 AI 더빙 분야의 가장 큰 난제 중 하나였다"며 "이번에 선보인 ‘더빙 v2’는 정교한 감정 재현력과 뛰어난 싱크를 바탕으로 국내 크리에이터와 마케터, 콘텐츠 기업들이 언어의 장벽을 넘어 전 세계 사람들과 더 깊고 자연스럽게 소통하는 강력한 교두보가 될 것"이라고 강조했다.