K콘텐츠가 세계를 휩쓴 배경엔 언어의 장벽을 없애기 위한 노력이 있다. 콘텐츠의 가치가 오롯이 전달되도록 한국어를 현지어로 바꾸는 과정이 필수적인데 기존 더빙은 비용이 많이 들어 중소 제작사는 쉽게 시도하지 못했다. 

허드슨AI는 더빙 과정에 AI를 도입해 비용을 대폭 절감했다.  ㅏ가 다양한 K콘텐츠의 해외 진출을 돕고 있다.

2023년 장편 애니메이션 영화 ‘헬로카봇, 수상한 마법사의 비밀’을 시작으로 최근 KBO 중계 등 실시간 영역으로 AI 더빙의 지평을 넓히고 있는 허드슨AI의 신현진 대표를 서울 강남 한 스튜디오에서 만났다.

5개국어 성우 섭외하며 느낀 비효율, ‘AI 더빙’ 구상 시발점

콘텐츠 더빙은 번역부터 성우의 연기, 녹음, 믹싱 등 단계별로 수많은 인력이 필요한 과정이다. 신 대표는 약 10년 전 한 회사에서 콘텐츠 기획을 담당하며 성우 더빙의 비효율성을 체감하고, AI 더빙에 대한 청사진을 그렸다.

신 대표는 “당시 한국어 동영상을 글로벌 임직원에게 전달하기 위해 5개국어 성우를 섭외해 더빙을 진행했다. 성우 작업은 리스크가 많았다. 대본이 한 줄만 수정돼도 성우를 다시 섭외해 재녹음해야 하고, 성우가 사투리를 써도 알 길이 없어 그대로 자료에 반영해야 했다”고 운을 다.

이어 “이후 연구실에서 AI 음성 합성 기술을 접하며 ‘한 단어가 바뀌어도 원래 그 사람의 목소리를 그대로 흉내 내어 쉽게 바꿀 수 있겠다’는 아이디어로 더빙 프로젝트를 시작했다. 이 기술이 일반 TTS보다 감정과 연기를 잘 표현한다는 강점을 확인한 시점에 코로나19가 발생했고, 글로벌 OTT 시장이 급성장했다. 북미, 일본, 남미 등 해외는 자막보다 더빙 소비 선호도가 높았고 넷플릭스의 성장과 함께 전통 성우 스튜디오들도 급성장하는 것을 보며, AI 더빙 솔루션으로 OTT 시장에 진입하기로 판단했다”고 했다.

그렇게 2022년 출범한 허드슨AI는 순탄치 않은 시작을 맞이했다. 

당시 음성합성 기술(TTS)은 기계적 수준에 머물러 상용화가 어려웠기 때문이다. 고초를 겪던 허드슨AI는 창업 2개월 만에 SK텔레콤 스타트업 육성 프로그램 ‘액셀러레이팅’에 선정되며 전환점을 맞이했다.

신 대표는 “프로그램 기술 검증 시간에, 자사 AI 더빙 기술이 적용된 결과물 퀄리티에 대한 만족도가 높았다. 그러면서 SK브로드밴드 Btv 이용자에 ‘헬로카봇’ 등 작품을 통해 AI 더빙을 선보였고, 이를 본 다른 미디어 회사들이 먼저 연락을 취해오기 시작했다. 이후 비용 문제로 더빙을 못 하던 미디어 회사들과 다채로운 협업을 맺었다”고 말했다.

이때를 기점으로 상승세를 탄 허드슨AI는 출범 후 매년 성장을 거듭했다. 아울러 TTS나 오디오 분리 등 개별 모듈을 API 형태로 판매하는 사업을 통해 수익 다각화에 나섰다.

자체 개발 AI 풀스택 기술로 기존 더빙 대비 비용 95% 절감

허드슨AI는 AI 더빙 기술을 지속 고도화하고 있다.

신 대표는 “최근 더빙 기술 고도화에 몰두하여 현재 세계 최고 수준 성능을 보이고 있다. 현재 STT(음성을 텍스트로 변환하는 기술)는 120ms 레이턴시에 정확도 95% 이상을 달성하며 실시간 방송워크플로우에도 바로 적용할 수 있는 수준이다. 또 80개국 이상 언어를 지원하며, 맥락에 맞춘 단어 선택, 사소한 감정 연기 등 세밀한 표현도 가능하다”고 설명했다.

더빙 과정은 크게 다섯 단계로 이루어진다. 영상에서 ME(배경음, 효과음)와 DX(음성, 대사)를 깔끔하게 분리하는 ‘오디오 분리’, 분리된 음성을 바탕으로 영상 속에서 누가, 언제, 무슨 말을 하는지 인식해 텍스트화하는 ‘음성 인식’, 인물 간 관계를 반영해 번역하는 ‘번역’, 번역본을 바탕으로 멀티모달 오디오 기술을 적용해 AI가 음성을 녹음하는 ‘음성 합성’, AI 녹음본과 배경음 등을 다시 섞는 ‘믹싱’ 과정이다.

더빙은 번역, 통역, 연기, 녹음, 믹싱 등 단계별로 수많은 사람이 필요한 전문 인력 중심 과업으로, 비용과 시간이 많이 든다. 허드슨AI는 더빙 과정 전반에 AI 기술을 적용해 음성을 이해, 전처리, 합성하는 과정을 아우르는 음성 AI 풀스택 기술을 자체 개발해, 기제작 더빙과 견줘 약 95% 비용 절감 효과를 거뒀다.

자본 한계 부딪힌 중소 제작사 해외진출 발판으로

허드슨AI  고객사는 애니메이션 제작사, 개인 유튜브 운영자 등 다양한 콘텐츠를 제작하는 중소 제작사 비중이 높다. 허드슨AI의 AI 더빙 기술은 중소 제작사 콘텐츠가 해외로 진출하는 데 발판이 됐다.

신 대표는 “AI 더빙의 장점이 단지 ‘낮은 가격’에만 있다고 보지는 않는다. 몇백억 대작 콘텐츠는 성우 더빙 비용이 부담되지 않으며 퀄리티 보장도 쉽다. AI 더빙이 진정 필요한 쪽은 예산 확보가 어려운 중소 플랫폼과 다양한 취향의 콘텐츠다. 자본이 부족해 더빙을 시도하지 못하던 중소 플랫폼에 AI 더빙은 훌륭한 대안이 된다”고 짚었다

그러면서 “특히 키즈 애니메이션은 아이들이 자막을 읽기 어려워 더빙이 필수적이다. 중소 애니메이션 제작사 작품에 더빙이 돼있으면 해외 시장에 판매될 때 바이어의 구매 의향이 높아진다”고 강조했다.

허드슨AI는 오는 9월 K콘텐츠를 미국 지상파에 송출하는 ‘K채널 82’의 AI 더빙 리딩 파트너로도 참여한다. 한국 뉴스를 미국에서 동시 송출하기 위해 실시간 더빙도 진행한다. 신 대표는 자사 기술력에 대한 지연 시간 단축이 핵심이다.

신 대표는 “실시간 더빙은 지연 시간(레이턴시)를 줄이면서 정확도를 높여야 하는 상충된 목표를 동시 달성해야 하므로 난도가 높다. 실시간 더빙 과정에서 문장의 덩어리를 어떻게 나눌 것인가가 기술적 난제이며, 해결되지 않으면 오역이나 할루시네이션이 발생한다. 자사가 고도화하고 있는 기술을 바탕으로 최선을 다해 대응할 방침이다”고 말했다.

AI 더빙, FAST ‘락인효과’ 핵심

향후 싱클레어와 한국 방송사가 협업한 K얼라이언스가 광고 기반 무료 스트리밍 서비스(FAST)를 통해 K콘텐츠를 해외에 송출할 때도 허드슨AI는 AI 더빙을 적용해 ‘락인 효과’를 꾀한다.

관련기사

신 대표는 “FAST는 광고 수익이 전부이므로, 대형 OTT처럼 전문 인력을 많이 투입해 더빙을 하긴 어렵다. 또 스마트TV를 통해 송출되는 FAST 특성상 사람들이 TV를 틀어놓고 다른 일을 하고, 더빙이 되면 더 오래 한 채널에 머문다. 이 지속성이 광고 수익과 직결되므로, AI 더빙은 비용 효율화와 수익성 제고의 핵심 키가 될 수 있다”고 설명했다.

허드슨AI는 싱클레어와의 협업을 바탕으로 해외로 사업을 확장하고, 피지컬AI 시장으로의 산업군 확대도 넘보고 있다. 신 대표는 “더빙 시작 언어가 꼭 한국어일 필요는 없기 때문에 해외 사업 확장도 고려 중이다”며 “자사의 우수한 AI 음성 인식, 합성 기술을 바탕으로 피지컬 AI 등 실시간 소통이 필요한 영역으로 사업을 확장해 나갈 방침이다”고 밝혔다.