How your transcript knows where each word is spoken

영화를 보는데 자막과 배우의 입모양이 맞지 않으면 몰입이 확 깨졌던 경험, 다들 있으시죠? 음성 기술이나 영상 편집에서도 텍스트와 소리가 정확히 맞는 것은 정말 중요한데요. 오늘은 AI가 목소리와 글자를 어떻게 딱 맞춰주는지 그 비결을 가볍게 살펴보려고 해요. 일레븐랩스에서 발표한 새로운 기술 소식, 함께 확인해 볼까요?

전체 글 정리

강제 정렬이란 무엇인가요?

• 강제 정렬은 영상이나 오디오 파일과 텍스트를 건네받아, 각 단어가 정확히 언제 말해졌는지 시간 단위로 일치시키는 작업을 말해요.
• 자막을 띄우거나, 대본의 특정 단어를 클릭했을 때 오디오가 그 위치로 바로 이동하는 기능 등이 모두 이 정렬 기술 덕분에 가능하답니다.

기존 기술의 아쉬운 점

• 기존 도구들은 30초 정도의 짧은 클립에는 잘 작동하지만, 긴 파일은 여러 조각으로 쪼개야 해서 타이밍 오차가 쌓이기 쉬웠어요.
• 주변 소음이나 배경 음악이 섞인 실제 녹음 파일, 혹은 지원하는 언어가 제한적인 점도 기존 오픈소스 도구들이 가진 한계였답니다.

속도와 정확도를 모두 잡은 큐(Cue)

• 일레븐랩스의 새로운 모델 큐는 90개 이상의 벤치마크 언어를 하나의 모델로 지원하며, 긴 녹음 파일도 한 번에 처리해 오차를 줄였어요.
• 1시간 분량의 오디오를 0.5초 만에 처리할 수 있을 정도로 엄청난 속도를 자랑하며, 잡음이 섞인 실제 환경에서도 정확도가 매우 높아요.
• 말소리뿐만 아니라 가사가 늘어지는 음악 곡에서도 뛰어난 정렬 성능을 보여주었습니다.

이용 방법 / 활용 방안

• 영상 자막 작업이나 오디오 편집을 자주 하시는 분들이라면, 텍스트와 음성을 정확하게 일치시켜주는 이런 기술이 작업 시간을 얼마나 줄여줄지 쉽게 상상 가실 거예요.
• 개발자가 아니더라도 자막 생성, 자동 더빙, 음악 가사 싱크 등 다양한 미디어 콘텐츠를 훨씬 매끄럽고 자연스럽게 만드는 기반 기술로 폭넓게 활용될 수 있답니다.

여러분이라면 이렇게 오디오와 글자가 칼로 자른 듯 딱 맞는 기술을 어디에 가장 먼저 써보고 싶으신가요?