Dewey👩🏻🦰 : 벤, 안녕하세요. 짝짝짝! GTS 상용화를 축하드립니다!🎉🎉 먼저 가우디오랩 AI팀에 대한 소개를 짧게 부탁드려요!
Ben💁🏻♂️ : 안녕하세요. 저는 가우디오랩의 CSO임과 동시에 AI팀을 리딩하고 있는 벤(전상배)입니다. 가우디오랩 AI 팀에는 작곡, 음향공학, 컴퓨터공학, 전자공학 등 다양한 배경을 가진 오디오 및 인공지능 과학자들이 6명 이상 포진해있어요. 국내 어디서도 찾아볼 수 없는 알찬 연구조직입니다. 규모 면에서도 또 연구 면에서도, 단연 국내 최고의 드림팀이라고 자부할 수 있죠. 좋은 소리 경험을 제공한다는 비전을 갖고 오디오의 미래를 이끌 AI 기술을 매일 뜨겁게 연구하고 있습니다. 그 첫 번째 제품으로 이번에 GTS를 상용화하게 됐네요!
Dewey👩🏻🦰 : 저는 그동안 모든 곡의 가사를 사람이 일일이 입력해왔다는 사실을 전혀 모르고 있었는데요, 지금까지 음악 스트리밍 플랫폼에서는 가사 입력에 투입되는 인력과 시간, 그리고 검수 과정까지… 꽤나 많은 비용이 들었을 것 같아요. 이 문제를 가우디오랩 AI 팀에서는 어떻게 풀어냈는지 궁금합니다!
Ben💁🏻♂️ : GTS는 음악과 가사 파일을 재료로하여, AI가 음악의 멜로디에 맞게 가사를 매칭해 실시간 가사의 타임 코드를 생성해 주는 기술입니다. 먼저 음악에서 음성을 분리하고, 음성으로부터 예측된 발음기호와 가사의 발음기호를 비교하여 가사에 대응되는 음악의 지점을 찾은 뒤, 그 지점의 시간을 Time stamp로 정의하는 과정이죠.
사실 이러한 방식의 GTS 솔루션을 AI로 구현하는 데에는 생각보다 많은 어려움이 있었는데요. 일례로, 저희가 확보한 동기 가사 데이터 베이스에는 노래와 상관없는 텍스트가 있거나, 노래가 시작하는 시점과는 다른 지점에 Time stamp가 지정되어 있는 경우가 많았습니다. 심지어는 노래 가사에 “좋은 밤 되세요~“라는 글귀나 가사 파일 작성자의 블로그 주소가 기입되어 있기도 했죠. 그러나 이런 어려움들은 오히려 GTS를 더 견고하게 하는 계기가 되었습니다. 가사의 정확도를 높이기 위해 동기화 가사에 대한 Confidence와 오류 판별에 대한 내용을 정리하여 Reporting 하는 Tool까지 제공하게 되었거든요.
Dewey👩🏻🦰 : 어려움을 제품이 더 발전하는 동력으로 삼으시다니, 대단해요! 사실 음악에서 음성을 분리하는 것도 쉽지는 않아 보이는데요, 그 기술에 대해서 조금 더 자세히 설명해 주실 수 있나요?
Ben💁🏻♂️ : 가우디오랩의 음원 분리 기술인 GSEP은 고성능 AI 음원 분리 기술이라고 설명드릴 수 있습니다. 음원 분리는 여러 음원이 섞여있는 오디오 신호에서 개별 음원을 추출하는 것을 말하는데요. 영화에서 배우의 목소리만을 추출하거나, 음악에서 특정 악기의 소리를 추출하는 것이 그 예가 됩니다. GTS처럼 노래에서 사람의 음성을 분리하는 과정도 이에 포함되겠죠.
Dewey👩🏻🦰 : 가우디오랩의 GSEP은 타 경쟁 기술 대비 굉장히 뛰어난 수준이라 들었는데요!
Ben💁🏻♂️ : 가우디오랩
GSEP의 강점이자 특징은 압도적인 분리력, 현저히 적은 연산량, 월등한 음질. 이렇게 3가지로 요약해서 말씀드릴 수 있을 것 같아요. 먼저 분리력에 대해서 말씀드리자면, 학계에서는 분리도에 대한 성능으로 SDR(Signal-to-Distortion Ratio)를 사용하는데요.
GSEP은 S사, F사, D사 등 세계 대형 경쟁사들과 비교했을 때, 가장 높은 7.86 dB의 성능을 보입니다. (👩🏻🦰 : 초기 버전에 대한 성능은
AI 팀의 Ben과 Ste가 발표한 이 논문을 참고해주세요. 물론 현재는 훨씬 더 좋아지는 중이고요.)
월등한 분리력을 제공하지만 연산량은 현저히 적기 때문에 효율이 높습니다. 다양한 어플리케이션에서 사용될 수 있도록 설계 및 구현된 덕분인데요, 일반적인 GPU 서버 환경에서 노래 한 곡에 대한 목소리를 추출하는데 1.5초 정도면 충분한데, 이는 경쟁 기술 대비 2~16배 정도 빠른 수준입니다.
이렇게 빠른 속도에도 불구하고 단연 뛰어난 음질을 선보입니다. 끊임없이 신규 컨텐츠가 유입되는 음악, 영화 스트리밍 서비스에 최적화되었다고 자부하는 지점이에요. 분리된 결과물의 음질은, 가우디오랩 내부에서 MUSHRA (Multiple Stimulus with Hidden Reference and Anchor: ITU-R BS.1534로 정의된 국제 표준 음질 평가 기법) 방식으로 주관 평가를 수행해본 결과, 경쟁 기술들 대비 통계적으로 확연히 좋은 음질임이(statistically significantly better) 확인되었습니다.
Dewey👩🏻🦰 : 빠르고 정확한 음원 분리가 가능하면서도 음질이 뛰어나다면, 기술적인 면에서 다양한 확장 가능성도 염두에 두실 것 같은데요!
Ben💁🏻♂️ : GSEP은 Audio-AI 전문가들의 통찰을 반영해서, 다양한 제품의 구현 시나리오까지 고려하며 설계되었어요. 덕분에 고객별 서비스 시나리오에 맞는 Customization도 얼마든지 가능합니다. 음원 분리를 통해 노래에서 음성을 깨끗하게 제거한 고품질 노래방 기능(Karaoke Solution), 시끄러운 환경에서도 영상 속 대사를 더 잘 들리게 하는 음성 강화 기능(Clear Voice) 등으로도 활용 가능한 것이죠. 물론 당연히 깨끗한 음질도 놓치지 않고요.
Dewey👩🏻🦰 : 이렇게 직접 벤의 이야기를 들으니 가우디오랩 AI 팀이 한결 더 가까이 와닿는 느낌이에요. 그런데 사실 기술도 기술이지만, 고도화된 기술의 집합을 제품화해서 시장으로 꺼내어 놓는 과정 또한 참 어려운 일 같다는 생각이 들어요. 그 과정을 직접 리딩해 보시니 어떠셨나요?
Ben💁🏻♂️ : 가우디오랩은 혁신적인 오디오 기술을 기반으로 다양한 오디오 솔루션을 제공하고 있어요. 누구보다도 높은 오디오 신호처리 기술력을 확보하고 있을 뿐만 아니라, 고객 니즈에 맞는 제품을 개발하는 과정에서 쌓아온 오디오 및 제품에 대한 Domain Knowledge 또한 독보적이죠. GSEP 이나 GTS와 같은 고성능 솔루션을 확보할 수 있었던 것 또한 그냥 AI 모델만 만드는 것에 그치는 것이 아닌, 가우디오랩의 뛰어난 기술과 노하우를 AI 모델 개발에 녹아들게 했기 때문에 가능했던 것 같아요. 결국 좋은 제품은 AI 모델, 신호 처리, 그리고 Software 최적화까지 극도로 유기적일 수 있도록 융합하는 과정에서 탄생할 수 있는 거죠. 그 과정 끝에 GTS도 빛을 볼 수 있었고요.
