gaudio

뒤로가기back

가우디오 스튜디오 – 내 최애곡의 새로운 면모

2024.02.15 by Philip Eu

가우디오 스튜디오 – 내 최애곡의 새로운 면모

 

 

Gaudio Studio

 

 

안녕하세요, 가우디오랩에서 오디오 및 AI 응용을 연구하고있는 필립입니다!

 

지난 9월 가우디오 스튜디오는 영국 유력매체 MusicRadar가 선정한 ‘최고의 음원분리 소프트웨어’로 1위로 선정되었습니다. Serato Sample, Acon Digital, DeepRemix, FL Studio 등 높은 인기를 자랑하는 소프트웨어와의 경쟁에서 이긴 것이죠. 여기서 더 놀라운 사실은 가우디오 스튜디오가 이 가운데 유일한 무료 소프트웨어라는 점입니다. 가우디오 스튜디오의 첫 해외 보도가 이렇게 호평을 받아 매우 기쁜 마음으로 스튜디오 서비스를 정식으로 소개해보고자 합니다.

 

가우디오 스튜디오는 최첨단 오디오 AI 모델로 구동되는 웹 기반 AI 음원 분리 서비스입니다. 현재는 베타 버전으로 아래와 같이 두 가지 기능을 제공하고 있으며, 누구나 쉽고 재미있게 사용할 수 있으면서도 우수한 성능을 자랑합니다.

 

  • 악기 분리 – 원하는 음악에서 보컬과 악기를 트랙별로 분리할 수 있는 스템 분리 도구

  • 노래방 – 보컬 분리 및 가사 동기화 기능을 갖춘 즉석 노래방 제작 도구

 

 

 

오디오 스템 분리

 

그럼 ‘스템 분리‘란 무엇일까요? 먼저 ‘음원 분리‘를 설명하면 좋을 것 같은데요. 음원 분리란 일반적으로 원본 오디오에서 원하는 사운드를 제거하거나 추출하는 과정을 의미합니다.  여기서 한 단계 더 나아간 작업이 ‘스템 분리‘라고 볼 수 있습니다. 스템 분리는 믹스에서 ‘스템‘이라고 불리는 각 트랙 별 사운드를 분리하는 것을 말합니다. 현대 음악 산업에서는 각 스템의 특징과 편재성을 고려하여, ‘보컬‘, ‘베이스‘, ‘드럼‘, ‘그 외‘, 이렇게 네 가지 요소를 분리하는 것을 ‘스템 분리’라고 흔히들 정의하고 있습니다.

 

과거에는 스템 분리가 수작업으로 이루어지는 경우가 많아 주로 단순한 오디오 시나리오에서만 제한적으로 사용되었습니다. 그러나 최근에는 인공지능의 발전으로 인해 복잡한 트랙에서도 스템 분리가 가능해졌습니다. 이제는 충분한 학습 데이터가 주어진다면 딥러닝 모델을 훈련시켜 다양한 악기의 복잡한 패턴을 자동으로 인식하고 분리할 수 있습니다.

 

그러나 성능이 우수한 스템 분리 모델을 설계하는 것은 쉽지 않습니다. 현재 많은 AI 기반 프로그램들은 여전히 허상 왜곡이 섞인 결과물을 내놓고 있기도 합니다. 특히 음색과 음량이 서로 마스킹되는 음원 믹스의 경우 이런 문제가 더욱 두드러지게 나타납니다. 이러한 상황에서 스템을 분리하는 것은 AI에게는 물론, (이런 작업이 익숙지 않은) 사람에게도 매우 난이도 높은 작업입니다.

 

 

 

GSEP 및 악기 분리

 

GSEP Instruments

 

 

가우디오 스튜디오의 악기 분리 기능은 세상에서 가장 안정적으로 음원을 분리해주는 서비스 중 하나로, 매일 사용자들에 의해 검증되고 있습니다. 현재 버전에서는 앞서 언급한 4개의 스템에 전자 기타와 피아노를 포함하여 최대 6개의 악기로 음원을 분리할 수 있습니다. 선택되지 않은 다른 스템은 자동으로 기타 악기로 묶이게 됩니다. 사용자가 특정 악기를 선택하면 해당 악기에 대한 분리 요청이 대기열에 등록되며, 이후 처리된 결과를 재생하거나 다운로드할 수 있습니다.

 

이 기술의 핵심이 바로 가우디오랩의 AI 분리 모델인 GSEP(Gaudio source SEPeration)입니다. 2021년 출시 이후, GSEP은 경쟁사들을 압도하며 최고의 성능을 자랑하고 있습니다. (심지어 스스로의 기록을 경신해나가고 있기도 합니다)GSEP은 음질, 분리도, 경량성 등 주요 요소들에서 높은 품질을 유지하기 위해 저희 연구팀이 심혈을 기울여 개발했는데요, 그 결과 독립 사운드 스튜디오의 녹음과 거의 구분할 수 없을 정도로 깨끗하고 자연스러운 분리 결과를 제공합니다. 다른 AI 음원 분리 솔루션에서 발생하는 과도한 억제(음의 뭉개짐)로 인한 음질 저하, 음량 불일치(변동)와 같은 문제도 거의 발생하지 않습니다. 물론 여러분들이 직접 확인하시거나 실제 사용자들의 비교 자료를 통해 이를 확인해하실 수도 있고요. :미소짓는_얼굴:

 

(여기까지는 당연히 좋게 들리시죠?) 하지만 여기서 끝이 아닙니다. :윙크: 2021년, 외부 평가에서 보컬 10dB, 반주 16dB의 SDR(Signal-to-Distortion Ratio)을 기록하는 등 객관적인 수치로도 여타 스템 분리 모델을 크게 능가하는 점수를 기록하기도 했습니다.참고로 SDR은 음원 분리에서 사용되는 중요한 지표로, 결과물이 왜곡된 정도를 측정합니다. 참고로 SDR이 10dB 증가할 때마다 왜곡은 약 10배 감소합니다. 이 평가 결과는 GSEP의 뛰어난 성능을 보여줄 뿐만 아니라 GSEP이 심지어 Meta의 최신 버전 Demucs보다도 훨씬 높은 점수를 기록했다는 것을 나타내기도 하죠!

 

이런 GSEP의 탁월한 품질 뒤에는 전세계 최고의 음향공학석박사 인력으로 밀도가 짱짱한 가우디오랩 연구진의 진정한 열정과 오디오에 대한 깊은 이해가 있습니다. 가우디오랩 AI 연구팀은 Audio 연구팀과 밀접하게 일하며 강력한 시너지를 만들고 있습니다. 최고 품질과 더불어 안정적인 음원 분리를 위해 사람의 청취 심리를 고려하고, 끊임없이 양질의 데이터베이스를 추가하며 모델 아키텍처를 함께 고도화시키고 있습니다. 이렇듯 GSEP은 개발자들의 지속된 학습으로 높은 SDR은 물론, 최고 수준의 음질을 만들어 내고 있습니다.

 

 

 

GTS와 Noraebang

 

GTS Noraebang

 

 

깔끔하게 사람의 목소리와 배경음악을 GSEP의 기능은 자연스럽게 노래방 반주 트랙 생성기에 대한 아이디어로 이어졌습니다. 이 아이디어는 가우디오랩의 전매특허 AI 가사 싱크 솔루션(가사 동기화 솔루션) GTS와 접목되어 가우디오 스튜디오의 노래방 기능으로 구현되었습니다. 원하는 음악을 가사 파일과 함께 업로드하기만 하면 나머지는 AI 엔진이 알아서 해줍니다. 바로 나만의 노래방 음원이 생기는 것이죠. 게다가 노래방의 웹 인터페이스는 정확한 타이밍에 맞춰 가사를 단어 단위로 표시해주고요!

 

앞서 말씀드린 GTS는 Gaudio Text-Synchronization을 줄여 만들어진 이름입니다. 흔히 이용하시는 ‘실시간 가사보기’가 바로 GTS 덕분에 가능한데요, 노래의 해당 구간에 맞는 가사 텍스트를 AI가 자동으로 싱크합니다. 복잡한 음원 구조 내에서 보컬을 식별하는 작업은 GSEP의 음원 분리 기능으로, 노래 가사의 음성 정보와 텍스트 간의 상관관계를 파악하고 타임 스탬프를 생성하는 나머지 문제는 GTS가 해결합니다.

 

GTS는 다양한 리듬의 스타일, 박자 및 보컬의 뉘앙스에 알맞게 대응하도록 설계된 적응형 AI 모델입니다. 이런 적응성은 특정 언어의 소리가 아닌, 국제음성기호(IPA)에 대응되는 표음(phonemes)을 학습하여 가능합니다. 간단히 말해, GTS가 새로운 언어를 학습하기 위해서는 국제음성기호로 발음 체계가 표기된 어학 사전만 있으면 됩니다. 그리고 대부분의 일반 언어에 대해서는 이런 데이터가 잘 문서화되어 있습니다.

 

일반적으로 긴 텍스트와 오디오 시퀀스는 처리하는데 높은 연산 비용과 시간이 필요합니다. 하지만 GTS는 노래의 장르나 아티스트에 관계없이 매우 일관된 결과를 만들면서도 속도와 품질을 포기하지 않습니다. GTS의 모델은 문장 수준에서 먼저 동기화를 예측을 하고 이후에 단어 수준에서 재귀적으로 처리를 하는 방법으로 전체 노래를 동기화하는 데 곡의 길이와 구조에 관계없이 5초 미만의 추론 시간과 약 99%의 정확도를 보입니다.

 

 

 

Gaudio Studio 베타 사용하기

 

 Gaudio Studio Beta

 

 

Gaudio Studio를 사용하면 누구나 악기 분리 및 노래방 기능을 사용해 좋아하는 노래의 트랙을 원하는 대로 쉽게 분리하고 공유할 수 있습니다. 게다가 노래방 버전도 바로 만들 수 있습니다. 아, 좋아하는 음악이 악기로만 구성되어 있더라도 걱정하지 않으셔도 됩니다. GSEP은 다양한 악기 유형마다 개별적으로 훈련되어 있기 때문에 원하시는 대로 분리해드리거든요!

 

가우디오 스튜디오는 누구나 언제든 어디서든 쉽게 서비스를 이용할 수 있도록 설계되었습니다. 무손실 포맷부터 압축 포맷(flac, wav, mp3, m4a 포함)까지 다양한 오디오 입력 형식을 지원하며, URL 링크만 간단히 입력하여 간편하게 분리할 수도 있습니다. 가우디오 스튜디오는 PC는 물론 모바일 기기를 통해서도 접속할 수 있기 때문에 뮤지션들 뿐만 아니라 취미로 가볍게 즐기고 싶은 분들도 손쉽게 이용할 수 있습니다.

 

가우디오랩의 GSEP과 GTS는 각 세계 최고의 기술, 세계 최초의 상용화 솔루션으로 평가받고 있습니다. 다만 아직 Beta 버전으로 제공하고 있는데요, 그만큼 발전될 여지가 많습니다.더 빠른 속도, 더 좋은 음질…, 이용자 분들이 원하시는 방향으로 계속해서 개선하는 작업을 진행하는 이유이기도 합니다. 추후 업데이트될 Gaudio Studio에서는 추가된 스템, 향상된 성능, 그리고 (아직은 비밀인) 다양한 기능들을 기대하셔도 좋다는 이야기를 자신있게 드리고 싶습니다!

 

 

 

직접 경험해 보세요.

 

가우디오랩에은 가우디오 스튜디오에 대한 여러분의 이야기를 기다리고 있습니다! 음원 채보를 위한 악기 분리, 세션 연습을 위한 맞춤형 반주 제작, 심지어 새로운 작품에서의 오마주를 위한 샘플을 추출하는 작업까지 다양하게 사용될 수 있거든요. 가끔 상상도 못 했던 활용 사례를 접하면 매우 놀라기도 합니다. :미소짓는_얼굴: 

 

그렇다면 여러분은 가우디오 스튜디오의 AI 음원 분리 기술을 어떻게 이용하실 건가요?

한번 직접 사용해 보고 저희에게도 살포시 알려주시길 기다리고 있겠습니다!

 

pre-image
최고의 동료, PIETICC에서 시작됩니다 Part 2

최고의 동료, PIETICC에서 시작됩니다 Part 2         가우디오랩의 HR 매니저 Heidi입니다.   지난 “최고의 동료, PIETICC에서 시작됩니다!” 글을 기억하시나요? 23년도부터 가우디오랩 HR은 ‘가우디다움’인 PIETICC을 실천한 가우딘을 칭찬하고 동기부여하기 위해 미니 시상식을 진행하고 있는데요, 앞선 글에서는 그중 네 부문(Teamwork, Communication, Integrity, Effective)의 수상자들을 소개해드렸습니다.   이어서 남은 세 부문의 수상자와 각자가 생각하는 PIETICC 정의부터 수상 소감까지 한 번 더 인터뷰를 해보았어요. Part 1에 이어 Part 2까지 읽고 나면 가우디오랩의 일하는 문화 - ‘가우디다움’을 더 잘 이해하게 되실 거랍니다.   (PIETICC과 지난 수상자가 궁금하신 분들은 Part 1 먼저 읽으시는 걸 추천드려요~ Part 1 바로가기)       그럼 본격적으로 3분의 PIETICCer를 만나볼까요?       <가우딘의 추천서>   추천 명절이나 송년회처럼 늘 반복되고 일상적으로 돌아오는 이벤트처럼 보이는 일이라도, Carol의 손을 타면 특별함이 가득 더해집니다. 본인의 일에 대한 역량과 수준도 뛰어나지만 무엇보다 일을 대하는 진심 어린 마음이 Compentence를 더욱 빛나게 한다고 생각합니다!   Carol은 OPS팀 매니저로서 회사 운영, 이벤트 등 다양한 역할과 책임을 담당하고 있습니다. (부캐가 30개가 넘는다고...) 그럼에도 불구하고 모든 일에 최선 그 이상을 고민하는 모습에 추천을 해주셨네요. Carol에게는 이러한 추천이 놀라우면서도 힘이 되었다고 합니다.   Carol: 사실 작년 말, 제 개인 OKR에 '주도적으로 Bottom-UP 할 수 있는 힙한 GAM'이라는 내용이 있었어요. 어떻게 보면 가장 평범한 일상의 운영 업무를 하는 OPS팀이지만 가우디오랩의 OPS는 달랐으면.. 하는 바람이 있어서 설정한 목표였습니다. "우리 회사 OPS팀은 이런 것도 하던데! 우리 회사 좋아!!"라는 말이 가우딘의 사담에 살짝 등장하면 좋겠다 싶은 마음이랄까요...ㅎㅎ 이번 Competence 선정이 그 목표를 이뤄가는 데 있어 조금 더 힘이 날 수 있게 해 준 것 같아요!   가우딘의 동기부여를 위한 목적으로 시작된 시상식인데, 그 취지가 잘 발현된 것 같아 기쁩니다. ^-^ 그렇다면 Carol이 생각하는 ‘Competence’에 대해서도 들어볼까요?   Carol: Competence하면 탁월한 지식수준과 역량을 보통 이야기하는데요, 전 아직 그 단계는 아닌 것 같고요! (하하^^ 되고 싶네요..) 저의 부족한 역량을 채워 발전시키려는 ‘노력’ 덕에 선정되지 않았을까 싶어요. 저의 업무는 루틴해보이는 일이지만 그 안에서는 매번 새로운 사건들이 발생하고 있거든요. 이를 해결하기 위해 "이게 최선일까?"를 되물어 가며 업무를 하고 있어요. 처음 겪는 일이다 보니, 사실 어떤 방법이 최선의 방법인지는 알 수 없어요. 그래서 여러 번 스스로 되물어 보면서 생각을 해보는 것 같아요.    매번 새롭고 최선의 방법을 찾기 위해 노력하는 Carol은 PIETICC 중에서도 Inventive 부문이 욕심난다고. 아무래도 최선의 답을 찾기 위해서는 끝까지 포기하지 않는 자세(엉덩이의 힘!)가 필요하기 때문인 것 같습니다. 이를 통해 궁극적으로는 PIETICC을 적당히 다 갖춘 사람이 되는 것이 목표라고 하니, 함께 응원해주세요.   Carol: 스스로 하고 싶은 일을 했을 때 좋은 피드백을 받는 것 같아요. 그리고 하고 싶은 일이 되려면 일에서 주는 재밌는 포인트가 있어야 하는데, 저는 창의적인 아이디어를 보고 듣고 생각했을 때 순간적으로 재미를 더 느끼는 것 같아요. 그래서 저 역시 창의적인 사람이 되어 더 많은 재밌는 일을 하고 싶습니다!   그리고 앞으로 저는 적당함을 업무에 적용하고 싶어요. PIETICC을 적당히 다 갖추면 좋잖아요. 어느 한 가지에 특화된 캐릭터보다는 두루두루 적당하여 팀전을 할 때 디폴트로 선택되는 그런 캐릭터요! 😊       다음으로 Inventive 부문 추천서를 만나볼까요?       <가우딘의 추천서>   이번 ‘프로듀스 OKA’ 프로그램을 체험하며 매회 놀라움의 연속이었어요.  처음 진행되는 프로그램임에도 구성과 내용이 정말 알차고 듣는 사람의 입장에서 고민을 많이 해주셨음을 느낄 수 있었어요. OKR은 아무리 쉽게 접근하려 해도 사실 어렵고 무겁게만 느껴지는 주제였는데 제 편견을 깨 주셔서 감사해요. 새로운 시각과 접근 방식을 심어주기 위해 많은 시간을 투자하셨을 것 같아, 끝까지 포기하지 않는 엉덩이를 가진 Heidi를 추천합니다!     감사하게도 저를 추천해 주셨네요. 하하. 추천서를 다시 읽으니 부끄러우면서도 기분이 좋네요. (웃음)   ‘프로듀스 OKA’ 프로그램에 대해 먼저 살짝 소개해드릴게요! 👩‍🏫 작년 하반기에 기획한 스터디 프로그램인데요, 각 팀에서 선정된 OKA (OKR Agent)와의 스터디를 통해 동료 팀원들을 도와 OKR를 더 잘 활용하고, 난도 높은 문제는 HR과 함께 답을 풀어나가고자 하는 목적에서 시작하게 되었습니다.    사실 프로그램을 준비하면서 고민이 많았어요. 다들 업무가 바쁜데 스터디가 반갑지 않으면 어쩌지? 하는 걱정이 들기도 했고요.(웃음) 그때마다 가우딘의 관점에서 생각해보면 좋겠다는 제 매니저 Dewey의 조언을 생각하면서, ‘가볍고 재미있게’ 참여할 수 있는 프로그램을 만들 수 있었던 것 같아요. 이처럼 가우딘이라는 고객의 관점에서 생각하다 보니 자연스럽게 Inventive를 실천할 수 있었던 게 아닐까 싶어요. 고객의 니즈와 Pain point에서 시작해 접근하면 그동안 하지 못했던 새로운 걸 하게 되는 거겠죠.   지속적으로 Inventive 함을 갖추기 위해 노력하는 것은 물론, 다음에도 기회가 있다면 Competence 부문을 노려보고 싶네요. 저는 이제 1년 차가 된 주니어 HR 담당자이다 보니, 부족한 부분이 정말 많아요. 그래서 부족한 부분들을 계속해서 채워 나가고, 같은 업무여도 늘 1%라도 개선하며 발전하는 사람이 되고 싶습니다!       드디어 대망의 마지막 PIETICCer를 공개합니다!     <가우딘의 추천서>   1인 2역을 소화하며 어떤 어려운 업무도 집념으로 해결해 내는 만능 해결사 Luke랍니다. 선례가 없는 일에도 최선책을 찾기 위해 각종 정부사업에 스스로 지원해 선정되거나, 주어진 일도 부숴(?) 버리고, 그를 넘어 항상 새로운 일을 생각하고 도전하는 Luke는 팀은 물론 전체 가우디오에도 긍정적인 영향을 주는 것 같아요. 시킨 일도 시키지 않은 일도 무한 소화해 버리는 그를 인간 활명수로 임명하고 싶습니다! 😊     Proactive를 실천한 마지막 수상자는 바로 Luke입니다! 마케팅과 BD 두 가지 업무를 소화하며 언제나 바삐 움직이는 ‘인간 활명수’ Luke의 수상 소감도 안 들어볼 수 없겠죠?   Luke: 올레길에 걸려있는 포스터를 보면서 '저곳에 얼굴을 걸고 싶다'라는 사소하고 비밀스러운 욕심이 있었는데요, 드디어 그럴 수 있는 기회가 생겨 기쁩니다. 특히 제가 중요하게 생각하는 Proactive 상이어서 더욱 의미가 깊은 것 같습니다.   스스로 중요하게 여기는 부문에서 인정을 받아 정말 기쁠 것 같아요! 평소에도 Proactive에 대해 많이 고민하셨을 텐데, Luke가 정의하는 Proactive가 궁금하네요.🧐   Luke: 저는 호기심이 많은 편입니다. 그래서 재미있어 보이는 일이 있으면 일단 달려들고 보는 버릇이 있는데요, 이런 면이 Proactive함과 맞닿아 있는 것 같습니다. 회사 일이다 보니 재미없는 일에 나서야 할 때도 있지만, 이럴 때는 '내가 해버리면 동료들은 편하겠지'라는 동료애로 움직이기도 합니다. 길가에 버려진 쓰레기를 내가 약간만 힘들여 주우면 앞으로 그 길을 걸을 수백 명의 사람이 기분 좋게 걸을 수 있듯이, 내 작은 노력으로 많은 사람들이 행복할 수 있다는 생각으로 기꺼이 앞으로 나서는 마음이 Proactive가 아닐까? 생각합니다.   일상생활에서도 Proactive함이 묻어나는 Luke는 저와 동일하게 Competence가 욕심이 난다고 하네요. 앞으로 더 다양한 기회를 통해서 성장하는 사람이 되고 싶은 Luke를 응원해주세요! 마지막으로 Luke의 멋진 포부 함께 보시죠!   Luke: 저는 가우디오랩이라는 비행기가 더 높이 날아오를 수 있도록 활주로를 닦는 역할을 하고 있다고 생각합니다. 모두가 함께 정성 들여 만든 비행기가 높은 하늘을 향해 훨훨 날아갈 수 있도록, 앞으로도 최선을 다해보고 싶습니다. 그 과정에서 저라는 개인도 날아오를 수 있도록 열심히 해보겠습니다.🔥         7개월 간 진행된 미니 시상식 ‘이달의 PIETICCer’ 2023년 버전이 이렇게 막을 내렸습니다. 가우디다움에 대한 이해도가 조금은 더 높아지셨나요? ^^ 제자리에 안주하지 않고 항상 맡은 역할을 넘어 최선을 다하는 가우딘들을 보니, 이런 동료들과 함께할 수 있다는 사실에 새삼 감사한 마음이 듭니다.   이런 문화에서 일해보고 싶으시다면, [오픈 포지션]을 확인해 지원해주세요.😎 앗, 오픈된 포지션이 없다고요? [인재풀 등록]에 정보를 입력해주시면 해당 포지션이 오픈될 때 가장 우선적으로 검토된답니다.   가우디오랩에서 뜨겁고 즐거운 성장, 함께 해보아요!🤗

2024.01.29
after-image
깨끗한 음성을 향한 가우디오랩의 끊임없는 도전 - Just Voice Lite 출시

  너의 목소리를 더 잘 듣고 싶어   Bam! Bang! Tat tat tat tat I’m out, I need another ??? ??? anybody ??? ???   안녕하세요, Just Voice Lite의 제품 책임자 하워드입니다. 전쟁 영화 속 한 장면에서 폭탄이 터지는 소리로 가득 찬 상황을 상상해 보세요.   화면 속 주인공들이 대화를 나누지만, 폭탄과 총성, 그리고 너무 큰 배경음악으로 인해 거의 들리지 않기도 합니다. 이런 상황에서 우리는 배우들의 목소리를 더욱 잘 듣고 싶어 합니다. 현장감을 높이기 위해 음향 감독이 추가한 효과음과 배경음악이 정작 중요한 배우들의 목소리를 덮어버려, 이야기의 중요한 부분을 놓치곤 하죠.   이때 대사를 더 잘 듣기 위해 오디오 볼륨을 키운다면 어떤 일이 발생할까요?   전체적인 음량이 더욱 커져서 당신의 고막(eardrum)이 찢어질 듯 고통받을 수 있습니다. 특히 당신이 이어폰이나 헤드폰을 착용 중인 상황이라면요. 이미 볼륨이 너무 커서 대사를 위해 소리를 더 키우지도 못하고, 그렇다고 소리를 줄이자니 대사가 거의 들리지 않게 되기 대문에 아이러니한 상황에 놓이게 됩니다. 결국 한국어 영화도 자막에 의존하여 시청하는 경우가 생기게 되죠.     내가 원한 건 이런 게 아닌데…   이와 같은 상황에서 배우의 목소리만 콕 집어내어 더욱 명료하게 들을 수 있는 아름다운 기술이 있다면 얼마나 좋을까요?   아니, 애초에 콘텐츠가 대사 명료도의 관점에서 더욱 잘 제작되었다면 이러한 고민도 할 필요가 없었을 텐데 말이죠. 콘텐츠의 본질을 담아내고자 하는 예술가와 대사를 잘 듣고 싶어 하는 현실 관객의 입장은 언제나 다르기 마련입니다.     비단 영화뿐일까요?   우리는 종종 좋지 않은 환경에서 녹음된 콘서트 실황이나 시끄러운 환경에서 녹화된 여행 유튜버 영상, 자전거/자동차 동호회 주행 영상 등을 볼 때에 화자의 목소리를 더 잘 듣기 위해 모든 신경을 곤두세우곤 합니다. 파도가 밀려오는 경치 좋은 바닷가나 야외 커피숍에서 여자/남자 친구에게 화상통화로 기타를 치며 노래를 부르는 상황이라면 어떨까요?   소음이나 잡음 때문에 우리가 좋아하는 사람의 목소리를 듣기가 어려울 때, 그 공간에 있는 상대의 목소리를 조금 더 잘 듣고 싶을 때, 우리는 더 나은 청취 경험을 위한 해결책을 찾게 됩니다.   이런 갈증을 해소하기 위해 등장한 것이 바로 목소리 강화 어플리케이션 Just Voice 입니다. 🤓       On-device AI를 활용한 실시간 처리   아주 조금만 기술적인 이야기를 해볼게요.   그렇다면 도대체 이 문제를 어떻게 해결할 수 있을까요?   혹자는 말하겠죠. 리모컨에 볼륨업 버튼을 추가해서 목소리만 키워주면 되지 않을까요? 웃기고 있으시네!   그게 어디 말처럼 쉬운 가요? 기술적으로 본다면 이러한 동작은 수 밀리 초(millisecond, 1000분의 1초) 안에 처리되어야 합니다. 내가 보는 영상에서 실시간으로 처리해야 하기 때문이죠. 즉, 소리가 나오는 족족 목소리만 분리해서 잘 들리게 처리한 후 다시 여러분에게 내보냈을 때, 영상과 소리의 싱크가 그대로 정확히 맞아야한다는 의미입니다.     하지만 가우디오랩 연구진이 출동한다면 어떨까요?   약 2년 동안의 길고 긴 연구 끝에 이 어려운 기술을 가우디오랩에서 완성했어요!   세계최고 수준의 음성 분리 기술 GSEP(Gaudio Source Separation) 기술과 On-device AI 기술을 활용하여 실시간으로 음성 명료도를 향상하는 엔진, Low Delay GSEP을 탄생시킨 것이죠.(보다 정확히 말하자면 30ms 이내로 처리합니다.) 이 기술은 주변 소음을 제거하고, 원하는 목소리를 강조하여 목소리만 듣기 쉽게 만들어 줍니다. 아 물론, 실시간으로 처리하기 위해서 비실시간 음성 분리 기술인 GSEP 대비 약간의, 아주 약간의 성능저하를 감수하긴 하였습니다.   이 기술을 활용하면, 당신이 소비하는 모든 동영상 콘텐츠 내에 있는 환경음이나 배경음악에 방해받지 않고 목소리를 더욱 또렷하게 들을 수 있습니다. 그리고 저희는 이것이 콘텐츠를 내가 원하는대로 즐기고자 하는 모든 이들에게 보다 나은 청취 경험을 제공할 것으로 믿습니다.       macOS용 Just Voice Lite를 경험해보세요   Just Voice Lite를 사용해 보세요!   Low Delay GSEP을 활용한 Just Voice 앱 시리즈 중 첫 번째, 실시간 목소리 강화 앱 Just Voice Lite를 출시했습니다.   macOS 이용자라면 Just Voice Lite 앱을 통해 화상 회의, 영화 시청, 음악 감상 등 소리가 나는 모든 환경에서 목소리의 명료도를 향상할 수 있습니다. 또한, 콘텐츠의 주변 음은 그대로 둔 채로 목소리만 더욱 크게 들을 수 있도록 설계되었기 때문에, 제작자가 의도한 음향 효과를 포기하지 않고 콘텐츠를 온전히 즐길 수 있습니다.     얼마냐고요?   Just Voice Lite는 무료로 이용가능한 앱입니다.   냉정하게 말하자면 Just Voice Lite란 콘텐츠에서 목소리만 분리해서 음량을 조금 더 키워준 것에 불과하죠. 하지만 이 기술은 무한한 잠재력을 가지고 있습니다.   분리한 목소리를 실시간으로 변조한다면 어떨까요? 울리는 공간에서 녹음한 콘텐츠를 실시간으로 목소리의 피치 조절(Pitch Shift)이나 잔향 제거(De-reverberation) 처리를 할 수도 있고요. 아니면 목소리를 분리하고 난 환경 음들에 가우디오랩이 자랑하는 공간음향기술(GSA, Gaudio Spatial Audio)을 실시간으로 적용해본다면 어떨까요? 내가 원하는 모습으로 오디오 공간감이 확 살아나지 않을까요?   예술가가 찍어낸 콘텐츠를 일방적으로 소비하고 끝내는 게 아닌, 실시간으로 콘텐츠의 요소를 조절하며 들을 수 있는 관객의 자유. 그런 자유에 가치를 매긴다고 한다면 당신은 앞으로 얼마까지 지불할 생각인가요? 관객의 자유로운 콘텐츠 소비를 서포트하기 위한 끊임없는 도전이 메타버스 오디오를 향하고 있는 가우디오랩의 지향점입니다.       "우리도 On-device로 처리하고 싶어요"   Just Voice SDK가 필요하다고요?   당신이 개발자라면 희소식이 있어요. On-device에서 음성 명료도를 향상 해주는 엔진인 Just Voice SDK도 준비해 두었습니다. 보청기용 소프트웨어, 화상회의용 시스템, AICC(AI Contact Center), 언어 학습 등에서 음성 명료도 향상을 위한 오디오 엔진이 필요하다면, 어려워하지 마시고 연락 주세요.   아! 물론 Just Voice Lite 앱은 음성을 더욱 크게 듣는 용도로 개발되었지만, Just Voice SDK는 주변 노이즈를 완전히 없애버리는 노이즈 저감(De-noise)도 가능해요. 어떻게 활용 할지에 대한 선택은 오직 사용자 당신에게 있습니다.     아니 그건 그렇고 Just Voice Lite를 아직도 사용해 본 적 없다고요?   macOS를 사용하는 당신이라면 언제든 시도해 보세요. 당신이 듣고 싶은 목소리를 더욱 선명하게 만들어줄 오디오의 미래, 지금 경험해 보세요!   🔗앱스토어 바로가기  

2024.03.08