회고 인터뷰 | 소음 잡는 녹음 앱 Just Voice Recorder, 이렇게 만들었습니다
지난 5월 20일, 가우디오랩에서 개발한 AI 소음 제거 녹음 앱 ‘Just Voice Recorder’가 앱스토어에 공개되었습니다. 녹음기 앱에서는 흔하지 않던 ‘AI 소음 제거’ 기능을 탑재했기 때문일까요? 사전 예약부터 많은 기대를 받으며 성공적인 앱스토어 데뷔를 마칠 수 있었습니다.
오늘은 Just Voice Recorder 앱의 PO인 Jin과의 인터뷰를 통해 Just Voice Recorder 앱을 더욱 잘 사용할 수 있는 꿀팁부터 앱 개발 과정의 비하인드 스토리까지 유저 여러분에게 공개하려고 합니다.
Q. 자기소개부터 시작할까요?
안녕하세요, 가우디오랩 Service and App (이하 SNA) 팀에서 PO를 맡고 있는 Jin입니다. 여러 업계를 거치며 8년 정도 PO/PM 경험을 쌓고 가우디오랩에 합류하게 되었습니다.
Q. 가우디오랩에 합류한 후 첫 모바일 앱을 출시하게 된 소감은 어떠신가요?
물론 매우 뿌듯합니다. 그동안 고생했던 시간이 생각나면서 감회가 새롭네요. 기쁜 마음이 큰 만큼 아쉬움도 많은 것이 사실입니다. 아무래도 여러 가지 제약이 있다 보니 니즈를 완벽히 반영하지 못한 것 같아 아쉬움이 있어요. 이 아쉬움은 계속된 업데이트로 해결하고자 합니다.
Q. 오늘의 주인공, Just Voice Recorder는 어떤 앱인가요?
Just Voice Recorder는 가우디오랩의 강력한 소음 제거 AI 기술을 탑재한 녹음 앱입니다. 목소리를 제외한 배경 소음을 제거해 주기 때문에 소음이 함께 녹음되는 환경에서도 목소리를 깨끗하게 들을 수 있습니다. 또한 Just Voice Recorder에 활용된 소음 제거 AI는 서버로 녹음 데이터가 전송되지 않고 온디바이스 환경에서 구동되기 때문에, 보안이 중요하거나 개인적인 녹음에도 마음 편히 활용하실 수 있다는 장점이 있습니다.
Q. Just Voice Recorder는 어떤 분들이 활용하시면 좋을까요?
녹음이 필요한 상황이다? 무조건 Just Voice Recorder를 떠올리시면 돼요. 일단 장소와 시간에 상관없이 녹음하신 후 Just Voice Recorder를 통해 소음이나 음량 등의 문제를 처리하시면 됩니다.
조금 더 세부적으로 말씀드리자면 강의 녹음을 많이 하는 학생, 혹은 직업 특성상 녹음을 많이 하는 크리에이터나 기자 등에게 추천해 드리고 싶어요. 학생이라면 강의실에서 발생하는 키보드 소음, 에어컨 소리 등을 제거하여 뒷자리에서 녹음한 내용도 뚜렷이 담으실 수 있을 거예요. 크리에이터라면 전문 장비 없이도 언제 어디서나 선명한 목소리를 담으실 수 있습니다.
Q. Just Voice Recorder는 어떻게 시작되었나요?
아이디어가 나온 순간부터 만들기로 결심한 순간까지의 스토리가 궁금합니다
*GSEP-HQ 기술을 적용한 모바일 앱을 만들어보자’가 아이디어의 시작이었습니다. GSEP-HQ 기술은 음원에서 악기나 보컬을 분리하기 위해 만들어진 기술이고 현재도 많은 유저들의 사랑을 받고 있는 가우디오 스튜디오에서 사용되고 있는 기술입니다. 하지만 가우디오 스튜디오는 웹 서비스이기 때문에 서버에서 구동할 수밖에 없는 한계가 있죠. 그래서 요즘 핫한 기술 트렌드인 on-device AI에 맞게 모바일 앱에서 구현해 보고자 했습니다. 이에 맞춰 유저가 느낄 수 있는 가치가 가장 명확하고, 가장 쉽게 만들 수 있다고 생각했던 (사실 하나도 쉽지 않았지만) 녹음기 앱을 개발하기로 했습니다.
*GSEP: 가우디오랩에서 개발한 음원 분리 기술로, 실시간 처리가 가능한 GSEP-LD와 더 높은 품질의 음원 분리가 가능한 GSEP-HQ가 있다. GSEP-LD는 Just Voice Lite를 통해 체험해볼 수 있다. (GSEP 자세히 보기)
Q. Just Voice Recorder가 제공하는 가장 큰 가치는 무엇인가요?
Just Voice Recorder는 유저가 실제 경험하는 문제를 해결하는 것을 가장 큰 목표로 가지고 있습니다. 세상에 녹음할 수 있는 앱은 많고, 클로바 노트처럼 다양한 편의 제공하는 앱도 많습니다. 하지만 녹음 시 발생하는 소음의 문제, 더 나아가 ‘잘 들리지 않는’ 문제를 해결해 주는 앱은 많지 않다고 봤습니다. 이렇게 충족되지 않은 유저의 니즈를 해결하기에 가우디오랩의 GSEP-HQ 기술이 적합하다고 생각했고요. 가지고 있는 기술로 유저의 문제를 해결할 수 있는, 기술과 문제의 핏이 좋은 분야라고 생각했습니다.
Q. Just Voice Recorder의 가장 중요한 기능을 하나만 꼽는다면?
강력한 음원 분리 기술에 기반한 노이즈 제거 기능이라고 생각합니다. 사실 아이폰 기본 녹음 앱에도 노이즈를 감소시켜 주는 기능이 있긴 합니다. 기본 앱으로 녹음된 음성을 재생할 때 소음을 줄일 수 있어요. 하지만 소음 제거만 놓고 봤을 때는 Just Voice Recorder가 더 낫다고 자신합니다. 정말 지저분한 잡음이 신기하게 없어지거든요.
물론 아직 가야 할 길은 많이 남아있습니다. 주변 소음이 목소리보다 크거나 녹음된 음성이 작으면 잘 분리가 되지 않거든요. 처리하는 데 걸리는 시간도 상당하고요. 하지만 지금 순간에도 연구 개발을 진행하고 있기 때문에 빠른 시일 안에 개선할 수 있을 것이라고 기대하고 있습니다.
Q. 앞서 앱 개발 과정에서 많은 우여곡절이 있었다고 언급해 주셨습니다.
가장 기억에 남는 에피소드를 하나 공유해 주신다면요?
소음 제거에 사용되는 AI 모델을 결정하는 과정이 가장 기억에 남습니다. 처음 앱 개발을 시작했을 때는 GSEP-HQ를 모바일 환경에서 사용할 수 있는 준비가 되어있지 않았습니다. 대안으로 이미 개발된 Just Voice SDK를 이용해 앱 개발을 진행하고, GSEP-HQ가 준비되는 대로 갈아 끼우는 방법을 선택했습니다.
하지만 간과했던 문제가 있었는데요, Just Voice SDK에서는 CPU 환경에서 실시간 처리가 가능한 반면, GSEP-HQ는 GPU를 활용해야 한다는 점이었습니다. 또한 Just Voice SDK에 비해 처리 시간이 길어져 실시간 처리를 포기해야 한다는 것도 문제였습니다. 이 과정의 의사 결정이 길어지면서 양쪽을 다 대응하며 개발해야 하는 상황에 부닥치게 되었는데요, 의사결정을 조금 더 빠르게 했더라면 좀 더 효율적인 개발이 되지 않았을까 하는 회고를 팀 내에서 함께 하기도 했습니다.
Q. 이번에 안드로이드 버전 없이 iOS 버전만 출시되었습니다. 어떤 배경이 있나요?
사실 사전 예약 참가자가 60% 이상 안드로이드 유저였습니다. 그만큼 큰 유저 풀을 포기해야 했기 때문에 저희로서도 큰 결단을 내려야 했던 사안이었습니다. 기본적으로 Just Voice Recorder는 Flutter 기반으로 구축되어 있기 때문에 안드로이드와 iOS 모두 지원할 수 있도록 개발되었습니다. 하지만 앞서 말씀드린 GSEP-HQ 모델을 적용하는 과정에서 안드로이드에서만 유독 UI가 버벅대는 문제가 발견되었습니다. GPU 점유율이 높아서 발생하는 문제였죠. 안드로이드와 iOS의 구조적 차이로 발생하는 문제이기에 원하는 만큼 모델을 최적화하기에는 상당한 시간이 소요될 것으로 판단되어 iOS 버전을 먼저 출시하기로 했습니다.
Q. Just Voice Recorder 앱의 다음 스텝은 무엇인가요?
추가하고 싶은 기능이라면 아주 많이 있습니다. 초반 기획에 포함되었던 내보내기 (Export) 시에 배경 소음의 음량을 조절하는 기능이라든지, 유저 가치가 큰 STT(Sound to Text) 기능, 녹음 파일 편집 기능 등을 고려하고 있습니다. 플랫폼 확장도 고려하고 있어서 다음 스텝으로 아이패드와 애플워치용 앱도 고민 중입니다.
하지만 기능을 추가하는 것보다는 앱의 기본에 충실하는 것에 우선순위를 두어야 한다고 생각하고, 그중에서도 최고 수준의 소음 제거와 안정적인 앱 구동을 가장 크게 염두에 두고 있습니다.
첫 번째로 개선하고자 하는 부분은 소음이 제거될 때까지 앱을 켠 채 예상보다 오랜 시간을 기다려야 한다는 문제입니다.입니다. 실시간 처리가 가능한 Just Voice SDK를 활용한다면 해결할 수 있는 문제지만, Just Voice Recorder의 가치는 최고 수준의 소음 제거에 있다고 생각했기 때문에 속도를 포기하고 성능을 택한 것이죠. 지금은 유저의 반응을 모니터링하면서 속도와 성능의 sweet spot을 찾기 위해, 그리고 이에 맞춰 모델을 개선하여 속도를 끌어올리기 위해 노력하고 있습니다.
다음 문제는 목소리가 작은 경우에 분리 성능이 떨어질 수 있다는 점입니다. 이것은 악기 분리를 위해 개발된 GSEP-HQ 엔진의 태생적인 한계이기도 합니다. 이러한 한계를 극복하기 위해 R&D팀과 지속적으로 소통하며 문제 해결을 위한 계획을 세우고 있고, 최대한 빠른 시일 내에 Just Voice Recorder에 적용되어 어떤 크기의 목소리라도 깔끔하게 분리해 낼 수 있는 앱이 될 수 있도록 박차를 가하겠습니다.
Q. 앱을 출시하고 약 1개월 정도의 시간이 지났습니다.
지금까지를 간략하게 회고해 본다면 어떻게 정리하실 수 있을까요?
여러 가우딘들이 발 벗고 나 서주신 덕분에 수많은 어려움에도 불구하고 마무리할 수 있었던 프로젝트였다고 생각합니다. 이 자리를 빌려서 도움을 주신 가우딘들에게 감사하다는 말씀드리고 싶습니다.
Just Voice Recorder를 개발하면서 가장 많이 고민한 부분은 ‘과연 이 앱이 유저가 실제로 경험하고 있는 문제를 해결하고 있는가’ 하는 물음이었습니다. 아직도 확신을 가지기는 어려운 물음이기도 하고요. 그래도 앱을 유저 앞에 선보인 이상, 차근차근 유저 반응을 살피고 데이터를 분석해보며 답을 찾아나갈 수 밖에 없다고 생각합니다.
그리고 가우디오랩의 기술을 모바일 환경에서도, 그리고 B2C 환경에서도 충분히 활용할 수 있다는 가능성을 확인해 봤다는 것도 큰 성과라고 생각합니다.
🎙️ 마무리하며
Mac에서 사용 가능한 Just Voice Lite에 이어 iPhone용 앱인 Just Voice Recorder까지, 가우디오랩은 소리가 있는 어디라도 혁신적인 소리 경험을 제공하기 위해 꾸준히 도전의 영역을 넓혀나가고 있습니다.
PO인 Jin의 솔직한 인터뷰를 통해 Just Voice 앱의 개발 비하인드부터 한계점까지 자세히 알아볼 수 있었는데요, 계속 발전해 나가는 Just Voice Recorder 앱이 궁금해지지 않으셨나요?
그렇다면 아래 링크를 통해 바로 앱스토어로 이동해서 다운로드해 보세요. 새로운 녹음의 세계가 여러분을 기다리고 있습니다. >> https://apps.apple.com/kr/app/just-voice-recorder/id6479693805