생성AI가 만든 소리가 담긴 최초의 오디오북! 이걸 AI가 만들었다고요? 직접 들어보기!
내가 원하는 소리, 이제 AI가 만들어준다고?
안녕하세요, 저는 가우디오랩의 사운드엔지니어인 Bright 입니다 🌟
효과음 탐색작업은 다양한 소리를 만들어야하는 사운드 엔지니어에게는 숙명과도 같은 정말 지루한 일이 아닐 수 없습니다. 전체 작업 시간의 거의 1/3 이상을 차지하는 이 작업은... 마치 따뜻한 아이스 아메리카노를 찾는 것과도 같고 모던 하면서 클래식한 디자인 요소를 찾는 듯한 느낌이라고 할까요? 😇 클라이언트의 마음에 드는 소리가, 또 내가 원하는 소리가 한 번의 검색에 딱! 나올 확률은 정말 극히 드뭅니다.
결국 해당 장면에 딱 어울리는 소리를 찾기 위해서 저와 같은 사운드 노마드들은 오늘도 열심히 사운드 이펙트 라이브러리에서 긴 여정을 떠나고 있었습니다.. 지금까지는요!
ChatGPT와 같은 생성형 AI의 시대에, 왜 소리를 생성해주는 AI 는 없을까? 우리는 고민했습니다. 그리고 이제 사운드 엔지니어로서 자랑스럽게 소개합니다, AI가 소리를 생성해주는 FALL-E(폴리) 입니다! (짝짝짝 👏🏻)
그리고 올해, FALL-E가 생성해 낸 소리가 오디오북에 담겨 세상의 빛을 보게 되었습니다. 그게 어떻게 된 것이냐고요?
생성형 AI가 만든 효과음이 적용된 최초의 오디오 북!
가우디오랩은 오디언(오디언소리)의 여름 한정 스릴러 컬렉션인 <사건 보고서>에 기술을 제공하고 있습니다. 코난, 강백호 등으로 대표되는 강수진 성우님께서 전체 디렉팅을 담당하시기도 해서 매번 화제로 떠오르고 있죠. 가우디오랩의 자랑인 공간음향 기술을 적용해 스릴러의 장르적 특징을 부각하며, 몰입감과 현장감을 생생하게 느꼈다는 후기들을 보기도 했습니다. (실제로 해당 작업을 했던 저는 매우 뿌듯했죠.)
올해 <사건 보고서>는 뭔가 더 달라졌습니다. 가우디오랩의 공간음향 기술 뿐만아니라, 앞서 소개한 사운드 생성 AI인 FALL-E 로 만든 사운드 효과들이 함께 담겼기 때문이죠! 세계 최초로 오디오 북에 생성형 AI로 만든 효과음들이 담긴 셈입니다!!
사운드 엔지니어로서 AI가 만들어낸 소리에 대해 반신반의했던 저도 깜짝 놀랐습니다.
“아무리 좋아봐야 녹음된 소리만큼 좋겠어?”라는 스스로의 질문에 “그렇네..”하고 인정할 수 밖에 없었거든요.
한번 들어보실래요?
어떠셨나요? 저는 처음에 샘플을 듣고 무척 놀랐습니다. AI가 소리를 생성한다는 이야기를 들었을 때, 사운드 엔지니어로서 음질적인 측면을 우려했던것도 사실이었거든요.
하지만 들으신 바와 같이 실제 녹음된 소리와 비교해도 다른 점을 찾기 어려운 정도로 고품질의 소리를 만들어 내고 있었습니다. 게다가 FALL-E는 일부 제한된 소리만 생성할 수 있는 타 생성형 AI와는 달리, 어떤 소리든 만들어 낼 수 있다고 해요. (10만 시간 이상의 트레이닝 데이터가 투입되었다고 합니다.)
사건보고서 제작기는 위 영상으로 확인하세요!
<사건보고서>에 대한 이야기를 조금 더 드려볼게요.
이번 작품 중 <백시>를 예로 들자면, 이 작품은 눈보라가 아주 강하게 휘몰아치는 설산에서 이야기가 진행됩니다. 그 와중에 제설차, 눈보라, 눈사태 등 여러 오브젝트(소리 객체라고 할 수 있죠)가 등장합니다. 원래라면 저는 이에 맞는 사운드를 일일이 찾고 비교 대조해 들어보며 많은 시간을 들여야 했을 겁니다. 게다가 제설차 소리, 눈보라, 눈사태 소리는 일상 속에서 쉽게 들을 수 있는 소리가 아니기 때문에, 소리를 만들기가 참 까다로울 수밖에 없었습니다. 비슷한 소리를 효과음 라이브러리에서 열심히 찾고, 그래도 알맞은 소리가 없다면 여러 매체를 참고하며 만들어내기도 했을테지요.
하지만 FALL-E 에게 해당 소리를 생성할 수 있도록 프롬프트를 주었더니, 이런 효과음들을 만들어줬습니다.
폴리가 만들어 낸 소리, 아주 신기합니다!
생성형 AI로 세상에 단 하나 뿐인 소리 만들기
FALL-E는 프롬프트 기반으로 생성형 AI 모델이 새로운 소리를 만들어냅니다. 원하는 소리를 일일이 라이브러리에서 찾는 것이 아니라, 바로 명령어를 입력하면 되기 때문에 작업시간이 현저히 줄어들 수 있었습니다. 또한 이름 그대로 Generative AI(생성형 AI)인 만큼, 매번 다른 소리를 만들어 냅니다. 내가 만들고 싶은, 세상에서 단 하나 뿐인 소리가 만들어지는 것이죠.
제가 빗소리를 참 좋아하는데요, 제가 좋아하는 빗소리를 여러개 만들어 봤어요. 소리를 ‘생성’ 할 때마다, 프롬프트를 다르게 줄 때마다, 각 어떻게 변하는지 한번 들어보세요.
마치며..
사운드 작업을 할 때 효과음 라이브러리를 켜놓고 몇 시간 동안 지루한 마우스 클릭으로 찾고 또 찾는 것이 아닌, 소리 생성 AI인 FALL-E와 대화하고 있는 제 자신. 사운드 엔지니어로서 늘 상상만 했던 이런 순간을 경험하고 있다는 것이 정말 놀라울 따름입니다. 그동안 매 작업마다 내가 원하는 소리를 바로바로 만들어 낼 수 있다면 정말 좋겠다.. 하고 간절히 바라왔거든요.
저는 가우디오랩의 사운드 엔지니어로서 무척 신나고, 또 많은 분들이 FALL-E를 쓰실 그 날이 기대되는 하루하루를 보내고 있습니다. ☺️ FALL-E는 여러분께 더 멋진 모습으로 다가갈 수 있도록 현재도 꾸준히 업그레이드 되고 있습니다. 여러분들께 공개 되는 그 날까지 조금만 기다려주세요!