개발환경과 빌드(1)

Here, There, and Everywhere: The Effect of Multichannel Audio on Presence J. Freeman & J. Lessiter Psychology DepartmentGoldsmiths CollegeUniversity of LondonUK Proceedings of the 2001 International Conference on Auditory Display, Espoo, Finland, July 29 – August 1, 2001     실재감 (Presence, Being there) 의 느낌은 VR/AR을 연구하는 사람들에게 가장 중요한 개념 중 하나입니다. 결국 어떠한 시스템을 통해 한 경험이 실제의 경험처럼 느껴지려면 의식적이든 무의식적이든 체험자의 감각으로 들어온 자극들이 실제 세계에서의 그것과 동일하거나 유사해야 합니다.   이 논문에서는 그것을 다각적 미디어 시스템 (multi-modal media system) 중오디오 디스플레이의 성능을 평가하는 척도 (metric) 로 사용할 것을 제안합니다. 꽤나 오래전 논문이긴 하지만, 3-D 오디오를 이용한 몰입감있는 경험을 제공하고자 하는 가우디오에서는 한번 읽어볼 만한 논문이라 이렇게 시작을 해 봅니다. 이후에도 관련 내용들을 시리즈처럼 엮어볼까 합니다.   보통 논문을 읽으면서 소개 (introduction) 부분을 거의 읽지 않는데, 재밌는 내용이 있어서 일단 그 이야기를 먼저 시작해 볼까 합니다. B. Reeves와 C. Nass 의 연구에 따르면 사람들은 어느 정도 좀 품질이 떨어지는 시각적 형상에 대해서는 용인하고 넘어간다고 합니다. 그 이유가 우리가 받아들이는 시각 영상들은 그 대부분이 주변 시야이고, 이 주변 시야는 해상도가 낮기 때문이라는 거죠. 반면, 열화된 충실도의 오디오는 상대적으로 덜 익숙한 경험이기 때문에 이를 쉽게 용인하지 못한다고 합니다. [1]물론 다각적 미디어 시스템에서 어느 하나 중요하지 않은 자극은 없겠지만, 우리가 생각하는 것보다 오디오 신호의 품질은 사람들의 몰입감, 실재감에 많은 영향을 미치고 있다는 걸 알 수 있겠네요.   이 논문이 밝혀보고자 하는 목표는 다음과 같습니다. 재생되는 오디오 채널의 숫자가 실재감에 주는 영향, bass 신호가 실재감에 주는 영향, 소리의 크기 (volume) 이 실재감에 주는 영향   이런 요소들이 실재감에 주는 영향을 밝혀보기 위해 가설 (hypothesis) 을 몇 가지 세웠습니다.   5 채널 시스템은 2 채널 시스템보다 훨씬 더 정확한 공간을 재현할 것이고, 피실험자들은 더 높은 실재감을 경험하며, 5채널 시스템의 오디오 품질에 더 높은 점수를 부여할 것이다. 저역 신호를 포함한 오디오 신호는 부가적인 감각 자극을 만들어 낼 것이며, 이는 자극에 진동을 추가로 제공하는 형태가 될 것이다. 따라서 저역 신호를 포함한 오디오 신호는 더 높은 평가를 받을 것이다. 오디오 신호의 가공은 제시된 시각적 자극에 대한 평가를 향상시킬 것이다. 저역 신호의 기여도와 청각/시각적 특징에 대한 평가는 전체적인 소리크기의 증가에만 기인하는 것은 아닐 것이다.   일단 이렇게 가설들을 정리해 놓고 실험을 진행했네요. 실험방법은 아래와 같습니다. 30명의 참가자 신호는 2.0 (stereo), 2.1 (stereo with bass), 2.0_control (2.1 신호와 동일하게 음량을 맞춘 2.0 신호), 5.0, 5.1, 5.0_control 로 구성 rally car 운행할 때 발생하는 소리들 (engine noise, gear noise 등)을 사용 영상은 28인치 텔레비전으로 제공 whitout bass 는 기본적으로 pink noise를 사용했을 때 70dB SPL, with bass 는 83/84 dB SPL 의 음량이 되도록 생성 2.0 신호를 기반으로 2.1, 2.0_control, 5.0, 5.1, 5.0_control 신호를 쌍비교 (pair-wise comparison) 저자의 research group 에서 개발한 ITC-SOPI (ITC-Sense of Presence Inventory), The Media Experience Questionnaire 를 완성하도록 피실험자들에게 요청.   ITC-SOPI는 총 44개의 항목으로 구성된 실재감 질문지(1점 매우 불일치 – 5점 매우 일치 스케일을 갖고 있음) Sense of Physical space 에 관련된 19개의 항목 Engagement – sense of involvement 에 관련된 13개의 항목 Ecological Validity – sense of naturalness에 관련된 5개의 항목 Negative Effect 에 관련된 6개의 항목 합산하면 43개인데, 1개가 빠진 건지, 항목 개수가 잘못된 건지 모르겠네요.   Media Experience Questionnaire는 총 18개의 항목으로 구성 오디오 신호에 대해서 1) excitement, 2) spaciousness/surrounding, 3) full/completeness, 4) clarity, 5) loudness, 6) uncomfortableness of volume, 7) audibility of extraneous sounds, 8) fidelity/quality, 9) enjoyableness 에 대해 평가 비디오 신호에 대해서 1) uncomfortableness, 2) depth/3Dness, 3) excitement, 4) fidelity/quality, 5) enjoyableness에 대해 평가 이후 overall quality 에 대한 평가를 추가로 진행 그럼 결과를 한번 살펴보지요. 역시 그래프가 결과를 한눈에 보여주기에는 제일 쉬운 방법이라 그래프로 한번 먼저 보고 가겠습니다. Figure 1. The effects of bass and channel manipulations on (a)Sense of Physical Space, (b) Engagement, (c)Ecological Validity, and (d) Negative Effects   그래프에 따로 신뢰구간이나 분산값이 표현되어 있지 않은 이유는 ANOVA (Analysis of Variance) 를 통해서 해당 결과의 신뢰도를 따로 제공했기 때문입니다. ITC-SOPI 의 네 가지 평가 요소 중, Sense of Physical Space와 Engagement는 bass 신호가 포함된 경우 유의미한 개선이 있음을 확인할 수 있습니다.   각각 (F(1,29) = 11.12, p<0.01), F(1,29)=16.26, p<0.001) 의 분석결과가 나왔다고 합니다. 반면, 평균값만으로 봤을 때 Naturalness와 Negative effect 의 경우 bass 신호가 포함된 경우 향상된 것으로 보여지긴 하는데, 통계적으로 유의수준을 달성하진 못했네요. 그리고 채널 수가 많아진 것도 역시 통계적 유의수준을 달성하지는 못했습니다. 채널 수가 많아진 경우는 Sense of Physical Space 정도에서만 의미있는 결과를 보였구요.   다른 평가항목에 대해서는 채널 수가 적은 쪽이 더 높은 점수를 보이는 경우도 있습니다. 이 결과로부터 bass와 channel 개수의 상호영향은 없다고 볼 수 있겠네요.   해당 결과를 T-test를 통해 쌍비교도 해 봤는데, 이 역시 재미있는 결과를 보입니다. 2.0_control과 2.1 신호를 비교하는 경우를 예로 들어보죠. 이 두경우는 음량은 동일하게 맞춰졌습니다. bass 신호가 포함되어 있는지, 아닌지만 차이가 나겠네요. 일단 위 그래프에서 봐도 2.0_control 에 비교해서 2.1은 모두 더 높은 점수를 받고 있음이 보입니다. 음량이 같아도 bass 신호가 있는 것이 모든 면에서 훌륭한 점수를 보여주고 있는 거죠. 특히 Engagement와 Ecological Validity 는 통계적으로 유의미한 차이를 보이고 있습니다.   반면 Sense of Physical Space는 차이는 보이고 있긴 하지만, 통계적 유의수준을 만족하지는 못하고 있습니다. 이러한 결과로 봤을 때, bass 신호는 실재감을 향상시키는데 어느 정도 기여를 하고 있음을 확인할 수 있습니다. 또 하나 눈 여겨볼 것은 Naturalness 의 관점에서는 2.0_control 신호가 5채널 신호보다 더 좋은 성능을 보인다는 것이겠네요.   Media Experience Questionnaire (MEQ)에 대해서도 채널 수에 관계없이 bass 신호를 포함한 신호가 모든 항목에서 더 좋은 평가를 받았음을 확인할 수 있습니다. 불행히도 해당 결과 그래프는 보여주지 않고, 통계수치만을 제시했네요. 또 하나 재미있는 결과는 저역을 포함한 오디오 신호를 제공한 경우, 영상의 품질에 대해서도 더 높은 평가를 한다는 사실입니다. 청각-시각 인터액션을 반영하는 결과이기도 하네요. 다만 보통의 실험에서는 시각 자극이 좋은 경우 청각 자극도 좋게 느껴진다는 결론인데, 반대의 결과도 존재하네요.   그럼 위 결과들을 바탕으로 처음 세웠던 가설들을 한번 검증해 보죠.   bass가 포함된 음원이 더 높은 평가를 받은 것으로 가설 2번은 지지가 되네요. 다만, 2.1 mix에 대해서 ITC-SOPI Sense of Physical Space평가와 MEQ 평가에서의 bass와 관련된 증가치는  볼륨의 증가치에 영향을 주었기 때문에 가설 4번은 부분적인 지지만 인정할 수 있겠습니다.   채널 수와 관련된 가설 1은 전체적으로 2채널과 5채널 사이의 유의미한 차이를 보이지 않았기 때문에 기각되었습니다. 다만, 이번에 사용된 청각 자극의 종류로 인한 차이 때문에 이러한 결과가 나왔으므로, 이에 대한 부분은 추가 실험이 필요하다고 저자들도 밝히고 있네요. 마지막으로 가설 3 역시 청각 자극의 변형 (bass를 더한다거나 더 큰 소리로 들려주는 것)이 시각 자극의 평가에 긍정적인 영향을 보여준다는 결과로 봤을 때 역시 지지받는 가설이 되겠습니다.   이 논문의 결과로만 보면, bass 음원이 포함되고, 최종 재생되는 소리가 충분히 큰 경우가 그렇지 않은 경우보다 실재감을 높여줄 수 있는 요소라고 보고 있습니다. 반면, 2채널 시스템보다 5채널 시스템이 더 높은 실재감을 준다고 보장은 할 수 없다는 점이네요. 이 논문은 결국 실재감이라는 평가요소를 전반적인 특징과 구체적인 특징으로 나누고, 그 둘의 결합을 통해 평가할 수 있다는 걸 보여주고 싶었던 것 같습니다. 두 가지 평가 방법 (ITC_SOPI와 MEQ)틀 통해 두 결과가 일치하는 것들을 보여줬고, 실재감이라는 것이 immersive audio system 의 궁극적인 목표에 대한 주관적 지표가 될 수 있음을 보여주고 있습니다.   다소 짧은 학회 논문이라서 논문의 길이가 그리 길진 않은데요. 해당 제목을 구글링하시면 논문도 쉽게 보실 수 있으니, 시간 나실 때 한번 읽어보셔도 좋겠네요.   [1] Reeves, B. & Nass, C. (1996). The media equation: How people treat computers, televisions, and new media like real people and places. Cambridge University Press.   Gaudio Lab 은… 가우디오랩(주)은 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 가상세계를  더욱 현실처럼 만드는 소리, 현실을 넘어 초현실적인 소리를 만드는 혁신적인 기술들로 전세계를 누비며 활약하는 국가대표 오디오 공학집단입니다. “올해의 최고 VR 혁신 기업상 수상(VR Awards, 런던, 2017)“, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013,2018)“으로 혁신성을 인정받은 6인의 음향공학박사와 오디오 Geek들은 실리콘밸리와 서울에 있습니다. The Science of Sound.