360도, 가상, 혼합현실과 증강현실 콘텐츠의 수가 급증함에 따라 첨단 콘텐츠의 사실감을 보존하거나 확대하기 위해 실감 동적 반응형 공간 오디오(spatial audio)가 필수 요소로 떠오르고 있습니다.  Facebook 및 YouTube와 같은 주요 동영상 스트리밍 플랫폼은 이미 공간 오디오 재생을 지원하고 있으며, 최근 몇 년 사이 몇몇 관련 도구와 플러그-인이 꾸준히 개발되면서 사운드 디자이너들이 공간 오디오 믹스를 제작하는 데 필요한 기술적 환경이 착실히 갖춰지고 있습니다.

공간 오디오는 사용자에게 강력한 몰입감을 제공하고 사실감을 더하며, VR 또는 360도 동영상에 대한 집중을 유도하는 데 효과적인 방식입니다. 오디오 큐는 사용자의 집중을 유도하는 역할을 하고, 공간 오디오는 청각 정보를 시각 정보 및 전반적인 시청 경험과 일치시키는 기능을 담당합니다. 사실감 있게 어느 방향에서건 오디오 큐를 발생시킬 수 있으므로, 콘텐츠의 흡인력을 높이고 VR 콘텐츠의 현실감을 높입니다.

공간 오디오란?

가상현실에서 이야기하는 공간 오디오(spatial audio)는 실제 물리 세계에서 일어나는 음향 현상과 반응을 그대로 따르도록 오디오 신호를 조정하는 것입니다. 몰입감을 완성하기 위한 하나의 메커니즘 기능을 수행하지만, 매우 효과적인 인터페이스이기도 합니다. 예컨대 오디오 큐는 내러티브 안에서 다양한 중심점으로 집중을 유도하거나 360도 동영상의 특정 부분으로 시선이 향하도록 이끄는 역할을 합니다.

시청자는 별도의 특수 스피커나 하드웨어, 멀티채널 헤드폰을 구입하지 않아도 평범한 헤드폰을 통해 얼마든지 공간 오디오를 체험할 수 있습니다.

실제 Facebook에 등록된 공간 오디오 샘플을 소개합니다. 헤드폰을 반드시 착용하고 직접 들어보세요!

Pro Tools | HD와 Facebook 360 Spatial Workstation

Pro Tools | HD 12.8.2부터는 Facebook 360 Spatial Workstation 플러그-인이 내장되어 있으므로 다이나믹한 몰입감를 제공하는 공간 오디오 믹스를 Pro Tools | HD에서 직접 제작할 수 있습니다.  12.8.2는 또한 앰비소닉스(4채널, 9채널, 16채널 트랙 및 버스)를 지원하므로 몰입형 오디오 작업의 유연성을 더욱 높여줍니다. 앰비소닉스는 공간 속 특정 지점 주변에 대해 둥근 구체 형태로 3D 음장을 만들고 캡처하거나 렌더링할 수 있는 기술입니다. 개념적으로는 360도 동영상과 유사한지만 구체 형태를 띤 음장 전체를 들을 수 있다는 점, 그리고 고개를 돌리면 그에 맞게 반응한다는 차이가 있습니다. 앰비소닉스 음장을 위한 렌더링 구현 방식에는 여러 가지가 있지만, 모든 방식은 입체 스테레오 출력을 디코딩함으로써 사용자들이 일반 헤드폰을 통해서도 공간 오디오 효과를 인지하도록 한다는 공통점이 있습니다.

앰비소닉스 오디오는  ‘n차’ 순서로 구성된 다양항 채널이 될수있습니다. 채널 수가 많으면 더 높은 공간감 품질을 구현할 수 있기는 한데 차수가 높아질수록 사용자가 느끼는 사운드 품질의 차이에는 한계가 있습니다. 원본 시그널을 인코딩하는 데 쓰는 채널 수에 관계없이 디코딩을 거친 입체 오디오 아웃풋은 항상 2개 채널이 됩니다. 사용자가 고개를 돌리면 디코딩한 아웃풋 스트림의 내용이 그에 맞게 변경되면서 3D 공간형 효과를 내는 것입니다.

이번 업데이트 전에도 Pro Tools | HD은 다른 써드 파티 플러그-인으로 유사한 기능을 구현할 수 있었지만, 기존의 8채널이 가진 한계를 극복하려면 추가적으로 각종 우회적인 방편을 동원해야만 했습니다. 이번 업데이트에는 앰비소닉스 오디오 트랙과 버스를 네이티브 형태로 지원하므로 훨씬 쉽게 워크플로우를 구성할 수 있습니다.

Facebook 360 Spatial Workstation

Facebook 360 Spatial Workstation은 사운드 디자이너가 오디오 소스를 드롭하고, 장면 요소를 이동 또는 동기화하거나, 단일 앰비소닉 파일로 렌더링해 Facebook이나 Oculus Video 등 다른 플랫폼에서 재생할 수 있는 엔드-투-엔드 파이프라인입니다. Two Big Ears에서 처음 개발한 Facebook 360 Spatial Workstation은 현재 Facebook의 Audio 360 팀에서 무료로 제공하고 있습니다.

Facebook 360 Spatial Workstation은 Spatialiser, 360 VR 비디오 플레이어, 인코더, 렌더링 SDK 등을 포함한 DAW용 플러그-인 컬렉션입니다. 여러 플러그-인이 한데 모여 공간형 오디오 콘텐츠를 만들고 배열한 다음 Facebook, YouTube 등 플랫폼별 메타데이터로 인코딩을 거친 뒤 게시할 수 있도록 지원합니다.

콘텐츠 생성

Facebook 360 Spatial Workstation은 360도 동영상을 위한 인터랙티브 공간형 믹싱 플러그-인 컬렉션입니다.

Spatialiser 플러그-인을 사용하면 공간 안에 사운드 소스를 배치할 수 있습니다. 모노, 앰비소닉스 레코딩, 또는 서라운드 레코딩이나 리버브와 같은 멀티채널도 소스로 사용할 수 있습니다. 모노가 아닌 소스는 일종의 ‘베드’ 역할을 하며, 다이얼로그나 사운드 이펙트와 같은 내재 사운드는 장면 안에 배치됩니다. 내레이션이나 배경음악과 같은 외재 사운드는 보통 헤드록 상태의 스테레오 버스로 라우팅하는데, 이렇게 해서 사용자가 고개를 돌려도 오디오는 회전하지 않습니다.

Control 플러그-인은 모든 오디오가 어떤 방식으로 라우팅되어 헤드폰을 통해 실시간 입체 재생되는지를 콘트롤하는 일종의 주조종실 역할을 합니다. 또한 초기 반사 모델링과 믹스 포커스 등과 같은 기능을 글로벌 세팅하는 데도 사용합니다.

360 Video Player 플러그-인은 DAW 타임라인에 “Slave”로 설정되며, VR 내부 또는 데스크톱에서 실시간으로 360도 동영상 믹스를 미리 살펴볼 수 있게 지원합니다. 데스크톱 모드에서는 키보드나 마우스로 동영상을 회전시킬 수 있는데, 이 경우 음장도 즉각적으로 회전하므로 Authoring 단계에서 곧바로 피드백을 확인할 수 있습니다.

Facebook 360 Encoder 어플리케이션은 비디오 파일을 가져와 오디오 파일을 비디오 컨테이너로 합쳐주는 역할을 하며, 이로써 Facebook을 비롯한 다른 지원 플랫폼에서 플레이백하기에 적합합니다. 뿐만 아니라 2차 앰비소닉스 인풋에서 1차 앰비소닉스 아웃풋을 빼낸 다음 파일에 믹스 포커스 값을 설명하는 메타데이터를 추가하는 방식과 같이 오디오 포멧을 서로 변환하는 작업도 가능합니다. 이 프로세스를 거치면 관련 공간 메타데이터를 도구에 입력할 수 있으므로, 지원하는 플랫폼에 최종 자산을 업로드할 수 있습니다.

Converter 플러그-인은 이미 생성한 믹스를 회전시키거나 4채널 앰비소닉스와 같은 다른 형식으로 출력할 수 있게 지원하는 유틸리티입니다.

Loudness 미터는 전체 공간형 믹스의 라우드니스에 대한 정보를 제공합니다. 공간형 믹스의 라우드니스는 기존 채널 기반 형식과는 커다란 차이가 있습니다. 360도 동영상에 쓰이는 공간 오디오는 종전에 비해 훨씬 복잡한 구조로 이루어져 있으므로, 미터의 데이터를 잘 활용해야 최종적으로 게시하는 콘텐츠를 타겟 디바이스에서 재생할 때 왜곡되는걸 막을 수 있습니다.

플레이백 지원 플랫폼

1. 데스크톱(Chrome 브라우저) 또는 모바일 앱상의 Facebook
2. Gear VR 및 Rift용 Oculus Video
3. .tbe 형식: SDK 렌더링 호환 앱
4. YouTube 360
5. 앰비소닉스 또는 4중 입체 형식을 지원하는 기타 플랫폼. 단, 그러한 플랫폼은 자산 제작을 위한 특정 방법이 별도로 존재합니다.

관련 자료

Facebook 360 Spatial Workstation 작업을 처음 시작하시는 경우 유용한 자료들을 소개합니다.

• 온라인 문서 및 튜토리얼
• 자료 다운로드
• 공식 지원 그룹
• 공간 오디오 시작하기 – Sound Librarian이 제공하는 비디오 튜토리얼