Konzerte leben von ihrer umfassenden Akustik. Doch wie können Musik-Events authentisch über eine VR-Brille erlebt werden, wenn zwischen Publikum und Musikern eine zeitlich-räumliche Trennung besteht?
Im Rahmen von 360-Grad-Videos, 360-Grad-Filmproduktionen und VR-Apps ist Akustik ein ganz wesentlicher Faktor immersiven Erlebens. Schließlich ist unser Gehör auch mit dem limbischen System verbunden, dem für unsere Emotionen verantwortlichen Bereich des Gehirns. Deshalb gilt bei VR-Erlebnissen grundlegend: ein VR-Anwender kann sich in einer virtuellen Umgebung umso stärker verorten, desto mehr Emotionen aktiv daran beteiligt sind.
Hierbei der ultimative Sound-Schlüssel: Spatial Audio.
Was ist Spatial Audio?
Im Gegensatz zu Stereo und Surround-Setups nutzt Spatial Audio mehrere Kanäle. Während Surround mehrere Referenzpunkte bei der Soundpositionierung berücksichtigt, wird hier dennoch von einer fixen Blickrichtung des Zuhörers ausgegangen.
In der realen Umgebung erfahren wir Geräusche aus allen möglichen Richtungen – folglich muss sich die Akustik gemäß unserer Kopfbewegung ebenfalls verändern. Bewegen wir unseren Kopf, so muss die Tonquelle entsprechend gegenläufig zur Kopfdrehung bewegt werden. So entsteht für den Zuschauer der Eindruck, die Tonquelle würde an einem festen Standpunkt verharren – ganz unabhängig von der Kopfbewegung. Durch Spatial Audio ist eine solche richtungsbasierte Akustik möglich. Auch die Beschaffenheit virtueller Räume spielt eine erhebliche Rolle bei der realistischen Gestaltung immersiven Sounds.
Mit Object-based Audio lässt sich diese Logik sogar noch einen Schritt weiter verfolgen: Entfernt sich ein VR-Anwender von einer bestimmten Klangquelle, müssen die damit verbundenen, akustischen Signale zwingend leiser werden. Im Gegensatz zu kanalbasierter Audiosignalverarbeitung können objektbasierte Audiosysteme eine Vielzahl an Lautsprechern berücksichtigen und sind bei der Audioausgabe nicht durch eine bestimmte Anzahl an Wiedergabekanälen determiniert.
Außerhalb der virtuellen Realität werden solche Audiosysteme auch eingesetzt, um ein optimales Klangerlebnis, das gewöhnlicherweise nur für einen bestimmten Bereich ausgelegt ist (Sweet Spot), auf den ganzen Raum übertragen zu können: Entsprechend der eigenen Ausrichtung, hört es sich von allen Seiten gleich gut (an).
Grundlegend basiert SpatialSound Wave (auf der SXSW 2018 repräsentiert von der Aspekteins GmbH, dem Fraunhofer Institut und Media Apes) auf Wellenfeldsynthese (WFS) und bildet Schallfelder von Klangquellen nach, die sich gleichphasig und mit identischer Frequenz überlagern. Dabei können Raum und Schallquelle unterschiedlich voneinander manipuliert werden, denn Pegel, Position und auch die Abstände der Schallquellen werden von den Schalleigenschaften des jeweiligen Raumes getrennt aufgenommen. Für jeden Lautsprecher wird ein individuelles Signal berechnet, es gibt keinen festen Abhörpunkt. In der Summe reproduziert sich hieraus schließlich ein umfassendes Klangfeld – ganz so, als wäre man live dabei. Mit dieser Technologie können Richtung und Distanz von Klangquellen sehr realistisch wiedergegeben werden.
Für die passenden 360-Grad-Aufnahmen sorgen indes Video-Feeds einer professionellen 360-Grad-Kamera.
Im Herzen der Musik
Mit Spatial Audio lassen sich auch klassische Konzerte, bei denen der Raumeindruck und insbesondere Breiten- & Tiefenstaffelung der Musik besonders wichtig sind, unmittelbar erleben.
Ein Projekt zwischen dem Unternehmen Zylia, einem Anbieter von 3D-Audiolösungen, und dem Posener Philharmonic Orchestra zeigt, wie sich VR-Nutzer – ungeachtet räumlicher Distanz – in die Weiten vollsphärischer Klang-Dimensionen tragen lassen können.
Die Aufnahme der 360-Grad-Audioszene erfolgte in diesem Fall durch 30 kalibrierte Mikrofone und 600 Audiokanäle.
„Synthetisches 6 Degrees of Freedom-Audio, das separate Tonaufnahmen in einem einzigen simulierten Schallraum kombiniert, ist in Videospielen weit verbreitet… (dies ist) ein neuartiger Ansatz, der keinen synthetischen, sondern live aufgezeichneten navigierbaren 6DoF-Sound aus einem tatsächlichen physischen Raum ermöglicht.“
Tomasz Zernicki, Mitbegründer Zylia
Diese Art Spatial Audio (genutzt wurden synchronisierte Ambisonics höherer Ordnung/HOA) bietet Nutzern mit dem VR-Headset zudem die Möglichkeit, sich virtuell direkt unter die Musiker zu mischen. Körpernahe Instrumente erfährt der VR-Headset-Anwender hierbei lauter und eindringlicher als solche, bei denen eine größere Distanz zwischen Betrachter/Zuhörer und Tonquelle besteht.
3D-Audio-Technologie unter Berücksichtigung von sechs Freiheitsgraden (6DoF) ermöglicht hier eine Aufnahme mit unbegrenzt vielen Hörpunkten sowie einem flexiblen Nutzer-Aktionsradius mit folgenden Bewegungsrichtungen: auf und ab, links und rechts, vorwärts und rückwärts, Drehung links & rechts, Vorwärts- & Rückwärtsneigung, seitliches Rollen.
Somit können VR-Anwender in einem simulierten 3D-Raum navigieren und die Klangaufnahmen aus verschiedenen Perspektiven anhören sowie individuell eigene Hörpunkte festlegen. Jeder VR-Anwender definiert sozusagen seinen eigenen Audiopfad!
Unabhängig davon, ob 6DoF-Audio-Erfahrungen direkt objektbasiert erstellt werden oder über mehrere Ambisonics-Mikrofone generiert werden: In einer 360-Grad-Szene ergibt sich damit ein viel natürlicheres Klangerlebnis, welches erheblich zur immersiven Gesamterfahrung des Nutzers beiträgt.
Als Content-Agentur sind wir auf Virtual-Reality-Erfahrungen spezialisiert (wie u.a. Hyperresponsive Storytelling) und bieten, neben Konzeption und Erstellung von 360-Grad- Filmen und VR-Anwendungen, auch professionelle Beratungen, Workshops & Schulungen rund ums Thema VR an.
Neugierig geworden? Auf geht´s!
Bildrechte Titelbild: © sunlight19 – Adobe Stock