Wenn sich Objekte unserer Sicht entziehen, nehmen wir sie vor allem klanglich war. In unserem Alltag sind das in der Regel Dinge, die ihren Dienst im Hintergrund verrichten und die durch Signale, wenn sie ihren Dienst verrichtet haben, auf sich aufmerksam machen. Dies ist bekannt von z.B. der Waschmaschine, oder auch solchen Dingen, die durch Signale auf sich aufmerksam machen, wenn Gefahr droht, wie z.B. im Straßenverkehr. Insbesondere letztere können wir sehr gut verorten, weil wir es gewöhnt sind, den Abstand unserer Ohren zu nutzen um den Unterschied einer Millisekunde in eine wahrscheinliche Richtung aus der ein Klang zu uns gelangt, umzurechnen (Azimuth). 

Verstärkung der Immersion in Virtual-Reality durch immersives Audio

Diese aus der realen Welt bekannte und verinnerlichte Interaktion des hörenden Menschen mit auditiven Signalen ist für Virtual und Augmented Reality von enormem Nutzen. Da der Erlebende in ein 360° Geschehen eingebettet ist, sieht der Erlebende nicht alles um sich herum. Wenn der Schöpfer der VR/AR Experience also die Aufmerksamkeit des Betrachters auf etwas hinlenken möchte, ist Klang neben visuellen Hinweisen das maßgebliche Mittel der Aufmerksamkeitssteuerung. In Mixed Reality Umgebungen ist daher die Audio-Engine ausschlaggebend, inwiefern ein MR Erlebnis immersiv wird durch die Simulation von Richtung, Distanz und letztlich einer Klanglandschaft, also einer kompletten Umgebung. Geschickt platziert und gestaltet, hören sich Klänge an, als würden sie von echten, physischen Objekten in der unmittelbaren Nähe kommen (und geben dabei gestaltliche Tiefe, wie sie Visuell sehr schwer zu vermitteln ist) – oder eben von den virtuellen, die mit der Umgebung so auch klanglich verschmelzen können. Ebenso wie bei Augmented Reality das Rendering einer Figur mit den realen Lichtverhältnissen an Glaubhaftigkeit gewinnt (bis hin zum Uncanny-Valley), so ist auch eine Abstimmung mit den vor Ort in der Realität vorhandenen Klängen der Schlüssel zu einem überzeugenden, ja wirklich umwerfenden Erlebnis – mit dem Unterschied, dass es kein Uncanny Valley im Klangbereich gibt. Nun, grade, wenn man sich auf Objekte zu- oder von Ihnen wegbewegt, ist der an- bzw. abschwellende Klang deshalb so überzeugend, weil er als Sample wirklich eins zu eins aus unserer Realität übernommen werden kann, eine Wahrnehmung als „Echt“ gegeben ist – und keine Frage der Auflösung wie bei der visuellen Komponente, in der wir allein noch bis zur Retina Auflösung eine Dekade brauchen und von fotorealistischen Renderings, die sich dynamisch oder gar organisch bewegen noch weiter entfernt sind. Test

Wie wir Klänge von rechts und links wahrnehmen wurde nun schon kurz beschrieben, etwas komplexer ist die Berechnung von Klängen, die weiter oben oder unten verortet werden sollen. Tatsächlich nehmen wir solche Unterschiede aus der Frequenzmodulation, wie sie unsere Ohrmuschel (Pinnae) hervorbringt wahr. Mit einer künstlichen, am „Durchschnitts-Ohr“ angelehnten Muschel lässt sich allerdings inzwischen schon mit einer Reihe Programme die gewünschte Verortung überall im Raum vornehmen, auch wenn dabei die Verortung zwischen Rechts und Links immer deutlicher ausfällt, als eine von oben und unten.

Wichtig ist allerdings vor allem, einen akuraten Raumklang wiederzugeben, mit allen Geräuschen und Klängen, die einen in einer Mixed-Reality Umgebung begleiten sollen – hallt alles nach, wie in einer Höhle oder befinde ich mich in einem Park und alles klingt endlos trocken? Mit der Glaubwürdigkeit des Raumklanges steht und fällt eine Umgebung, in der man sich – vorgeblich – befinden soll maßgeblich.

Microsoft Hololens – Immersive Audio für Prosumer und Consumer

Microsoft’s Hololens zum Beispiel hat natürliche CPU– und Speicherkapazitäten, gibt aber auf ihrer offiziellen Homepage schon an, dass 10-12 Raumklangquellen lauffähig sind, ohne mehr als ~12% des CPUs zu brauchen (~70% eines von vier Kernen). Auf welche Klangverteilung man setzen sollte, lässt sich hingegen plattformübergreifend verstehen:

– Highlight Mixing (Objekte von Relevanz, insbesondere wenn sie außerhalb des Sichtfeldes liegen) Highlights können mit ihnen typischen Sounds in die Welt einbezogen werden und sollten den Nutzer im Idealfall nicht ablenken, sondern entlang der Narration führen, wie an einem Geländer (auditive Handrailing).

– Haptisches Audio (Reaktives Audio, insbesondere wenn man bei Interaktionen buchstäblich in die Luft greift) muss physisch klingen, je handfester desto besser, desto weiter entfernt man sich vom Eindruck des „Luftleeren Raumes“.

– Immersive & Ambient Sounds, die die Nutzerin in der Welt verorten, die sie auch optisch umgibt.

Auch erwähnenswert ist, dass die richtige Mischung aus räumlichen und Stereo-Sounds den Schlüssel liefert, wichtig ist dabei, dass Stereo relativ niederfrequent genutzt wird, um eine Bühne für die Nuancen der Raumklänge zu bieten – Reflektionen im Speziellen, die schwierig herauszuhören sind, aber den Raum erschließen, den man schaffen will.

Adobe Project Sonicscape – Immersive Audio hält Einzug in den Mainstream auf Produzentenseite

Adobe´s MAX Konferenz zeigt die neuesten Adobe Entwicklungen und Experimente. Für die abgefahrensten Demos gibt es gar eine eigene Keynote – dare to be brave ist hier das Motto! Unter allen Neuerungen sticht eine als potentieller Game-Changer besonders hervor – Project Sonicscape, die es erlaubt Sound in einer dreidimensionalen Umgebung zu editieren.

Die Fragestellung ist ebenso einfach wie herausfordernd:Wie können Virtual-Reality und Augmented-Reality Entwickler bestmöglich Ihren Sound in einer dreidimensionalen 360° Welt editieren?

Adobe´s Lösung ist so einfach wie genial, hier die Präsentation auf der MAX 2017:

Der räumliche Klang (immersive Audio) wird direkt den Objekten im Raum zugeordnet, im tatsächlichen Visual der VR/AR Anwendung. Somit nimmt Project Sonicscape die Augenklappen ab und visualisiert in der VR/AR Experience direkt am lebenden Objekt sozusagen wo die Musik spielt bzw. welches Element welchen Klang von sich geben wird, in welcher Lautstärke und in welchem Umfang.

Durch das visualisieren der Intensität und Frequenz der Audio-Elemten wird es für die VR und AR Produzenten signifikant einfacher Inhalte mit immersive Audio anzureichern.

Da es sich bei der gesamten Herangehensweise von Project Sonicscape um eine räumliche Visualisierung handelt empfiehlt sich ein Blick in das Hands-On Video – seeing is believing.

3D Audio und Stereo Audio im direkten Vergleich

Die Unterschiede der verschiedenen Audio Spielarten (binaural-spatial-3D)bei Virtual-Reality und Augmented-Reality empfehlen sich am besten zu hören, statt lediglich theoretisch zu erfassen. In unserem unten folgenden Beispiel empfiehlt sich die Verwendung von Kopfhörern, genau genommen ist es die Voraussetzung um den 3D Sound erfahren zu können. Im Gegensatz zu objektbasiertem Sound wurde hier ausschließlich mit Psychoakustik gearbeitet und so ein dreidimensionales Hören im Raum erschaffen. Da dieses zunächst nicht direktional ist erfolgt die räumliche Verrortung nicht über die Bewegungssensoren des Smartphones, sondern per se über die Art des Mixdown.

https://youtu.be/JGQEhxI-mIk

In unserem vorliegenden Vergleichsvideo wechselt sich immersiver 3D Sound mit traditionellem Stereo-Mix ab – sehen und hören Sie selbst und spüren Sie den Unterschied! Erstellt wurde die Audioproduktion von den 3D Audio Experten und Aspekteins Partnern, der MediaApes GmbH. Sämtliche Videofootage wurde von der Aspekteins GmbH im Rahmen von Kundenprojekten realisiert.

Fazit: Immersive Audio boostet Virtual-Reality & Augmented-Reality

Zu guter Letzt sollte im Ohr bleiben: Klang ist als authentisches Erlebnis (da realistisch aufgelöst) viel einfacher im Raum zu verteilen als visuelle Modifikationen der Umgebung (Augmented-Reality) vorzunehmen oder gar komplette Umgebungen (Virtual–Reality) lebensecht nachzubauen. Obgleich wir in einer visuellen Kultur leben sind wir auch in einer Lebenswelt eingebunden, in der wir ständig von Sound umgeben sind und ihn gerade deshalb so schmerzlich vermissen, wenn er uns im Mixed–Reality Universum vorenthalten oder nicht ausreichend dargeboten wird. 

Die klare Handlungsempfehlung an dieser Stelle lautet dahingehend die Vorteile von räumlichem Sound, sei er direktional und objektbasiert, oder durch Psychoakustik generiert, zu nutzen. Zu nutzen als Katalysator, als Boost zur Steigerung der immersive Erfahrung und als auditiver Leitfaden zum sicheren navigieren durch die visuell überbordenden virtuellen und augemtierten Welten die derzeit erschaffen werden.

Hier klicken für Ihr VR-Projekt

Bildrechte Header, Thumbnail: © stock_alexfamous – fotolia.com