Eight VR – Musiktheater in VR
Sequenz aus Eight VR. Bildquelle: mixed.de
Eight ist ein Mixed-Reality-Projekt des Regisseurs und Komponisten Michael van der Aa und den VR-Entwicklern von The Dutch Men, das Anfang Juni Premiere auf dem Hollands Festival feierte und auf diversen Festivals in Erscheinung treten wird.
Mit 8×8 Metern Radius ergibt sich für den User eine interaktive VR-Installation, mittels der er für fünfzehn Minuten in die Erinnerungswelten einer Frau abtauchen kann. Die Erfahrung nutzt hierfür eine HTC Vive Pro und die Tracking-Technologie von Leap Motion.
Die technische Umsetzung samt Ganzkörper- und Fingertracking nahm ganze zwei Jahre in Anspruch.
Erinnerungen werden lebendig
Sequenz aus Eight VR. Bildquelle: volkskrant.nl
Die Erinnerungen der Frau sind materiell als Hieroglyphen an flexiblen Wänden angebracht, die vom Anwender beliebig aktiviert werden können. Dieser taucht dann hinab in eine immersive Traumlandschaft jenseits von Zeit und Raum.
Beispielsweise überquert der User einen hohen Berg, läuft durch einen dunklen Wald und betritt eine Plattform mit einem gigantischen Sternen-Firmament. Von hier scheinen dutzende Wege nach unten und in die Höhe zu führen. Unendlichkeit. Oder er findet sich in einem stillen Raum wieder. Hier ist er nicht alleine, denn auf dem Boden sitzt ein junges Mädchen, das unvermittelt zu singen beginnt und die Augen stets auf den Besucher richtet, als sei er selbst natürlicherweise Teil seiner virtuellen Welt.
Die Melodien sind anmutig eingebettet in Harmonien von Sythesizern, den Stimmen der Sopranistin Livia Kolk, Liedern der Singer-Songwriterin Kate Miller-Heidke, sowie den Gesängen des Niederländischen Kammerchores. Textuell beziehen sich die Kompositionen abstrakt auf Werke von Borges, Lorca, Pessoa Tarkovsky und Walt Whitman.
Entwurfsskizze für die VR-Oper. Bildquelle: doublea.net
Eight VR erhält Support von der doubleA Foundation, einer Stiftung, die van der Aa vor kurzem ins Leben rief, um speziell solche Produktionen zu fördern, die die Grenzen von Musiktheater, Oper, Konzerten, audiovisuellen Ausstellungen, digitaler Kunst und Film neu definieren bzw. transformieren.
AR-/VR-App-Entwicklung im Konzerthaus
Derzeit vergibt das Konzerthaus Berlin ein Auftragswerk an einen Visual Artist oder Komponisten zur Ausgestaltung einer interaktiven Komposition. Damit sollen neue Zugangswege klassischer Musik im virtuellen Raum geschaffen werden. Ob die Installation dann in VR oder als AR-App-Entwicklung über die Bühne gehen wird, ist indes noch nicht klar und wird mit dem Künstler entschieden werden. Allerdings soll zu gegebener Zeit kostenfrei eine App zur Verfügung stehen, damit auch Menschen ohne Möglichkeit direkter Teilnahme von dem Event profitieren können.
Digitale Musikvermittlung des Konzerthauses Berlin auf der re:publica 2019, Konferenz für Digitale Medien in Berlin. Bildquelle: virtuelles-konzerthaus.de
In Kooperation mit der HTW hat das Konzerthaus schon mehrere AR/VR-Stationen zur Kulturvermittlung initiiert. Klarer Publikumsliebling scheint das Virtuelle Quartett zu sein, zu deren musikalischer Aktivierung Spielkarten mit der AR-App „Konzerthaus Plus“ gescannt werden müssen. Die Musiker beginnen dann unvermittelt Schuberts Komposition „Der Tod und das Mädchen“ zu spielen; der App-Anwender kann aber selbst entscheiden, ob er das gesamte Quartett hören möchte oder nur einem bestimmten Musiker folgen will. Mit der Konzerthaus Plus App firmiert sich das erste digitale Streichquartett der Welt!
Die Spielkarten können im Download-Paket heruntergeladen und entsprechend zuhause oder an einem anderen Ort flexibel aktiviert werden.
Erst kürzlich überarbeitete man die digitale Ausstellung im Vestibül des Konzerthauses. Dazu gehörte auch die Vereinfachung des sogenannten Zeitwürfels mittels ARKit-Technologie.
Bildquelle: virtuelles-konzerthaus.de
Historie des Konzerthauses in AR erleben. Bildquelle: virtuelles-konzerthaus.de
Zuvor musste der Besucher den Würfel auf dem Display drehen, damit er einen Blick auf die unterschiedlichen Stationen erhielt. Zur chronologischen Vorgehensweise standen am unteren Bildschirmrand zwei Pfeile zur Verfügung. Die damalige AR-Kennung basierte auf einem Würfel-Marker: Der digitale Würfel legte sich dann über den haptischen Würfel.
Mit ARKit können sich die Besucher nun frei um den Würfel herum bewegen und die Zeitachse zwischen 1821 und 2019 wesentlich intuitiver erfahren.
Bildquelle: virtuelles-konzerthaus.de
360 Grad mit Mendelssohn und Mozart
Für das 360-Grad-Video, das den vierten (finalen) Satz von Mendelssohn-Bartholdys 4. Sinfonie beinhaltet, müssen Interessierte nach Berlin Mitte kommen. Hier erhält der Besucher einen Überblick hinsichtlich Aufbau und Klang des Orchesters und erlebt die nonverbale Kommunikation zwischen Dirigent Iván Fischer und den Musikern.
Um das Wirk- und Klangspektrum visuell und auditiv optimal wiedergeben zu können, wurden mit der Z Cam S1 Pro vier verschiedene 360-Grad-Sphären gefilmt. Die Sphären sind mit interaktiven Buttons unterlegt, die Informationen zu Werk und Wirkstätte preisgeben.
Um einen immersiven Sound für den VR-Anwender zu generieren, ist bei Wiedergabe einer Sinfonie natürlich ein überzeugendes Klangerlebnis nicht wegzudenken: 360-Grad-Ton wurde daher mit einem Ambeo VR Mic aufgezeichnet, das für jede Sphäre an der 360-Grad-Kamera installiert wurde. Bewegt der User den Kopf bzw. sein VR-Headset, ändert sich der Klangeindruck von Sphäre zu Sphäre. Insgesamt kann zwischen drei Positionen innerhalb des Orchesters gewechselt werden.
Sinfonie in VR… Bildquelle: virtuelles-konzerthaus.de
Bildquelle: virtuelles-konzerthaus.de
Mit Tablets und VR-Brillen die Geschichte des Konzerthauses näher kennenzulernen und dem Konzerthausorchester auch außerhalb von Aufführungen zu begegnen, das kommt gut an. Rund 10.000 Besucher nutzen monatlich das virtuelle Angebot.
Eine andere 360-Grad-Produktion in klassischen Gefilden ist 360° Figaro. Gedreht wurde eine Szenenfolge des 2. Aktes von Mozarts Oper „Die Hochzeit des Figaro“, in der sich mit einer VR-Brille ausgestattete Zuschauer audiovisuell selbst inmitten des Geschehens wiederfinden.
Virtual und Augemented Reality bieten zahlreiche Möglichkeiten, sich Kunst und Musik von einer ganz neuen Seite zu nähern. VR-Storytelling ermöglicht immersives Geschichten-Erzählen. Der Zuschauer steht zentripetal im Geschehen und nimmt sich als Mittelpunkt aus. Doch um eine authentische, subjektive Erfahrung gewährleisten zu können, kann neben bewussten Entscheidungen des Users (z.B. Wahl der Blickrichtung, Betätigung von Hotspots zur Interaktion mit dem Content) auch dessen unbewusstes Reagieren während der Anwendung berücksichtigt werden. Unsere hauseigene Technologie HRVR verfolgt diesen Anspruch sehr praktisch, indem Inhalte durch Messung verschiedener Sensoren und Gestaltung von Entscheidungsbäumen individuell auf den Nutzer abgestimmt werden.
Dies eröffnet vollkommen neue Möglichkeiten: Stellen Sie sich beispielsweise eine Anwendung vor, in der Sie selbst zum Dirigenten werden. Durch Einbettung von Handtracking können Sie selbst den Takt angeben, während Sie durch Ihren Blick ganz gezielt mit einzelnen Instrumentengruppen kommunizieren und so das gesamte Klangbild anpassen können. Mit HRVR wird dies möglich.
Unsere Profis der Aspekteins GmbH sind nicht nur Spezialisten rund um das Thema VR/AR/MR, sondern auch findige Entwickler von Hyperresponsive Storytelling. Sie wollen mehr darüber wissen oder haben Interesse an einem anderweitig gelagerten VR- oder AR-Projekt? Wir freuen uns von Ihnen zu hören!
HIER KLICKEN FÜR IHR 360° / VR-PROJEKT
Bildrechte Titelbild: © AdobeStock – Alenavlad