Das FoST (Future of StoryTelling)-Festival trommelt seit drei Jahren kreative Köpfe und Entwickler rund um das Thema Narration und virtuelle Technologien zusammen. In diesem Jahr wurde eine Etage des Starret-Lehigh-Gebäudes im westlichen Manhattan zur Plattform für AR/VR/XR, Haptik und KI.

Neben passionierten Roundtables, an dessen Basis innovative Ideen diskutiert wurden, gab es kreative Workshops und satte VR-Experiences – letztere serviert in einer exklusiven Story-Arcade. Dabei präsentierten sich acht Formate an der Schnittstelle von Kunst, Narration und innovativer Technologie. Nicht wenige Beiträge standen im Zeichen von Duft und Berührung. Das Stichwort heißt: Immersive Storytelling!

Algorithmic Perfumery

Die multisensorische Kunstinstallation des Niederländers Frederik Duerinck soll dem olfaktorischen Aspekt unseres Seins mehr Aufmerksamkeit schenken und auditiven und visuellen Sinneswahrnehmungen, die zumeist beim Rezipienten stimuliert werden, eine authentischere (Duft-)Note entgegensetzen. Die Parfümindustrie erschien Duerinck zu heuchlerisch… Gerüche seien, so der Filmemacher, viel zu persönlich und intim, als dass eine einzige Parfümsorte für alle Konsumenten gleichsam stimmig sein könnte. Daher entwickelte er zusammen mit Psychologen, Konsumforschern und Duft-Spezialisten ein Konzept für seine Arbeit, das auf dem Fünf-Faktoren-Modell basiert, einem Testverfahren zur konkreten Erhebung bestimmter Persönlichkeitsmerkmale. Am Ende des Fragebogens gab es einen mit Hilfe von KI und Compounding-Hardware erstellten exklusiven und personalisierten Duft für jeden Teilnehmer.

Der Geruchssinn ist von allen Sinnesorganen derjenige, der am engsten mit unseren Gefühlen verbunden ist: er findet einen direkten und, im Gegensatz zu anderen Sinnesorganen, ungefilterten Eingang in unsere Amygdala. Dieser Bereich unseres Gehirns steht wiederum mit den olfaktorischen Cortexarealen in Verbindung, die der Verarbeitung von Emotion und Erinnerung dienen. Interessanterweise haben Wissenschaftler festgestellt, dass Störungen der Amygdala beim Menschen zu Illusionen und Körperwahrnehmungsstörungen führen.

Interview with Frederik Duerinck - Algorithmic Perfumery

Chained VR- A Victorian Nightmare

An hybride Theater-Formen schließt die virtuelle Adaption von Charles Dickens´“A Christmas Carol“ an. Teilnehmer werden mit dem VR-Headset auf eine Reise ins Viktorianische Zeitalter geschickt und begegnen dort von realen Schauspielern verkörperten Figuren.

Ebenezer Scrooge wird im Jahr 1843 von seinem verstorbenen Freund Jacob Marley und einigen anderen Geistern besucht. Diese verlangen Scrooge eine neue (persönliche) Sicht auf die ihn umgebende Welt ab: Seine Vergangenheit, Gegenwart und Zukunft wird ihm durch die jeweils zuständigen Geister aufgezeigt. Scrooge soll gegenüber seinen Mitmenschen mehr Mitgefühl und Großzügigkeit walten lassen. Am Ende steht die Läuterung des alten Geizhalses aus – und, mit Blick auf die christliche Allegorie, ein glückliches Weihnachtsfest. Diesen Prozessen können sich Teilnehmer in der VR-Erfahrung von Chained VR stellen.

Während der Entwickler Justin Denton einige Aspekte der Geschichte fest im Script verankert hat, verhalten sich andere Szenen des VR-Stücks variabel: sie werden abhängig vom Teilnehmer generiert. Einen aufgezeichneten Dialog gibt es nicht.

So spielt es u.a. eine Rolle, wie der VR-Teilnehmer mit den Requisiten umgeht – dieser Umstand nimmt konkreten Einfluss auf den Verlauf der Handlung. Beispielsweise führt die Platzierung von bestimmten Gegenständen auf kausaler Ebene zum Erscheinen weiterer, narrativer Elemente.

Die Geister selbst werden von Live-Schauspielern generiert und via Live-Motion-Capture von Ikinema gesteuert. Mit entsprechendem Rig hinter der Kulisse sorgen diese für die Belebung der vermeintlich Toten… Dann und wann treten die Schauspieler auch physisch auf den Plan und lassen den Teilnehmer erschauern – z.B. indem sie dessen Hand ergreifen.

Hilfe holte sich Denton für seine Geister bei Michael Bates und anderen Schauspielern von der Speakeasy Society. Die professionellen Akteure stellen als Geist von Marley spezifische Fragen, auf die der Teilnehmer (quasi in Person des Scrooge) reagieren soll. Das Publikum soll dazu gebracht werden, über das eigene Leben nachzudenken. So stellt die Interaktion mit Marley vielmehr eine Herausforderung dar, eigene Handlungsprozesse zu reflektieren, als sich allein einem unangenehmen Test gegenüber zu sehen. Die Reaktionen des Teilnehmers führen also zu unmittelbaren Konsequenzen im Plot und offenbaren kausale Zusammenhänge im Hinblick auf das eigene Handeln.

Cosmic Sleep

Wer es weniger gruselig mag, aber mehr über unseren Kosmos wissen möchte, braucht trotzdem ein gewisses Maß an Mut. Für Cosmic Sleep muss man schließlich eine recht eigentümliche Konstruktion über sich ergehen lassen…

Teilnehmer reisen unter einer mit Sensoren ausgestatteten Thermodecke durch das Sonnensystem. Genauer gesagt handelt es sich bei diesem Trip um eine Verkörperung des 67P/Churyumov-Gerasimenko, auch Tschuri genannt. Tschuri wurde Ende der 60er Jahre von seinen Namensgebern entdeckt und ist ein Komet, der zwischen dem Planeten Jupiter und unserem Planeten Erde in elliptischer Bahn um die Sonne kreist. Die VR-Experience wurde mit International Flavour and Fragrances (IFF) entwickelt und verwendet ebenfalls Gerüche bzw. olfaktorische Reize. Außerdem ermöglicht ein spezieller Ganzkörperanzug auch die thermische Regulierung. Der sog. Thermokorpus vermag die physische Wärmeregulierung des Trägers mittels mehrerer hundert Sensoren zu beeinflussen – mit Blick auf die unterschiedlichen Temperaturen im Weltall, von Sonnenwärme bis Weltraumfrost…

Auch Duerinck ist hier Teil des Design-Experience-Kollektivs Polymorf, das sich auf die Fahnenstange geschrieben hat, extensiv die Möglichkeiten von Duft und Berührung im Rahmen multisensorischer Strategien zu erforschen.

Das Thema Rassismus wurde auf dem FoST gleich in mehreren VR-Dokumentationen historisch aufgearbeitet. So auch in den intensiven Beiträgen I´m A Man und Travelling While Black.

Außerdem gab es einen Platz in der Arcade für (das schon etwas ältere) Wolves in the Walls, einer interaktiven VR-Fabel, bei der sich der Teilnehmer mit einem Mädchen namens Lucy auseinandersetzen muss.

Munduruku – Reise ins Herz des Amazonas

Munduruku erzählt die Geschichte des Stammeshäuptlings Caique Suarez Saw Munduruku und seinem Volk, das im brasilianischen Amazonasgebiet namens Sawré Muybu lebt. Mediale Aufmerksamkeit bekamen die Munduruku, was soviel wie Rote Ameise bedeutet und auf ihre frühere Zeit als Krieger zurück geht, als sie einen Staudamm in ihrem Gebiet zu verhindern wussten. Ihr Leben ist ein steter Kampf um die Integrität ihres Territoriums. Ein Kampf gegen industrielle Großkonzerne, illegale Abholzung und Goldsucher.

In dem 360-Grad-Beitrag geht es um multisensorisches Storytelling in Form einer Sensibilisierung für indigene Kulturen bzw. deren Lebensart und kollektive Denkweise: ein Aufruf zu mehr Solidarität.

Die 360-Grad-Kamera wurde von den Protagonisten dirigiert; Orte, die den Munduruku wichtig erschienen, stereoskopisch gefilmt, um Außenstehenden einen wichtigen Einblick in ihre Lebensweise zu vermitteln. Einen ähnlichen Ansatz verfolgt auch die VR-Dokumentation Awavena – doch das Team um die 14-minütige VR-Erfahrung wollte noch mehr.

Die Umgebung des Amazonas ist hochkomplex: sensorische Trigger authentisch in die VR-Dokumentation zu integrieren und diese zu einer echten Experience wachsen zu lassen, war eine große Herausforderung… Für die Produktion arbeitete Greenpeace Brasilien/UK nicht nur mit BAFTA-Gewinner James Manistry von AlchemyVR und James Aldred zusammen, der schon für Naturformate der BBC zuständig war, sondern kooperierte in Sachen olfaktorischer Vermittlung auch mit The Feelies.

Munduruku : une expérience multisensorielle - Keynote VA

Parfümeur Nadjib Achaibou hatte hier als Teil des Feelies-Teams die Aufgabe, den Regenwald-Duft in Umgebung der Munduruku zu erforschen. Schließlich fand dieser Feldversuch Eingang in sechs unterschiedlichen Düften.

„We had to overcome our own preconceived ideas of what the environment in the rainforest smelled like, as the reality was quite different to how we’d initially imagined it. There were green, grassy notes as you might expect, but Nadjib was also finding a lot of notes from the rotting organic material on the ground, which is an essential part of the duality and beauty of great natural systems – like this rainforest(…)
It’s so important that, when we create digital experiences about nature, we don’t sanitise it to capture only the pleasant, fairy-tale parts. If you do, ultimately you’re going to end up with something bland; a poorer representation of the story.“

Grace Boyle, Designerin und Produzentin, The Feelies

Das Audio umfasste verschiedene materielle Aspekte der Umgebung, u.a tieffrequente Infraschallspuren aus dem Wald und Unterwasser-Hydrophonaufnahmen des Tapajos-Flusses. Ein Hydrophon kann sowohl sehr hohe als auch sehr tiefe Frequenzen aufnehmen. Auch die Motoren der bedrohlichen Industrie wurden mit der Vibrationsspur verwoben und auf den Subpac übertragen.

Zudem gab es weitere sensorische Trigger wie Temperaturänderungen und Berührungen, die mit dem narrativen Konzept der Story abgestimmt wurden.

Munduruku kam als virtuelle Erfahrung bei den Besuchern besonders gut an, da Gefühle wie Hoffnung, Verzweiflung, Ohnmacht und Mitmenschlichkeit hier auf sehr komplexe Art angesprochen wurden. Letztlich geht es um einen Kampf am (vermeintlich) anderen Ende der Welt, der sich gleichsam auf unser eigenes Ökosystem auswirkt. Wer in 360-Grad-Perspektive sieht, wie der Bau des Staudamms am Rio Tapajós die Region und damit auch das Leben und die Kultur der Munduruku zerstört, der kommt nicht umhin, betroffen zu sein.

Das Projekt wurde ursprünglich entwickelt, um den Schutz indigener Landrechte gegenüber der städtischen Bevölkerung ins Bewusstsein zu heben. Dafür reiste Munduruku als VR-Installation bereits durch verschiedene Metropolen Südamerikas. Der 360-Grad-Film erhielt bereits auf mehreren Festivals Auszeichnungen. Beim FoST wurde er mit dem People´s Choice Award ausgezeichnet.

Der Traum vom Fliegen…

Mit Jurassic Flight gab es in der Arcade einen Abflug in prähistorische Gefilde: auf dem Rücken des Kepodactylus, rund 150 Millionen Jahre zurück in unserer Zeit. Sprengt das unsere Vorstellungskraft? Unter den Bewegungsalgorithmen von Robotik und Simulationstechnologie, respektive den Schwingen von Birdly VR, kommen wir unserem Traum vom Fliegen näher…

Jurassic Flight ist die neueste Birdly-Experience von Somniacs, einem Spin-off der Zürcher Kunsthochschule. Auf dem full-body virtual flight simulator lässt sich zumindest erahnen, wie es in grauer Vorzeit ausgesehen haben mag. Zusätzlich zu den stereoskopischen 3D-Bildern – samt beeindruckendem Auftritt eines Brontosaurus – können Teilnehmer auf dem VR-Simulator Arme und Hände in Anlehnung ans Flügel-Flattern bewegen. Dafür müssen sie sich zuvor bäuchlings auf die Vorrichtung des Simulators legen. Und: Flug ab!

Die motorischen Flugbewegungen zur Navigation und Regulierung von Flughöhe und Fluggeschwindigkeit werden in die Bewegungen des fliegenden Dinosauriers übersetzt. Zusätzlich inkludiert Birdly-VR Schall- und Windfeedback.

Auch wir von Aspekteins arbeiten stetig daran, die Möglichkeiten immersiven Storytellings auszuweiten und so individuelle und immersive Erfahrungen zu generieren. Unsere Hyperresponsive-VR-Technologie (HRVR) ist personalisiertes Storytelling auf ganzer Linie. Wir sind hoch passionierte VR-Filmer und haben uns der authentischen Umsetzung erzählerischer Strategien mittels virtueller Technologien verschrieben. Lassen Sie sich inspirieren und von uns an die Hand nehmen: Auf dem Weg in die Welt des Storytellings von Morgen!

HIER KLICKEN FÜR IHR 360° / VR-PROJEKT

Bildrechte Titelbild: © AdobeStock – franz12

360-Grad-Produktion, FoST, Future of StoryTelling, Immersion, Installation, Kunst, VR/AR