Das South by Southwest Festival (SXSW) startet heute in die nächste Runde. Bis zum 16. März haben Besucher nun wieder die Möglichkeit, zahlreiche Kunstfestivals, Konferenzen und Fachausstellungen zu besuchen und neue Eindrücke aus den Bereichen Tech, Musik, Kunst, und Film zu sammeln- das SXSW-Festival vertritt irgendwie alle Genres und wird deshalb auch als Veranstaltung für Visionäre gehandelt. Wir nutzen den heutigen Start des Festivals um einen Blick zurück zu werfen, was das SXSW letztes Jahr für XR-Enthusiasten zu bieten hatte.
Immersive VR pur
In drei Kategorien liefen 2023 unter der „XR Experience Competition“ 15 Weltpremieren in Sachen immersiver Film/VR– und AR-Erfahrung, im „XR Experience Spotlight“ wurden preisgekrönte immersive Projekte präsentiert und schließlich konnten Besucher im Rahmen der „XR Experience Exhibition“ viele XR-Projekte selbst ausprobieren.
Die „XR Worlds“ des SXSW sind auch von zu Hause aus, über das eigene VR-Headset, erlebbar: Online-Gäste nehmen über die SocialVR-App VRChat als Besucher teil.
Den SXSW-Innovation Award 2023 erhielt in der Kategorie XR/Immersion die Motion-Capture-App move.ai, die volumetrisches markerloses Motion-Capturing über eine Handvoll iPhones erstellen lässt. Die dabei generierten Daten sind anschließend mit Programmen wie UnrealEngine, Cinema4D oder Maya-Software kompatibel. Realistische Bewegungsdaten helfen dabei, virtuelle Charaktere authentisch zu gestalten – gerade in VR-Anwendungen mit hohem Realismusanspruch kommt dem Motion Capturing daher eine große Bedeutung zu (wir bei Aspekteins arbeiten für derartige Projekte mit einem Motion-Capturing-Suit). Die Ergebnisse von der sehr niedrigschwelligen AI-gestützten Technologie move.ai kommt in vielen Situationen schon sehr nahe an die Ergebnisse von teureren und aufwändigeren Marker-basierten Verfahren heran, wie das folgende Video demonstriert:
VR-Film & 360°-Videos
Die auf der letztjährigen SXSW präsentierten VR-Filme bedienten sich wieder sehr unterschiedlicher Genres.
Immersive Filme lassen das Publikum unter VR-Brillen direkt in die dargestellte Umgebung „eintauchen“ und erzählt häufig in Form eines Ich-Erzählers: VR-Anwender können sich in diesem Medium stärker mit Protagonisten identifizieren, in andere Rollen schlüpfen. Durch die geringe Distanz zur Geschichte fällt die „Suspension of disbelieve“ leicht und Zuschauer können Erfahrungen machen, wie sie in keinem anderen Medium möglich wären. Alles was hier „first person“ erzählt wird betrifft den VR-Nutzer unmittelbar, d.h. er wird konfrontiert mit dem Leid, dem Schmerz oder der Freude des Protagonisten und „schlüpft“ entsprechend in eine fremde Rolle, aus deren Perspektive heraus alles Erzählte so erlebt wird, als sei der VR-Anwender selbst (aus-)führender Teil der Story. Unter dem Begriff lassen sich sowohl lineare 360°-Filme (in denen sich Zuschauer*innen nur umsehen, jedoch nicht bewegen können) sowie interaktive Anwendungen mit 6DoF-Tracking zusammenfassen. Beide Spielarten immersiver Filme haben dabei eigene Vorteile: 360°-Filme können direkt aus Realfilm-Videomaterial erstellt werden und bieten so eine höhere Authentizität, während interaktive Anwendungen eine höhere Teilhabe ermöglichen.
An dieser Stelle sei uns ein kleiner Einschub mit Blick auf unser eigenes Schaffen im Bereich immersiver Filme erlaubt: Wir haben eine Plattform für interaktive Stories entwickelt, die eine Zwischenstufe beider Spielarten immersiver Filme darstellt: Hyperresponsve VR-Anwendungen erfassen bewusstes wie auch unterbewusstes Verhalten von Nutzer*innen und erkennen zum Beispiel deren Blickrichtungen oder gesprochene Worte. Die Anwendung kann darauf basierend automatisch den auf das Verhalten passendsten Pfad innerhalb einer verzweigten Geschichte wählen. Durch Überblenden von verschiedenen Realfilm-360°-Clips können so Geschichten erzählt werden, in denen Spieler*innen aktiv auf die Geschichte einwirken – und das ohne immersionsbrechende UI-Elemente einblenden zu müssen. Wir nutzen also authentische Realfilm-Aufnahmen und versehen diese mit einem Maximum an Interaktivität. Nutzer*innen müssen keine neuen Gameplay-Mechaniken erlernen, sondern verhalten sich mit virtuellen Charakteren genauso wie sie es mit echten Menschen tun würden.
Zurück zum letztjährigen SXSW: Neben einer Neuaufbereitung von Bram Stokers „Dracula“ („The Invited“) in Gewand eines animierten PopUp-Märchens, welches Zuschauer in eine zwanzig-minütige VR-Erfahrung einlädt, gab es in diesem Jahr auf dem SXSW auch eine VR-Produktion, die die Ereignisse vom 22. November 1963 reflektieren möchte: der Tag, an dem der durch die jubelnden Zuschauermassen fahrende Präsident John F. Kennedy vor den Augen von Tausenden in Dallas ermordet wurde. Der Fall beschäftigt auch sechzig Jahre später immer noch viele Menschen; die VR-Dokumentation schließt an dieses Interesse an und nimmt seine Anwender mit auf eine komplex aufbereitete Zeitreise.
twitter/@targostories
„JFK Memento“ bereitet Archivmaterial auf und widmet sich jenen historischen Plätzen, die im Kontext der Ereignisse wichtig waren und sind, holt den VR-Zuschauer hinein in die Atmosphäre der Ereignisse und lässt in sechs Kapiteln noch lebende Zeitzeugen, Journalisten & Ermittler zu Wort kommen. Dabei wurde Bild- und Filmmaterial in 3D aufbereitet, so dass sich Zuschauer unter dem Headset stärker in die Ereignisse begeben können.
Das gleiche Produzententeam präsentierte den Beitrag „Behind the Dish“, eine mehrteilige 360-Grad-Doku über drei weibliche Köche und ihre Arbeits- und Karriereerfahrungen auf verschiedenen Kontinenten.
VR-Storytelling & Erinnerungskultur
Bildquelle: jiabaoli.org
Once a Glacier wurde im 2022 und 2023 bereits auf verschiedenen VR-Festivals, etwa dem Raindance Immersive Festival, gezeigt und erhielt auf dem Cannes World Film Festival in der Kategorie „Best VR Short“ eine Auszeichnung.
Die Inupiaq-Tradition (Plurar: Inupiat, Inupiaq bezeichnet auch die Sprache der Inupiat) wird im Norden bzw. Nordwesten Alaskas immer noch von einem Stamm von Ureinwohnern gelebt. Die Gemeinde der Inupiat umfasst rund 34 Gemeinden und verzeichnet gegenwärtig etwa 20.000 Einwohner.
Um in der rauen Natur der arktischen Umgebung überleben zu können, entwickelten die Inupiat ein tiefes Verständnis für die sie umgebenden, natürlichen Schöpfungsprozesse. So sagen die Inupiat, dass der Wal ihnen die Musik bringt und dass ausbleibender Walfang das Verschwinden der entsprechenden Klänge bedeutet: der traditionelle Walfangzyklus (etwa Mittsommer-Walfeste) ist untrennbar mit Musik, Emotion und ortbezogener Identität der Inupiat verbunden.
Auch Gletscher spielen eine wesentliche, lebendige Rolle bei dem Inuit-Volk. Die Eis-Formationen sind sowohl Ausdruck als auch Zeugen arktischer Prozesse und werden von den Ureinwohnern Alaskas in Liedern zelebriert – diese Tradition verleiht der Natur gewissermaßen eine Stimme.
Inupiaq ist eine polysythentische Sprache, wie es in der Linguistik heißt, und quasi vom Aussterben bedroht. Alle Wörter sind komplex kombinierbar und viele Informationen können mit allein einem Wort zum Ausdruck gebracht werden – ein ganzer Satz kann in einem einzigen Wort Verständigung finden. Um die Sprache zu erhalten und an nachfolgende Generationen weitergeben zu können werden gegenwärtig hohe Anstrengungen unternommen.
Angesichts des Klimawandels droht den indigenen Einwohnern Alaskas der Verlust wichtiger Nahrungsquellen als auch gelebter Traditionen mit Blick auf naturbezogenen Tanz & Musik. Eine hochgradig ausgebeutete Natur, Veränderungen des Erdmagnetfeldes, stärkere Erderwärmung – die bedrohte Umwelt könnte letztlich auch das Aus der traditionellen Inupiaq-Liedtradition bedeuten. Als wichtiges Band traditioneller persönlicher Beziehung zwischen Mensch und Natur bringen die Lieder nicht nur die Verbundenheit des indigenen Volkes mit der sie umgebenden natürlichen Umwelt zum Ausdruck, sondern stehen exemplarisch für die in vielen Kulturen schon verlorene Einheit zwischen Natur und Mensch.
„Once a Glacier“ ist deshalb so besonders, da es poetisches VR-Storytelling über das Geschichtenerzählen ist. Der Betrachter wird auf eine virtuelle Reise durch die scheinbar vergeblichen Bemühungen eines jungen Mädchens mitgenommen, das verzweifelt schützen möchte, was einst intakt gewesen ist.
Die Regisseurin der VR-Story lebte selbst ein Jahr in Alaska, setzte sich intensiv mit der Inupiaq-Tradition auseinander und arbeitete für den Film auch mit Glaziologen und der indigenen Dichterin Joan Naviyuk Kane.
Die reine VR-Erfahrung über das Headset wurde auf der ONX + DocLab MoCap Stage / IDFA 2022 auch um eine Live-Performance erweitert. Motion Capture-Technologie bietet insbesondere bei VR-Storytelling die Möglichkeit, Interaktionen authentischer zu gestalten und befördert Präsenzempfinden und immersives Erleben von VR-Nutzer*innen.
Zusätzlich können Düfte oder physikalische Aspekte wie Wind eingesetzt werden, um in der Vermittlung virtueller Narrative unterstützend wirken – auch diese Technik wurden bereits im Rahmen von „Once a Glacier“-Performances genutzt.
Nach diesem kleinen Ausflug in herausragende Produktionen auf dem SXSW des letzten Jahres sind wir gespannt darauf, was die diesjährige Ausgabe des Festivals zu bieten haben wird.
Auch wir von Aspekteins arbeiten stetig daran, die Möglichkeiten immersiven Storytellings auszuweiten: Unsere Hyperresponsive-VR-Technologie (HRVR) ist personalisiertes Storytelling auf ganzer Linie. Wir sind hoch passionierte VR-Geschichtenerzähler und haben uns der authentischen Umsetzung erzählerischer Strategien mittels virtueller Technologien verschrieben.
Lassen auch Sie sich begeistern:
HIER KLICKEN FÜR IHR 360° / VR-PROJEKT
Bildrechte Titelbild: © GalinaSt – Adobe Stock