Zeiss, RED Cinema, NVIDIA, Verizon, Unity, Intel und Canon – sie alle haben sich der Zukunft der VR verschrieben: die sieben Unternehmen haben sich erst kürzlich zur Volumetric Format Association (VFA) zusammen geschlossen, dem ersten Branchenverband zur Standardisierung volumetrischer Videoproduktionen.
Der gesamte volumetrische Produktions- und Postproduktionsprozess unterliegt bislang immer noch proprietären Softwareprogrammen, die sehr große Datenmengen bewältigen müssen. Ein neues Ökosystem für volumetrische Videoproduktionen würde nicht nur den digitalen Workflow, sowie Ausgabe und Distribution volumetrischer Inhalte auf Endgeräten vereinfachen, sondern auch ganz maßgeblich dazu beitragen, Volumetric VR, d.h. volumetrische Videoproduktionen, einer breiteren Öffentlichkeit zugänglich zu machen.
Volumetric VR im Mainstream?
Eine volumetrische Aufnahme arbeitet mit Tiefeninformation. Gfycat
Um dieser Zukunftsvision näher zu kommen, werden spezifische Teams zur Entwicklung gebildet, um z.B. einer Verbesserung des Datentransfers, einheitlichem Decoding oder optimierten Rendering-Technologien zu entwickeln.
Volumetric VR generiert eine Art holographisches Video aus beweglichen Punktwolken, welche VR-Nutzer aus verschiedenen Blickwinkeln explorieren können. Anders als herkömmliche 3D-Videos wird bei volumetrischen Formaten mit Tiefeninformationen gearbeitet, die zu einem technologischen Novum führen: der hyperrealistischen, dynamischen Darstellung von Personen.
Dafür werden die Protagonisten einer Volumetric VR-Produktion zunächst mit Hilfe dutzender Kameras/ Sensoren von allen Seiten aufgenommen. Die dabei generierten (Einzel-)aufnahmen werden synchronistisch zusammengeführt. Anschließend arbeitet ein 3D-Rekonstruktionsalgorithmus die dabei anfallenden Dateninformationen zu einem Hologramm auf.
VR-Nutzer können sich dann buchstäblich um die virtuell erstellte Person herumbewegen und sich selbst als Teil einer realistisch anmutenden Umgebung erfahren. Letztlich sorgt volumetrische VR dafür, reale Personen zum VR-Anwender zu transportieren und einen gemeinsamen (Hyper-)Raum für eine Begegnung zu eröffnen.
Allerdings ist dieser Weg noch holprig und bislang wenig ressourcen-schonend. Die für die volumetrische Produktion anfallenden Arbeitsschritte wie das Entpacken der Meshes, die Generierung entsprechender Texturen und schließlich die Komprimierung der Daten ist extrem aufwendig: für die unkomprimierten Datenmengen können schnell 100 GB pro Sekunde anfallen.
Die VFA firmiert nicht nur mit Blick auf vorproduzierte Volumetric VR, sondern will auch Echtzeit-Holo-Portation bei Live-Events, etwa Konzerten oder Sportveranstaltungen, ermöglichen.
Virtuelle Konzertbesucher würden sich dabei als Avatare unmittelbar in eine volumetrische Veranstaltungsumgebung hineinbewegen (z.B. Bühnenbereiche) und diese multidimensional erkunden können. Die Tiefenwirkung dargestellter Inhalte erhöht Präsenzgefühl und immersives Erleben des VR-Nutzers.
Auch unter anderen Gesichtspunkten ergeben sich mittels volumetrischer VR Vorteile.
„You can pause at any moment you want and analyse any intricacy that makes that golfer unique. I think it´s one of the most innovative steps forward we´ve ever had in sports broadcast analysis.“
Duncan East, Head of Creative, Sky Sports Masters 2020
Begegnung einer neuen Art
Der große Unterschied zu anderen 3D-Videoproduktionen besteht bei Volumetric VR also darin, dass auch die gesamte räumliche Struktur digitalisiert wird. Dafür gibt es weltweit ein paar Spezialstudios mit entsprechender Ausstattung.
Eines davon waren die 10.000 Quadratmeter großen Intel Studios in L.A., die im Gegensatz zu anderen Locations zeitgleich ganze Personengruppen volumetrisch erstellen konnten, Ende 2020 jedoch pandemiebedingt schließen mussten (Lesen sie mehr zum Thema Volumetric VR in unserem Artikel „Volumetric Capture: Mit volumetrischen Videoproduktionen in eine neue VR-Ära“).
Neben High-End-Studios (weitere sind u.a. Volucap in Babelsberg, die auch Fantaventura produzierten oder das in Neuseeland ansässige i8) gibt es allerdings inzwischen auch die Möglichkeit, volumetrischen Content mit handelsüblichen Sensoren/ Aufnahmesoftwares wie Azure Kinect & Depthkit zu generieren. Auch über gewöhnliche RGB-Kameras lassen sich holografische Inhalte erstellen. Dazu konvertieren z.B. spezielle Cloud-Plattformen 2D-Videos mit entsprechenden Tiefeninformationen.
Für professionellen volumetrischen Content sind allerdings weiterhin technisch komplex ausgestattete Studios erste Wahl.
Volumetric VR bietet auch die großartige Möglichkeit, einmal erstellte 3D-Modelle stets neuen Kontexten zuzuführen: Unterschiedliche Polygon-und Texturauflösungen eines solchen Assets können später einfach als flexible Sets genutzt werden.
Neben dem Support immersiver Unterhaltungsevents, wie es auch Anstrengung der VFA ist, lässt sich mit volumetrischen Videoproduktionen auch VR-Storytelling aufwerten.
Immersives Storytelling lebt von der aktiven Teilnahme virtueller Anwender. Diese sind nicht länger passive Zuschauer, sondern durchbrechen mittels persönlicher Interaktion (i.d.R. mit 6-DoF-Tracking) sozusagen die vierte Wand, indem sie den Verlauf einer Story direkt beeinflussen.
Für vorproduzierte volumetrische Formate ergibt sich das Gefühl einer direkten Beteiligung schon oft allein aufgrund der realistischen Szenen, in denen sich ein VR-User bewegen kann. Direkte Interaktionen mit volumetrischen Modellen oder Hologrammen sind allerdings, mit Blick auf die noch schwierige Generierung entsprechenden Contents, Zukunftsmusik. Deshalb setzten Studios wie das Canon Volumetric Studio in Kawasaki beim Thema VR-Storytelling etwa auf die hyperrealistische Darstellung von Gefühlen holografischer Avatare, denen sich ein Anwender unter der VR-Brille ausgesetzt sieht.
Nicht mit jedem volumetrischen Protagonisten ist allerdings gut Kirschen essen…/Volumetric VR, Kawasaki Studios. Bildquelle: japan.zdnet.com
Auch Aspekteins ist professioneller Entwickler innovativer VR-Storytelling-Formate und fokussiert sich insbesondere auf hyperresponsive VR (HRVR): sowohl bewusste Entscheidungen, als auch unbewusste Verhaltensweisen eines VR-Headset-Nutzers haben dabei unmittelbaren Einfluss auf den virtuellen Content, der im Ergebnis auf das gesamte Nutzerverhalten antwortet.
Erstellt wird eine Vielzahl an Entscheidungswegen, deren übergeordnetes Narrativ sich erst durch die Beteiligung eines VR-Anwenders ergibt. Dabei gilt, dass jeder individuelle VR-Nutzer das Potential der HRVR-Anwendung selbst ausgestalten muss! Derzeit werden HRVR-Anwendungen auf Basis von 360°-Videoclips generiert – in Zukunft ist aber durchaus auch der Einsatz von volumetrischen Aufnahmen für derartige Anwendungen denkbar.
Wenn auch Sie Ihre Kunden mit innovativen Möglichkeiten ganz direkt ansprechen möchten, dann zögern Sie nicht länger: Kontaktieren Sie noch heute die Experten von Aspekteins und gestalten Sie zusammen mit uns die Zukunft der virtuellen Realität!
Kontaktieren Sie uns für Ihre VR/ HRVR-Anwendung
Bildrechte Titelbild: © LuckyStep – Adobe Stock