Vom Wohnzimmer direkt hinein in fremde Welten: Volumetrische Videoproduktionen erweitern Film-/VR-Produktion durch eine neue Dimension. Anstatt das Geschehen nur passiv von einem festgelegtem Ort zu verfolgen, können Zuschauer sich frei durch die aufgenommene Szenerie bewegen. Für hochqualitative Realfilmaufnahmen in diesem Format der Zukunft wird viel technisches Equipment und Knowhow benötigt. Doch wer denkt, mit Mixed-Reality-Capture-Studios oder dem Intel-Dome wären solche Aufnahmen nur im Ausland möglich, der irrt. Auch hier in Deutschland werden inzwischen erfolgreich volumetrische Videos produziert.
Mit Komprimierung und Implementierung volumetrischer Inhalte auf mobilen VR/AR-Geräten befasst sich das Fraunhofer Heinrich-Hertz-Institut. In den eigenen Labors betreiben die Forscher deshalb schon seit 2017 den Prototypen eines volumetrischen Videostudios.
Volumetrische Videoproduktionen als Raumöffner
Bildquelle: virtualrealitybb.org
Das erste kommerzielle europäische Studio im Bereich Volumetric VR ist das Volumetric Capture Studio Babelsberg. Das von der Volucap GmbH im Filmpark Babelsberg betriebene Projekt (neben der Fraunhofer Gesellschaft sind u.a. die UFA & Arri beteiligt) hat bereits mehrere Produktionen (lesen Sie hier unseren Artikel über das Volucap/Fanta4-Projekt „Ein Tag am Meer“) erfolgreich fertigstellen können. Für die 3D-Rekonstruktionstechnologie menschlicher Darsteller erhielten die Forscher vom HHI schon einige wichtige Preise, unter anderem den renommierten Joseph-von-Fraunhofer-Preis.
2018 wurde im Volucap-Studio „Ein ganzes Leben“ videographiert, ein Film, der Dreharbeiten in den frühen 1920er Jahren thematisierte.
Zur volumetrischen Modellierung setzte man die vom HHI entwickelte „3D Human Body Reconstruction“/3D HBR-Software ein, um die Schauspieler Franziska Brandmeier und Herbert Knaup in der virtuellen Welt überzeugend rekonstruieren zu können. Hierfür erfassten die Filmemacher die vollständigen Bewegungen der Darsteller, um sie anschließend in ein 3D-Mesh zu überführen.
Mittels der 3D HBR-Tiefensoftware wurden von den Akteuren hologrammartige Strukturen erzeugt, die auch Mimik, Gestik & Textur (etwa von Kleidung oder Haaren) naturgetreu wiedergeben. Im Vergleich zu anderen volumetrischen Technologien arbeitet 3D HBR bei der virtuellen Rekonstruktion besonders exakt. Dadurch können selbst komplexe Charakteristika wie Muttermale oder winzige Bartstoppeln authentisch in 3D generiert werden.
Für eine optimierte (weniger Datenvolumen fordernde) Postproduktion agierten die Darsteller ohne szenische Umgebung und wurden getrennt voneinander aufgenommen.
Für das volumetrische Video wurden auf 170 Quadratmetern und drei Ebenen 16 Stereo-Kamerapaare (5K/ 30fps) in einer vier Meter hohen Rotunde installiert.
Die gesamte Wand des Studios, aber auch das Bodenplateau auf dem die Darsteller agierten, wurde zudem mit Leuchtdioden ausgestattet.
Im Volucap Studio sind Leuchtdioden verbaut, die eine spätere CGI-Nachbearbeitung erleichern. Bildquelle: volucap.de
Die komplexe Ausleuchtung unterscheidet sich von anderen volumetrischen Studios, die vielfach mit einem Green Screen zur farbbasierten Freistellung von Bildmaterial arbeiten.
Mittels der verbauten Arri Sky Panels lässt sich das Lichtspektrum innerhalb von Millisekunden beliebig verändern. Das erleichtert nicht zuletzt die CGI-Bearbeitung: So können gewünschte Lichteffekte schon beim Dreh gesetzt werden.
Bildquelle: virtual-reality-magazin.de
Bildquelle: filmtechapp.com
Im volumetrischen Film treffen Betrachter und Akteure unmittelbar aufeinander. Es findet sozusagen eine Begegnung im selben Raum statt. Der Headset-Anwender kann sich selbstständig um die Inhalte herum bewegen. Die berühmte Vierte Wand, die für eine Rest-Distanz zwischen Protagonist und Zuschauer sorgt, entfällt quasi vollständig.
Eine derartige Freiheit erfordert es, Zuschauer subtil zu leiten. Hierbei helfen Licht und Sound. So können zum Beispiel bestimmte Aspekte der VR-Inszenierung betont oder abgeschwächt werden.
Komplexe Vorgänge vereinfachen
Aufgrund der gigantischen Datenmengen volumetrischer Videoproduktionen ist die Standardisierung volumetrischer Formate für die unkomplizierte Verteilung an den Endkunden ein wichtiges Thema: Wie lassen sich 3D-Tiefeninformationen etwa noch effizienter generieren und welche Verteilungsplattformen können geschaffen werden, um volumetrische Inhalte leichter zum Betrachter zu bringen?
Verschiedene Nachbearbeitungsmodule verarbeiten die im Volucap-Studio angefallenen Datenstrukturen deshalb anschließend so, dass eine direkte Integration in standardisierte Postproduktionsanwendungen für VR- und AR-Anwendungen möglich ist.
„Der Post-Workflow hier entspricht eher dem eines Computerspiels. Wir bauen eine 3D-Welt, in der die volumetrische Figur agiert. Wir nutzen Tools aus der Gaming-Welt wie Unity (…) Auch Dialoge, Geräusche usw. werden in diesen Engines angelegt. Damit arbeiten wir objektbasiert. Wir können z.B. ein Fahrgeräusch an ein vorbeifahrendes Auto anhängen. Der Ton bewegt sich automatisch in Echtzeit im Raum mit, ohne dass man eine räumliche Mischung machen müsste.“
Frank Govaere, VFX Supervisor, UFA
Ein größeres Ganzes schaffen
Bildquelle: ufa-x.de
„Der Inhalt ist bis jetzt immer in
Sven Bliedung, Volucap GmbH
2D gefangen(…)Wenn der Inhalt den Bildschirm verlässt, man sich im freien Raum bewegt und interagiert, dann wird man Teil der Geschichte.“
Der Traum des Cesare als VR-Installation. Bildquelle: goethe.de
Mit dem Goethe-Institut Warschau arbeitete Volucap auch an einer Adaption des Stummfilmklassikers „Das Cabinet des Dr. Caligari“.
Für den VR-Anwender findet hier eine innovative Auseinandersetzung mit analogen und virtuellen Inhalten statt: gemeinsam mit den Protagonisten Cesare und Caligari bewegt sich der Nutzer abwechselnd durch obskure Traumsequenzen und die scheinbar vertraute Dimension der Realität. Vor allem aber kann der mit einer VR-Brille ausgestattete Zuschauer die Story aktiv und individuell beeinflussen – und so ein Teil von Cesares Traum werden…
Auch mit dem volumetrischen Zeitzeugeninterview „Ernst Grube – Das Vermächtnis“ setzt Volucap auf 3D HBR.
Volumetrische Produktionen ermöglichen es VR-Headset-Anwendern, ganz nah an Protagonisten heranzutreten oder um diese herum zu laufen: Der VR-Nutzer fühlt sich als Teil des Settings. Hier interviewt Schüler Phil Carstensen den Theresienstadt-Zeitzeugen Ernst Grube. Bildquelle: hhi.fraunhofer.de
Zeitzeugen-Erfahrungen im nationalsozialistischen Deutschland und eine traumatische Gefangenschaft im Konzentrationslager Theresienstadt werden dem Zuschauer ganz unmittelbar zugetragen. Mit Blick auf die zeitliche Distanz zur NS-Thematik bietet sich gerade jüngeren Erwachsenen über volumetrische Videos eine Möglichkeit, sich auch emotional einen besseren Zugang zu politischen Inhalten zu verschaffen.
Wir von Aspekteins sind Spezialisten im Bereich VR/AR-Anwendungen, sowie VR-Storytelling/Hyperresponsive Storytelling (HRVR).
Bei HRVR, einer besonders subjektiven Art des VR-Storytellings, das die Aspekteins GmbH entwickelt hat, wird die Erzählstruktur zugunsten eines hochgradig persönlichen Verlaufs durch Auswertung verschiedener Sensoren beeinflusst. So reagieren virtuelle Charaktere immersiv genau auf das, was ein Zuschauer tut. Während die Technologie heute mit 360-Grad-Videos umgesetzt wird, wird sie in Zukunft auch für volumetrische Inhalte genutzt werden.
Warten Ihre Ideen auf Umsetzung? Wir unterstützen Sie gerne mit unserer Expertise!
Kontaktieren Sie uns für Ihr VR-/HRVR-Projekt
Bildrechte Headerfoto: © Volucap