Die SIGGRAPH 2020-Konferenz wurde aufgrund der Pandemie nur virtuell abgehalten. Mit der größten Ankündigung sorgte Google aber schon vor der eigentlichen Konferenz für Aufsehen: Google stellte eine Lichtfeld-Kamera als End-to-End-System vor, die qualitativ hochwertige volumetrische Aufnahmen anfertigen könne, die sogar so weit komprimiert werden können, dass sie mit einer schnellen Internetverbindung im Browser gestreamt werden können. Ein Meilenstein!
Um zu verstehen, warum uns diese Ankündigung so in Ekstase versetzt, werfen wir einen Blick auf grundlegende Technologien, die Lichtfeld-Aufnahmen ermöglichen.
Tiefenwirkung garantiert
Bildquelle: raytrix.de
Vielleicht erinnert sich noch der ein oder andere an Lytro: Die US-amerikanische Firma entwickelte plenoptische Kameras (lat. plenus, vollständig) für den Consumer-Markt. Der Clue: Mit den Lichtfeld-Aufnahmen, die die Kameras erstellten, konnten Nutzer den Fokusbereich nachträglich verändern. Mit der Lyrto Immerge entwickelte das Unternehmen auch ein professionelles Lichtfeld-Kamera-Array aus 95 Kameras, mit der sich Zuschauer in der virtuellen Realität (in einem engen Radius) frei bewegen können. Das ist zum einen deutlich immersiver als „starre“ stereoskopische 360°-Videos, da der Tiefeneindruck noch verstärkt wird und Nutzer „um Objekte herum“ sehen können, zum anderen beugt es aber auch Motion Sickness vor. Diese Form der Übelkeit entsteht vor allem dann, wenn der erwartete Seheindruck nicht mit dem tatsächlich Gezeigten übereinstimmt – also zum Beispiel auch, wenn minimale Kopfbewegungen zur Seite in einem 360°-Video nicht wiedergegeben werden können.
Ein Sensor der plenoptischen Variante erfasst nicht nur Helligkeitswerte, die dann zu einem Bild zusammengesetzt werden können, sondern ermittelt zusätzlich auch die Richtung einfallender Lichtstrahlen. Das heißt: die Dimension der Bildtiefe wird erfasst.
Die Mikrolinsen der Lichtfeldkamera separieren die Lichtstrahlen auf Basis ihres Einfallswinkels, bringen sie als Subimages auf den Sensor und erschaffen ein vollständiges 4D-Lichtfeld einer dreidimensionalen Szene. Mit den zusätzlichen Informationen über den Einfallswinkel der Lichtstrahlen können wir Bilder in verschiedenen Abständen vom Objektiv berechnen oder rendern. Parameter wie Tiefenschärfe, Fokus, Bildausschnitt und Lichtverhältnisse lassen sich später umfassend korrigieren.
Da ein Lichtfeld alle Lichtfelder eines Raumvolumens aufzeichnen kann, wird das Licht von Objekten auch sichtbar unterschiedlich reflektiert. Im Rahmen der multi-perspektivischen Aufnahme wirkt es dann, als würden sich die szenischen Inhalte in unmittelbarer & greifbarer Nähe zum Betrachter befinden: Lichtfelder erzeugen eine Bewegungsparallaxe, die uns auch in realen Umgebungen über die Entfernung von Objekten informiert.
Die nachträgliche Korrektur von Aufnahmeparametern und die zusätzlichen Tiefeninformationen bieten unschätzbare Vorteile bei der Integration von VFX/CGI– das Zusammenspiel von Takes mit realen Darstellern/Aufnahmen und Special Effects kann erheblich vereinfacht werden, denn 3D-Modelle, Filmsequenzen oder Photogrammetrie lassen sich mit den Lightfield-Aufnahmen problemlos mischen – ganz ohne Greenscreen.
Doch so vielversprechend die Ergebnisse waren, die die Lytro-Kameras erzielten: 2018 schien der Traum geplatzt: Lytro, Inc. stellte seine Geschäftstätigkeit ein.
Simulierte Umgebungen authentisch erfahren
Bildquelle: augmentedperception.github.io
Viele der ehemaligen Lytro-Mitarbeiter arbeiten heute bei Google. Google beeindruckte 2018 die VR-Gemeinde mit der kostenlosen „Welcome to Light Fields„-Applikation, in der sie Lichtfeld-Fotoaufnahmen in bestechender Qualität erlebbar machten. Mit der frisch zur Siggraph-Konferenz vorgestellten Technologie ist Google den nächsten Schritt hin zu einem marktreifen Produkt gegangen: In Sachen Preislage, Datenkomprimierung und breiter Anwendbarkeit könnten hochwertige, immersive Lichtfeld-Videos bald den Weg auf sämtliche Devices finden.
„Completing this project feels like we’ve overcome a major obstacle in making virtual experiences realistic, immersive, distributable, and comfortable.“
Paul Devebec, Filmemacher & Ingenieur Google
Um den entscheidenden Schritt nach vorn etablieren zu können, setzten Googles VR-Entwickler auf neue Kniffe und Tricks bei der Weichenstellung. Verwendet werden herkömmliche Kameras: Das Array besteht aus 46 zeitsynchronisierten Yi 4K-Kameras, die in einer Halbkuppel in Ikosaeder-Struktur verbaut sind. Die Tiefeninformationen berechnet DeepView, ein KI-Algorithmus für maschinelles Lernen. Die KI berechnet aus Einzelaufnahmen 3D-Bilder, die aus konzentrischen Schichten bestehen. Zwecks Minimierung der Datenmenge werden die entsprechenden Texturen komprimiert und die Anzahl der Schichten reduziert.
Durch die Komprimierung der immensen Datenmengen unter Nutzung herkömmlicher 2D-Videocodecs wie H.264 oder VP9, sollen Anwender von VR-Headsets, AR-Displays und Webbrowsern bald problemlos profitieren können. Sogar Echtzeit-Übertragungen per WLAN sollen dem Unmöglichen trotzen: ein Lichtfeldvideo soll via 300 MBit/s gestreamt werden (hier geht´s zum Technical Paper).
Funktionsweise des Kamera-Arrays zur Erfassung eines 6DoF-Lichtfelds: Auswirkung von Kameraabstand und Rig-Durchmesser auf die Größe der Betrachtungsgrundlinie/ Abstand zum nächstgelegenen Objekt, das durch die sphärische Anordnung der Objektive aufgenommen werden kann. Bildquelle: dl.acm.org
Das alles klingt zu gut, um wahr zu sein? Auf der frisch veröffentlichten Themenseite kann man sich selbst davon überzeugen. Hier hat Google nämlich eine ganze Hand voll Lichtfeld-Aufnahmen bereitgestellt, die direkt im Browser oder nach Download einer Applikation mit einer VR-Brille angesehen werden können. Dass diese Videos meist nur wenige Sekunden lang sind, ist kein Zufall: Denn noch ist die Postproduktion von derartigen Lichtfeld-Aufnahmen enorm rechenintensiv. Bevor die Technologie wirklich marktreif wird, muss dieses Problem noch überwunden werden. Dann wären aber sogar theoretisch vollsphärische Aufnahmen möglich.
Die bei der Lightfield-Technologie eingesetzten Algorithmen sind ein wichtiger Beitrag zur Erstellung überzeugender VR-Erfahrungen. Das Aspekteins-Team ist versierter Spezialist in Sachen immersiver Virtual Reality und hilft Ihnen und Ihrem Unternehmen in allen Fragen rund ums Thema VR/ 360-Grad-Videos und VR-Storytelling:
Bildrechte Titelbild: © Login – Adobe Stock