Wird Photogrammetrie bald überflüssig?
Mit Photogrammetrie können wir reale Objekte in die virtuelle Welt transferieren: Aus einer Vielzahl sich überlappender Bilder berechnet eine Software eine 3D-Punktwolke, aus der ein hoch-realistisches 3D-Modell gewonnen werden kann. Gerade für große und komplexe Strukturen hat die Photogrammetrie den Fotorealismus auch in niedrig-budgetierte 3D-Produktionen gebracht (näheres dazu finden Sie in dem hier verlinkten Blogartikel). Doch vielleicht wird die doch so bahnbrechende Technik schon bald ein Nischendasein fristen: Denn mit NeRF (Neural Radiance Field) erblickt eine Technologie das Licht der Welt, die ähnliche (und teilweise noch genauere) Ergebnisse mit deutlich weniger Aufwand erzeugen kann. Wie das in der heutigen Zeit so oft bei Technologie-Themen ist, beruht auch dieser Technologiesprung auf künstlicher Intelligenz.
NeRF-Technologie basiert auf deep learning KI-Algorithmen und wird als neuronales Rendering bezeichnet. NeRF zeichnet sich dadurch aus, dass nur wenig Bilder vom realen Objekt benötigt werden. NeRF ist zudem deutlich performanter als photogrammetrische Verfahren und kann sogar auf Mobiltelefonen (iPhone) oder im Webbrowser durchgeführt werden.
Reale Inhalte über NeRF erfassen
Verglichen mit anderen NeRF-Ansätzen, soll NVIDIAs Instant NeRF bis zu 1000 mal schneller 2D-Bilder in 3D konvertieren. Bildquelle: developerblogs.nvidia.com
Um ein sogenanntes NeRF zu erstellen, werden zunächst mehrere Fotos aus verschiedenen Winkeln in einer Umgebung oder um ein Objekt herum aufgenommen. NeRF verwendet inversives Rendering, d.h. eine kontinuierliche „volumetrische Szenenfunktion“ zur Rekonstruktion von 2D-Inhalten in 3D. Dabei werden 5D-Koordinaten bzw. ein 5D-Vektor (3D-Ortskoordinate + 2D-Blickrichtung) entlang von Kamerastrahlen abgelesen. Diese abgetasteten Punkte dienen der Eingabe des NeRF-Modells, welches RBG-Farbe und Volumendichte an den erforderlichen Punkten vorherzusagen vermag.
Die NeRF-Technologie kann also volumetrische Szenen darstellen, indem hochauflösende fotorealistische Ansichten von realen Objekten/Umgebungen in 3D gerendert werden. So entsteht ein Digitaler Zwilling. Hierbei kann auch Licht sehr nuanciert zum Ausdruck kommen.
Wo die Photogrammetrie viele überlappende Bilder aus jedem einzelnen Blickwinkel erfordert, kann NeRF mittels KI-Algorithmen „Lücken automatisch schließen“. Als neuronales rendering framework kann NeRF die aufgenommenen Teile schneller zu einem Ganzen zusammenfügen, eine Überlappung von mindestens 50 Prozent wie bei der Photogrammetrie ist daher nicht nötig. Anders als bei Photogrammetrie wird zudem auch der gesamte Hintergrundbereich erfasst.
Das Erstellen von 3D-Szenen ist komplex und dauert in der Regel viele Stunden. Instant NeRF von NVIDIA und der damit verbundene KI-Algorithmus beschleunigen diesen Prozess anhand einer neuen Eingabecodierung namens Multi-Resolution Hash Grid Encoding.
NeRF erweist sich also als ziemlich prozesseffizient.
Eine Handvoll Bilder
Was bedeutet dies für VR-Nutzer?
Grundlegend können Entwickler ohne großen Aufwand reale Objekte in 3D-Darstellungen umwandeln. NVIDIAs Instant NeRF beispielsweise benötigt nur wenige Sekunden, um aus nur einigen Dutzend Standbildern eine 3D-Szene rendern zu lassen.
Ein weiterer Unterschied zur Photogrammetrie: Der Lichteinfall ist nicht „gebaked“, also schon in der Textur enthalten. Stattdessen werden Reflexions- und Leuchteigenschaften im Modell gespeichert. So kann der Lichteinfall auch im Nachgang geändert werden.
„If traditional 3D representations like polygonal meshes are akin to vector images, NeRFs are like bitmap images: they densely capture the way light radiates from an object or within a scene. In that sense Instant NeRF could be as important to 3D as digital cameras and JPEG compression have been to 2D-photography (…)“
David Luebcke, Vize-Präsident NVIDIA „Graphics Research“
Die Codebasis für Instant NeRF ist für Programmierer relativ einfach zu kompilieren.
NeRF können VR- wie auch AR- und MR-Inhalte qualitativ erheblich verbessern.
Bereits jetzt kann ein iPhone mittels der Luma AI App NeRFs erstellen. NVIDIAs InstantNeRF läuft am schellsten auf NVIDIA Tensor Cores.
Wir von Aspekteins sind Spezialisten im Bereich VR/AR-Anwendungen, sowie VR-Storytelling/Hyperresponsive Storytelling (HRVR). Sie planen Ihre ersten Schritte in die Welt der immersiven Medien? Dann freuen wir uns, von Ihnen zu hören. Öffnen auch wir Türen zu neuen Möglichkeiten!
Kontaktieren Sie uns für Ihr VR-/HRVR-Projekt
Bildrechte Titelbild: © Serhii – Adobe Stock