Nur knapp 200.000 Einwohner leben in der US-Amerikanischen Stadt Rochester im Bundesstaat New York. In dieser kleinen Stadt gründete der Bankangestellte George Eastman die „Eastman Dry Plate Company“ – ein Unternehmen, das sich auf die Herstellung von fotografischen Trockenplatten und später von Kameras spezialisierte und heute unter einem anderen Namen bekannt ist: Kodak.
Wer um die Bedeutung von Kodak für die Verbreitung von Foto- und Filmkameras auf dem Massenmarkt weiß, den wird es kaum verwundern, dass die Stadt auch heute noch ein Magnet für Optik-Experten und Quell neuer Innovationen ist. Unter dem Namen „Hydra“ entsteht hier, bei dem Startup Circle Optics, eine neue Form der 360-Grad-Videographie: Eine 360-Grad-Kamera, die ganz ohne (fehleranfälliges) Stitching auskommt.
Der Prototyp der „Hydra“ von Circle Optics
Was ist Stitching
Unter Stitching versteht man das „Zusammennähen“ einzelner Fotos oder Videos zu einem einzigen 360-Grad-Panorama. Jede 360-Grad-Kamera besteht aus verschiedenen Linsen und Bildsensoren, die gleichzeitig Bilder in alle Richtungen aufzeichnen. Beim Stitching werden diese Bilder aus allen Richtungen zusammengefügt. Doch dabei gibt es ein elementares Problem: Da die verschiedenen Kamerasensoren leicht zueinander versetzt sind, sind die Parallaxen nicht identisch. Das heißt: Vergleicht man Bilder zweier nebeneinanderliegenden Linsen, dann sind Vorder- und Hintergrund leicht zueinander verschoben.
Diesen Effekt können wir auch mit unseren eigenen Augen ausprobieren. Hält man einen Daumen vor das Gesicht und schließt abwechselnd das rechte und das linke Auge, so scheint die Position des Fingers zu springen. In unserem Alltag nutzen wir diese Parallaxe für unsere Tiefenwahrnehmung. Beim Stitchen eines 360-Grad-Videos hingegen bereiten Parallaxen oft Kopfzerbrechen. Durch reines Verzerren der Einzelbilder ist es durch dieses Phänomen unmöglich, ein fehlerfreies Bild zu generieren, wenn sich nicht sämtliche abgelichtete Objekte in weiter Entfernung befinden.
Die Parallaxe zwischen den unterschiedlichen Linsen führt in herkömmlichen 360°-Kameras zu Stitching-Fehlern (durch Kreise hervorgehoben)
360-Grad-Kameras nutzen verschiedene Verfahren, um die einzelnen Aufnahmen so zu verzerren, dass möglichst wenige Bildfehler entstehen. Moderne Stitching-Algorithmen können dabei auch Bewegungen erkennen und das Ergebnis entsprechend anpassen. Diese Methoden bilden auch die Grundlage für den professionellen Stitching-Workflow. Filmemacher haben hierbei diverse Möglichkeiten, die Berechnungsmethoden zu beeinflussen und somit Ergebnisse zu verfeinern. Dies kann aber mitunter ein arbeitsintensiver Prozess sein. In sehr komplexen Szenen lassen sich Bildfehler selbst mit hoher Expertise teils nur verstecken und kaum komplett eliminieren.
Eine Kamera, die das Stitching vereinfachen oder gar ganz eliminieren würde, könnte die Effizienz professioneller 360-Grad-Postproduktion also einerseits enorm steigern, andererseits wäre ein auf diese Weise erstelltes 360-Grad-Video aber auch deutlich genauer, da nicht mit Verzerrungen gearbeitet werden müsste. Damit wird die Technik auch für Branchen interessant, bei denen genaue Abmessungen und realitätsgetreue Abbildungen unabdingbar sind – beispielsweise für die Raumerkennung einer künstlichen Intelligenz.
Hydra
Wir hatten das Vergnügen, mit Ian Gauger, dem COO von Circle Optics, zu sprechen. Dabei konnten wir uns über die technischen Innovationen, die eine solche Kamera ermöglicht, austauschen. Wir sprachen außerdem über „Hyperresponsive Virtual Reality“, unsere eigene Technologie für interaktive 360-Grad-Filme.
Streng genommen findet auch bei den Aufnahmen der „Hydra“ ein Stitching statt – so besitzt die Kamera schließlich 11 Bildkanäle, die zu einem Bild mit 12k Auflösung und 12-Bit Farbtiefe zusammengesetzt werden. Anders als bei herkömmlichen 360-Grad-Kameras wird hierfür jedoch keine Überblendung verwendet. Die einzelnen Kameraaufnahmen knüpfen vielmehr exakt aneinander an. Die Linsen brechen das Licht dabei so, dass es für jede Linse exakt auf demselben Nodalpunkt zusammenläuft. Auf diese Weise gibt es keine Unterschiede in der Parallaxe. Die Innovation steckt dabei nicht in der Software, sondern vielmehr in den Linsen selbst. Der „Stitching-Prozess“ – wenn man ihn überhaupt noch so bezeichnen will – besteht dann also nur noch aus einem trivialen Zusammensetzen nach einem vorgefertigtem Preset. Eine manuelle Bearbeitung in diesem Schritt ist daher auch für hochqualitative Aufnahmen nicht mehr notwendig.
Dieses Foto wurde vom Prototypen der „Hydra“ auf dem Times Square in New York aufgenommen
Da das Bild nicht analysiert werden muss, könnte die Kamera beispielsweise auch Livestreams mit verringerter Latenz und höherer Qualität ermöglichen. Die Kamera und Technologie ist aktuell noch in einem Teststadium und kann noch nicht erworben werden. Da die Linsen aber in höchster Qualität gefertigt werden müssen, ist davon auszugehen, dass sich die Kamera im Premium-Segment für den professionellen Bedarf ansiedeln wird.
Das Team von Circle Optics arbeitet langfristig auch daran, die Kamera mit Technologien für volumetrische Aufnahmen auszustatten.
Die Zukunft narrativer 360°-Filme
Im Gespräch mit Ian Gauger sprachen wir darüber wie die Technologie von Circle Optics verschiedene Industrien bereichern kann – im Besonderen über den Bereich „Immersive Entertainment“. Als Content-Agentur liegt unsere Stärke besonders im Storytelling. Auch Ian Gauger sieht hier ein großes Potential für die Zukunft von 360-Grad-Medien.
„We think we‘re really on the verge of a revoultion in entertainment. Everyone wants everything to be more immersive today. It‘s not [about] passive viewing anymore – it‘s [about] very active viewing.“
Ian Gauger, COO Circle Optics im Gespräch mit Aspekteins
Unsere Vision für die 360-Grad-Inhalte von morgen ist es, eine neue Art von 360-Grad-Erfahrung zu etablieren, die Nutzer in eine Welt versetzt, in der sie den Verlauf einer Geschichte verändern können. Durch unsere Hyperresponsive-VR-Technologie können wir derartige Erfahrungen schon heute realisieren: Die Software arbeitet dazu mit unsichtbaren Triggern, die zum Beispiel durch Blicke, aber auch durch Bewegung, Sprache, Geräusche, Uhrzeit, den Standort und viele weitere Variablen ausgelöst werden können. Indem wir diese Trigger auswerten, können wir das Verhalten des Nutzers erkennen. Die Software kann auf dieser Basis und anhand eines Entscheidungsbaumes den Fortgang der Geschichte ermitteln, der auf das individuelle Verhalten des Nutzers am besten passt. Der Film passt sich also dynamisch dem Verhalten des Zuschauers an, ohne dass es zu Unterbrechungen oder Einblendungen störender Grafikelemente kommt.
Mögliche Trigger in Hyperresponsive-VR-Anwendungen und Struktur eines einfachen Entscheidungsbaums
Von dem Konzept, auf diese Weise neue 360-Grad-Erfahrungen zu schaffen, zeigte sich Ian Gauger begeistert. Im Vergleich zu Choose-your-own-Adventure-Büchern, mit denen er selbst als Kind individuelle Geschichten erlebt habe, ist es natürlich wesentlich aufwendiger, verschiedene Pfade als 360-Grad-Film zu produzieren. Eine Kamera wie Hydra, die den Workflow in der Postproduktion effizienter gestaltet, könnte also dabei helfen, eine noch größere Zahl interaktiver 360-Grad-Erlebnisse mit noch mehr Entscheidungspfaden zu produzieren.
„360 for the longest time has not been – and I think it still isn‘t today – the best medium for storytelling. [In traditional films] directors really like to focus your attention. Anything that‘s on the screen is there for a reason and it‘s part of the story – and if it‘s not then you cut it out and that is part of being an director. 360 – because you see everything – has really always been more about immersive experiences and not so much about storytelling.
I really like what you guys are doing: Finding a way to use this new medium of 360 but still be able to tell stories. Obviously you have to tell stories in a completely new way because it‘s a completely new medium. I‘m excited that you guys are looking for a way to do that.“
Ian Gauger, COO Circle Optics im Gespräch mit Aspekteins
Wir freuen uns darauf, die Zukunft von Circle Optics und Hydra in den kommenden Jahren zu verfolgen. Wir bedanken uns für das Gespräch mit Ian Gauger und den anregenden Austausch über unsere Visionen für die Zukunft von 360-Grad-Medien.
Bildrechte Titelbild: © Circle Optics