Holografische Augmented-Reality-Plattformen werden zunehmend in medizinischen Anwendungsfeldern eingesetzt: so treffen etwa bewährte OP-Instrumentarien auf neue bildgebende Verfahren zur 3D-Visualisierung, die Medizinern zusätzlichen Zugang zu physiologischen Informationen liefert und die klassische Diagnostik um virtuelle Komponenten erweitert.
Präzises Lightfield-Display
Die weltweit erste digitale XR-Lupenbrille, die aktuell von FYR Medical entwickelt wird, soll in Form, Größe & Gewicht herkömmlichen chirurgischen Modellen nacheifern. Im Gegensatz zu diesen liefert sie jedoch digitale Informationen, die nahtlos mit dem Bild der realen Welt verbunden werden können. CT-, MRT- oder Röntgenaufnahmen können bestenfalls noch friktionsloser in chirurgische Prozesse integriert werden.
Die XR-basierte Lupenbrille von FYR arbeitet mit einem Lightfield-Display und soll im Herbst 2023 marktreif sein. Bildquelle: globetechcdn.com
Sechs Freiheitsgrade (6DoF-Tracking), Tiefensensor und eine auf das jeweilige Procedere abgestimmte Ausleuchtung sollen die nötige Präzision ermöglichen.
Die Pixeldichte bei der durch FYR konzipierten XR-Lupenbrille liegt bei 30 pixel per degree (zum Vegleich: Die Meta Quest 3 hat eine Pixeldichte von 25 PPD). Dennoch soll die Latenz auch im autarken Modus (es soll auch möglich sein, die Brille am PC anzuschließen) niedrig sein. Das geringe Gewicht (113 Gramm) gewährt eine längere Nutzungsdauer.
Genutzt wird ein Lightfield-Display mit 30°-Sichtfeld. Lichtfeld-Displays projizieren Objekte nicht nur auf eine flache Ebene, sondern bieten eine präzisere volumetrische Darstellung. So können Objekte in verschiedenen Entfernungen mit den Augen fokussiert werden, was Überanstrengung vermeidet.
Stereoskopie ohne Defizit
Um zu verstehen, was hier der Vorteil ist, müssen wir uns den Vergenz-Akkommodationskonflikt vergegenwärtigen.
Nimmt man ein Objekt in seiner natürlichen Umgebung in den Blick, so passieren zwei Dinge. Zum einen stellen sich die Augäpfel durch sanfte Rotation auf das Objekt ein um eine optimale stereoskopische Sicht zu gewährleisten (Vergenz), andererseits müssen die Linsen mittels Muskelkontraktion geformt werden, um fokussierte Objekte auf der Retina scharf abbilden zu können (Akkommodation). Diese beiden Mechanismen sind aufeinander abgestimmt und in ständiger Wechselwirkung.
In klassischen VR-Brillen gibt es nur eine einzige Fokusebene – entsprechend ist der gesamte Bereich gleich scharf dargestellt. Bildquelle: heise.de
Unter klassischen VR-Headsets haben sämtliche Bildinhalte eine Schärfeebene – die Displays sind (durch die verwendeten Optiken) so eingestellt, als würde sich diese Schärfeebene in weiter Ferne (zwei Meter und mehr) befinden. Solange weitläufige Panoramen dargestellt werden funktioniert dies sehr gut. Problematisch wird es jedoch im Nahbereich: Da der Display eine einzige flache Ebene ist, bleibt die Akkommodation gleich, die Vergenz jedoch signalisiert der Sehwahrnehmung der Anwender, dass sich das dargestellte Objekt näher befindet: Dieser Umstand führt bei Anwendern – vor allem bei längerer Verweildauer – mitunter zu Schwindel & Übelkeit.
Fokus? Aber entspannt!
An dieser Stelle kann das Lightfield-Display Anwendern über mehrere Fokusebenen eine natürlichere Tiefenwahrnehmung bieten. Genutzt wird etwa ein Lichtleiter mit Beugungsgittern und spezifischen Nanostrukturen, um für eine adäquate Beugung des Lichtes zu sorgen.
Das Lichtfeld oder Lightfield-Display kann Lichtstrahlen in unterschiedliche Richtungen aussenden. Somit kann die Dreidimensionalität des virtuellen Raumes besser simuliert werden. Das Lightfield-Display ermöglicht beinahe natürliche Seherfahrungen. Bildquelle: global.samsungdisplay.com
Viele Hersteller arbeiten schon seit Längerem an einer Art Gleitsicht-Display mit variablen Fokusebenen – etwa auch über varifokale Displays. Anders als varifokale Modelle, kann Lightfield-Technologie gänzlich auf Eyetracking verzichten.
Mittels Lightfield-Display verändern sich Lichtpunkte also je nach Blickwinkel und erzeugen eine koordiniertere Vergenz-Akkommodation. Je nach Winkelrichtung werden Licht und Farben jedes Bildpixels unterschiedlich angezeigt und über hunderte Tiefenfelder als eine Art vereinfachtes Hologramm generiert. Szenen können so in der gleichen Tiefennuancierung betrachtet werden, wie dies auch in der Realität möglich ist.
Das Lichtfeld der FYR-Lupe etwa erscheint in der Bildmitte innerhalb eines hochauflösenden 30°-Sichtfelds, das dem fovealen Bereich des Auges (unmittelbarer Fokus) entspricht. Umgebende Sichtfeldbereiche sind durch ein herkömmliches, niedriger auflösendes Display dargestellt- was den Renderaufwand erheblich reduziert und weniger starke Prozessoren benötigt.
Die auf einem Lighfield-Display basierte XR-Lupe dürfte medizinischen Nutzern also präzise, fokusflexible 3D-Aufnahmen unter (weitestgehendem) Ausschluss des typischen Vergenz-Akkommodationskonfliktes bieten.
Fehlende Technologiereife war lange eines der größten Hemmnisse bei der erfolgreichen Einführung von AR/VR. Inzwischen hat sich viel getan! Wir sind Spezialisten für virtuellen Content und helfen Ihnen und Ihrem Unternehmen mit der Konzeptionierung und Programmierung von maßgeschneiderten Lösungen, wie auch mit Einsteiger-Vorträgen oder Machbarkeitsstudien.
Wir freuen uns auf Ihre Anfrage
Bildrechte Titelbild: © Iokanan Pro – Adobe Stock