Bildquelle: marketplace.org
Um die Positionen und Bewegungen von VR-Headsets und Eingabegeräten authentisch in die virtuelle Realität übertragen zu können, sind Tracking-Systeme erforderlich.
Grundlegend lassen sich VR-Tracking-Systeme nach der Anzahl der Freiheitsgrade (DoF, Degrees of Freedom) unterscheiden:
3DoF-Tracking-Systeme erfassen nur Rotationsbewegungen entlang der x,y und z-Achse.
6DoF-Tracking-Systeme können zusätzlich auch die Fortbewegung auf der x,y und z-Achse erfassen: vorwärts/ rückwärts, oben/ unten, links/ rechts. So können sich Nutzer frei im Raum bewegen, um Objekte herum blicken, unter Vorsprünge kriechen, usw.
6DoF-Systeme erkennen Bewegungen und Rotationen auf jeweils drei Achsen. 3DoF-Systeme können dagegen jeweils nur die Rotation auslesen. Bildquelle: ivrpa.org
Bei 6DoF kann sich auf der x,y,z-Achse fortbewegt werden. Bildquelle: researchgate.net
6DoF-Systeme sind kostspieliger, glänzen aber durch umfassendere Interaktionsmöglichkeiten und steigern so die Immersion! Doch nicht alle Inhalte profitieren von sechs Freiheitsgraden: 360-Grad-Videos sind immer nur mit drei Freiheitsgraden darstellbar, da sie von einem festen Punkt aus aufgenommen werden. Sie werden also auch auf 6DoF-Headsets mit nur drei Freiheitsgraden wiedergegeben. Wer dennoch Realfilmaufnahmen mit voller Bewegungsfreiheit kombinieren will, der muss auf vergleichsweise aufwändige Techniken wie Photogrammetrie (für unbewegte Objekte und Räume) oder gar Volumetric Capturing (für bewegte Objekte und Personen) zurückgreifen.
Im Regelfall unterstützen 6DoF-fähige Headsets auch 6DoF-Eingabegeräte. Eine Ausnahme stellt z. B. die HTC Vive Focus in der Standardvariante dar, die lediglich über 3DoF-Controller verfügt. In diesem Fall werden Handbewegungen also nicht erfasst. Nutzer können in diesem Fall Dinge durch Handrotation auswählen, aber nicht z.B. nach Objekten greifen.
3DoF-Plattformen verwenden zur Bestimmung der Ausrichtung die sogenannte IMU.
Die IMU (Inertial Measurement Unit) besteht aus mehreren Gyroskopen, Beschleunigungsmessern und auch Magnetometern. Hierbei wird der Neigungsgrad als auch die Geschwindigkeit im Verhältnis der veränderten Koordinaten erfasst.
Für 6DoF-Plattformen werden zusätzliche Tracking-Systeme benötigt. Diese lassen sich in optische und nicht-optische Systeme unterteilen. Beide Arten müssen den User zunächst in ein Bezugssystem einbetten, um die reale Welt mit der virtuellen Welt verbinden zu können.
Optisches Tracking: Outside-In
Oculus Rift Headset und externer sog. „Constellation“-Sensor. Bildquelle: gamerevolution.com
- Oculus Rift CV1, Playstation VR
Bei Outside-In-Systemen erfolgt die Erkennung der Raumposition – wie der Name schon sagt – nicht direkt im Headset/ Controller, sondern durch externe Sensoren. Bei der ersten Consumer-Version des Oculus-Rift-Headsets (kurz: CV1; die zweite Consumer Version trägt dagegen den Titel „Rift S“) handelt es sich um externe optische Sensoren, die Infrarotdioden der Controller und des Headsets verfolgen. Diese Infrarotkameras senden über USB entsprechende Signale an den PC. Hier werden die Sensordaten ausgewertet. In Kombination mit den IMU-Daten aus dem Headset/ Controller kann so in Sekundenbruchteilen die Position und Rotation derselben ermittelt werden. Bei der Playstation VR verhält es sich ganz ähnlich – hier wird sogar mit LED-Lichtern im sichtbaren Bereich gearbeitet.
Die Anzahl der Sensoren kann bei der Oculus Rift CV1 erhöht werden, um genauere Tracking-Ergebnisse zu erhalten und Tracking-Aussetzer, die durch optische Verdeckungen auftreten können, zu minimieren. Allerdings ist die Reichweite der Kameras begrenzt.
Oculus Touch Controller in der Anwendung. Bildquelle: tahium.com
Im Oculus Touch-Controller verbaute Sensorik/LEDs. Bildquelle: de.ifixit.com
Optisches Tracking: Inside-Out
Inside-Out-Tracking mit Markern:
- Valve Index, Pimax 8K, HTC Vive (Pro)
Auf den ersten Blick scheint der Unterschied zum Outside-In-Tracking bei dieser Variante klein. So werden ebenfalls externe Stationen benötigt – zum Beispiel in Form von Basisstationen, die in gegenüberliegenden Bereichen des Raumes positioniert werden und mit Lasertechnologie arbeiten. Der große Unterschied ist jedoch, dass diese Stationen lediglich als Marker dienen und die Daten direkt im Headset/ Controller erfasst werden. Passive Marker wirken reflektorisch, aktive Marker emittieren – strahlen also selbst Licht aus.
Die Steam-VR-Plattform verwendet marker-basiertes Raumtracking anhand von Lighthouse-Stationen, die als I(nfra)R(ot)-Marker fungieren. Jede Einheit schickt zwei Laserstrahlen aus, die dann auf LDRs (light dependend resistors), lichtempfindliche Bauteile an Headset und Controllern, treffen. Hier werden weit mehr als 70 Sensoren verwendet. Anhand der zeitlichen Differenz, mit der die Laserstrahlen auf die Sensoren treffen, kann die Software eine genaue Positionsbestimmung des Headsets errechnen.
Diese Technik glänzt durch sehr genaue Positionsbestimmungen und geringen Latenzen, also zeitliche Verzögerungen zwischen einer Körperbewegung und deren visueller Umsetzung. Die Basisstationen müssen des Weiteren nicht an den Computer angeschlossen werden. Sie benötigen lediglich eine Stromverbindung.
Inside-Out-Tracking ohne Marker:
- Oculus Rift S, Oculus Quest, Vive Focus, Windows-Mixed-Reality, Vive Cosmos, Microsoft Hololens
Beim markerlosen Inside-Out-Tracking erkennt das VR-Headset durch intern verbaute Bildsensoren selbstständig die Position im Raum. Als Markierungen dienen also charakteristische Merkmale, die im Raum sowieso vorhanden sind – seien es Bilder, Pflanzen oder Möbelstücke. Das Tracking ist also nicht von externer Hardware abhängig, sondern wird z.B. mit SLAM-Algorithmen direkt im Headset ermittelt.
SLAM (simultaneous localization and mapping) ist ein Navigationsverfahren. Die Position des Users dient hier innerhalb des noch nicht berechneten Koordinatensystems („Umraum“) als Ausgangspunkt. Lokalisierung und Kartierung des Raumes werden also simultan vorgenommen, um schließlich 3D-Netze der Umgebung zu erhalten. Die Daten basieren auch auf IMU und werden im Verlauf der Bewegungen kontinuierlich erweitert bzw. ergänzt.
Beispielsweise arbeiten Oculus Rift S und die kabellose Oculus Quest über Oculus Insight mit mehreren im Headset verbauten Ultra-Weitwinkelsensoren, die Charakteristika und Objekte der Umgebung scannen und in 3D umwandeln.
Alle Inside-Out-Lösungen benötigen extra Prozessoren zur räumlichen Datenerfassung. Bei Microsoft HoloLens 2 fungiert die Holographic Processing Unit/HPU als Schnittstelle für sämtliche Sensordaten zur Hologrammerstellung.
Die grundlegenden Vorteile von markerlosem Inside-Out-Tracking sind die Mobilität und die einfache Einrichtung, da keine zusätzliche Hardware im Raum aufgestellt werden muss.
Nicht-optisches Tracking
Neben den optischen, kamerabasierten Tracking-Faktoren gibt es für VR noch eine Vielzahl anderer Verfahren zur Positionsermittlung im Raum, die jedoch deutlich seltener und meist nur ergänzend zu optischem Tracking eingesetzt werden. Darunter fällt z.B. akustisches Tracking mittels Ultraschall.
Die Controller der Vive Focus Plus kombinieren IMU mit Ultraschall. Dabei wird ein bestimmter Bereich des FOV mit Ultraschallwellen abgedeckt, die darüber hinaus von den Sensoriken der Controller ergänzt werden. Auch über Ultraschallsensoren kann der Abstand von Objekten in Relation zum Headset erfasst werden. Gegenüber kamera-basiertem Tracking hat dies den Vorteil, bei allen Lichtverhältnissen, inklusive starker Sonneneinstrahlung und reflektierenden Objekten im Raum, zuverlässige Daten erheben zu können.
Nachteile, die sich durch die Verdeckung von virtuellen Objekten mit Blick auf reale Gegenstände im Raum (Okklusion) ergeben können, werden ebenso umgangen. Da Ultraschall über Luft übertragen wird, können Faktoren wie Luftfeuchtigkeit oder Luftdruck einen nicht unerheblichen Einfluss auf die Übertragungsrate haben.
Eyetracking
Selbstverständlich können VR-Headsets nicht nur die Position im Raum erfassen, sondern auch – je nach Anwendungsszenario – eine Vielzahl weiterer Faktoren. Einige Headsets bieten zum Beispiel Eyetracking. Dabei werden die Blickbewegungen des Users erfasst und dessen Aufmerksamkeit in Bezug auf bestimmte Gegenstände oder Gegebenheiten im Raum analysiert.
Eyetracking bietet neben der Möglichkeit des fovealen Renderings (bei dem nur die Bereiche in voller Auflösung gerendert werden, die der Benutzer gerade ansieht), auch sensibles, blickbasiertes Interagieren mit Avataren und anderen virtuellen Figuren. Da sich durch das Tracken der Blickrichtung detaillierte Aussagen über die Präsenz eines Users ergeben, können gerade für den Bereich VR-(Hyperresponsive-)Storytelling entsprechende Trigger eingebaut werden.
Der User muss zur Auslösung eines Vorgangs nicht erst selbstständig und bewusst über Controller (Touch-Funktion) handeln, sondern kann sich ganz natürlich verhalten und eben auch unbewusst mit seiner virtuellen Umgebung interagieren. Dies erlaubt die Erfahrung einer stark personalisierten Geschichte.
Möchten Sie mehr über den virtuellen Horizont erfahren? Unsere Profis der Aspekteins GmbH beraten und unterstützen Sie gerne in allen Angelegenheiten rund um das Thema VR/AR/MR und 360-Grad-Videos:
HIER KLICKEN FÜR IHR VR-PROJEKT
Bildrechte Titelbild: © Alexander – Adobe Stock