Das Themenfeld „Virtuelle Realität“ kennt viele Begriffe. Mitunter kann das zu Verwirrungen führen. Worin unterscheiden sich also Technologien wie AR, VR und MR?

XR/ Extended Reality

Grundlegend handelt es sich zunächst einmal bei all diesen Bezeichnungen um Technologien im Bereich der erweiterten Realität. Sämtliche Technologien und Erfahrungen, die virtueller Natur sind bzw. virtuelle Welten mit der Realität verbinden, firmieren unter dem Terminus XR (Extended Reality).

Mit dem Begriff XR wird ein breites Spektrum an Infrastrukturen zur Erstellung virtueller Inhalte wie Hardware, Software und sensorische Schnittstellen betitelt. Hierunter fallen z.B. auch offene Industrie-Standards, die eine kostengünstigere VR-/AR-App-Entwicklung ermöglichen.

Virtuelle Anwendungen unterscheiden sich v.a. im Hinblick auf Faktoren wie Immersion und Interaktivität. So bieten manche XR-Anwendungen die spannende Option, mehr oder minder komplett in die virtuell generierte Welt einzutauchen, während andere Anwendungen die virtuelle Welt mit der realen Welt verschmelzen lassen.

AR/ Augmented Reality

Bei Augmented-Reality-Anwendungen geht es weniger um immersive Erfahrungs-Momente unter Ausschluss der Realität. Dreh-und Angelpunkt von AR sind eher digitale Erweiterungen unter Einbeziehung der realen Umgebung: Dort wo sich der Nutzer befindet, erscheinen in Echtzeit auch die virtuellen Overlays.

AR-Anwender können sich durch Objektscans (etwa Kamerascan via iOS- oder Android-Devices) beispielsweise additional zu Artefakten digitale Textebenen erschließen, Audiodateien abhören oder 3D-Modelle auf realen Gegenständen in Erscheinung treten lassen. Historisch relevante Orte können bei einer Sightseeing-Tour getrackt (über QR-Codes bzw. Musterkennung in Objekten) werden, um virtuelle Inhalte passend zum jeweiligen Standort einzufügen und so noch mehr über jene Menschen zu erfahren, die vielleicht einst das Stadtbild prägten. Dafür ließen sich auch alte Fotografien, Grundrisse oder sonstiges Archivmaterial einbinden – der AR sind hier quasi keine Grenzen gesetzt.

Mit dem Apple Developer Kit und Googles AR Core gibt es die nötige Basistechnologie für Augmented-Reality-Inhalte auf mobilen Devices. Dabei sorgen diese und andere AR Frameworks für die Bereitstellung der wichtigen Tracking-Funktionen wie Bilderkennung.

Smartphones müssen nicht nur über eine AR-Funktion verfügen, sondern auch über entsprechende Prozessoren, damit die digitalen Inhalte in Echtzeit angemessen gerendert werden können, und Sensoriken, die die Position des Smartphones im Raum erfassen können. Wesentlich sind hier Komponenten wie Beschleunigungsmesser zur Erfassung von Geschwindigkeit & Rotation oder Licht-und Tiefensensoren zum Messen von Lichtintensität bzw. räumlicher Entfernung (Umgebungseinschätzung).

Zusammen mit dem Live-Bild der Kamera sorgen sie für eine angemessene real-räumliche Platzierung virtueller Inhalte.

Einige Museen nutzen Augmented Reality beispielsweise, um reale Ausstellungsinhalte durch zusätzliche Inhalte auf dem Smartphone-Display/ Tablet anzureichern. Daraus ergibt sich der Vorteil, in der Ausstellung befindliche Infotafeln zu komplettieren.

Im Marketing von Kommunen lassen sich mit interaktiven Elementen beispielsweise auch Stadt-Chroniken erfahrbar machen.

AR-Applikationen manipulieren die Realität also zugunsten eines kontextuellen Mehrwerts und werden zur Vereinfachung komplexer Darstellungen, im Rahmen logistischer Prozeduren oder in Aus- und Weiterbildung sehr erfolgreich eingesetzt.

MR/ Mixed Reality

Auch der Begriff Mixed Reality bezeichnet die Verbindung virtueller Inhalte mit realen Umgebungen. Im Gegensatz zu AR steht hier aber die Manipulation von Objekten und die Datenverarbeitung im Vordergrund. AR ist gewissermaßen die Basis von MR, bei der es sich um eine umfassendere Form erweiterter Realität handelt, als dies bei der Darstellung von AR-Inhalten der Fall ist: der Anwender nutzt Smart Glasses oder Mixed-Reality-Headsets zur räumlichen Projektion von 3D-Objekten. Anstelle von Darstellungen auf einer 2D-Displayfläche, erhält er greifbar scheinende holographische Darstellungen.

Mit Hilfe einer Mixed-Reality-Brille, wie etwa Microsoft HoloLens oder Lenovos ThinkReality A6, können die reale und die virtuelle Dimension verschmelzen – Nutzer erleben sich selbst auch physisch auf der virtuellen Ebene, denn es ist ihnen etwa durch Handgesten möglich, dreidimensionale Gegenstände zu bewegen, Annotationen zu bearbeiten oder Notizen an Objekte zu heften. Dabei bleibt die reale Umgebung stets im Sichtfeld des Anwenders.

Die räumliche Ausrichtung und Größe von eingeblendeten 3D-Objekten lässt sich beliebig verändern. Ähnlich einem Cursor können Air-Tap-Gesten zur Auswahl oder Skalierung genutzt werden. HoloLens 2 ermöglicht zusätzliche Blickerkennung durch integrierte Eye-Tracking-Technologie.

MR-Software ermöglicht es beispielsweise, CAD-Modelle in virtuelle Entwürfe zu überführen. Auch kontextsensitive Daten, beispielsweise Temperaturparameter, lassen sich in Echtzeit darstellen.

Interaktive 3D-Modelle dienen in Bereichen von Architektur und Bauwesen der verbesserten Präsentation, Unternehmen und Mitarbeiter profitieren beim praktischen Remote-Support im Außendienst, Schulungen können flexibel und unabhängig vom Firmensitz abgehalten werden.

HoloLens bietet auch Multi-User-Erfahrungen an, bei denen sich Mitarbeiter aus allen Teilen der Welt vernetzen und die vorgenommenen Manipulationen/Lernprozesse gemeinsam verfolgen können. Weitere Anwendungsbereiche finden sich in der Holomedizin.

VR/ Virtual Reality

Während AR und MR zum Ziel haben, die Realität durch virtuelle Elemente anzureichern, setzen Virtual-Reality-Applikationen auf vollständige Immersion unter Ausschluss der umgebenden Realität. VR-Headsets und zumeist auch die dazugehörigen Eingabegeräte erfassen durch verschiedene Sensoren die eigene Position im Raum. Auf dieser Basis wird in Echtzeit das Bild, das der Nutzer aus der aktuellen Perspektive sieht, stereoskopisch berechnet und auf die oder den Headset-Display ausgegeben. Die Brechung der Linsen, die dafür sorgt, dass sich das eigentlich kurz vor dem Auge erzeugte Bild optisch so verhält, als hätte es einen größeren Abstand zum Nutzer, und die unmittelbare Reaktion der Umgebung selbst auf kleinste Bewegungen führen zur perfekten Illusion: Nutzer fühlen sich, als wären sie tatsächlich an einem anderen Ort. Weiterhin spielen die Bildauflösung, Bildwiederholraten und Latenz eine maßgebliche Rolle in der Qualität von VR-Anwendungen und -Plattformen.

Die wohl wichtigste Unterscheidungsmöglichkeit zwischen verschiedenen VR-Plattformen bietet ein Blick auf die Anzahl der Freiheitsgrade: 3DoF-Headsets und -Controller können nur die eigene Rotation, nicht aber Bewegungen im Raum wahrnehmen. Ein Beispiel hierfür sind VR-Brillen, die durch ein Smartphone betrieben werden, sowie die mittlerweile nicht mehr erhältliche Oculus Go. Heutzutage setzen die meisten Headsets auf sechs Freiheitsgrade (6DoF): Zusätzlich zur Rotation werden dabei auch Bewegungen auf allen drei Raumachsen erfasst. Nutzer können sich komplett frei bewegen und z.B. auch Objekte greifen. Raumbegrenzungen in der Realität werden meist als halbdurchsichtiges Gitter in der virtuellen Welt dargestellt, so dass Headset-Nutzer nicht – blind für Ihre Umgebung – gegen Wände laufen.

Einige Jahre bedeuteten 6DoF-Anwendungen zwangsweise, dass ein Computer mit schnellem Prozessor und teurer Grafikkarte die Berechnungen vornehmen musste und ein Kabel das Headset an diesen fesselte. Durch das Erscheinen autarker VR-Headsets mit sechs Freiheitsgraden wie Oculus Quest bietet sich Nutzern während der Anwendung zunehmend mehr Bewegungsfreiheit ganz ohne Kabel. Autarke 6DoF-Headsets haben leistungsfähige mobile Hardware verbaut, die optimierte Anwendungen selbstständig und ohne zusätzliche Recheneinheit darstellen kann. Ebenso bringt integriertes Hand-Tracking ein dickes Plus in Sachen intuitiver Nutzung. Dies alles ist ein wichtiger Punkt zur Aufrechterhaltung des immersiven Erlebens beim Anwender.

Die Eye-Tracking-Technologie unterstützt diesen Prozess ebenfalls: je natürlicher sich der VR-Nutzer inhaltlich und physisch-sinnhaft mit seiner App auseinandersetzen kann, desto besser und nachhaltiger die virtuelle Erfahrung.

Insofern ist die Außenwelt-Verbindung anderer hier vorgestellter Technologien sozusagen von vornherein ein Immersionsbrecher.

In diesem Fall sind die verschiedenen Anwendungsfelder zu berücksichtigen: Während HoloLens gezielter auf Workspace-Simulationen setzt, dienen VR-Apps einer alternativen Dimension, innerhalb derer sich Nutzer neu erfahren sollen. Im Vordergrund von VR steht die Erlebnishaftigkeit. Im Gegensatz zu Augmented Reality, spielt bei VR der Faktor Immersion eine absolut zentrale Rolle.

Auch VR lässt sich in Museen und Schulen, am Arbeitsplatz und für Schulungszwecke nutzen. Während eine MR-Brille wie HoloLens 2 rund 3500 Euro kostet, lassen sich die wesentlich günstigeren (und weniger empfindlichen) VR-Brillen unkompliziert auch in öffentlichen Einrichtungen einsetzen. Anders als bei AR sollen VR-Anwender Inhalt & Information der VR-App hautnah erleben: VR soll den Anwender auf eine Reise nehmen.

Hier braucht und soll sich der VR-Nutzer sozusagen überhaupt nicht um die Realität zu kümmern, sondern er kann komplett ins virtuelle Geschehen abtauchen. Während die Interaktionsmöglichkeiten unter AR begrenzt sind, hieße dieser Umstand für den musealen Kontext: unter dem VR-Headset können vergangene Erdzeitalter persönlich ausgekundschaftet, ägyptische Grabkammern betreten oder in virtuelle Gemälde eingetaucht werden.

VR-Headsets können auch 360°-Medien abspielen. Da diese von einem festen Standort aus gefilmt werden, können Nutzer hier nur drei Freiheitsgrade nutzen. Sie können sich also frei umsehen, aber nicht frei bewegen. Zwar ist in einigen Anwendungen wie 360°-Touren eine Navigation zwischen verschiedenen Standorten möglich, doch die Bewegung des Nutzers nach vorne/hinten, oben/unten oder zur Seite wird hierfür nicht erfasst.

360°-Videos mögen daher im Vergleich zu computergenerierten 6DoF-Anwendungen eingeschränkt wirken, bieten jedoch den Vorteil, dass mit echten Filmaufnahmen gearbeitet werden kann. Dies kann – je nach Einsatzgebiet – die Authentizität und damit die Immersion steigern. Außerdem sind 360°-Anwendungen tendenziell etwas kostengünstiger in der Produktion. Umgebungen, z.B. in Form von 360-Grad-Dokufiction, lassen sich (in alle Richtungen) vollständig explorieren. Dabei fühlen sich Betrachter unmittelbarer an den dargestellten Inhalten beteiligt und sind stärker in die Story involviert. Möglich ist dies mit Hilfe von 360-Grad-Kameras, die beim Erstellen von 360-Grad-Inhalten zum Einsatz kommen. Auch diese Filme lassen sich sinnvoll um virtuelle Einblendungen ergänzen.

How volumetric video brings a new dimension to filmmaking | Diego Prilusky

Eine Möglichkeit, mit Realfilmaufnahmen Anwendungen mit sechs Freiheitsgraden zu schaffen, sind volumetrische Videos.

Durch die hohe Immersion können mit VR und 360°-Medien Geschichten auf eine neue Art und Weise erzählt werden. VR-Storytelling lässt sich nicht nur passiv erfahren, sondern unter dem Headset subjektiv erleben. Um die Möglichkeiten in dieser Hinsicht voll auszuschöpfen, müssen Wege gefunden werden, die dem Nutzer ein hohes Maß an Interaktionsspielraum vermitteln und ihn gleichzeitig nicht durch künstliche Eingabegeräte und graphische Menüs daran erinnern, dass er sich in einer virtuellen Welt befindet.

Hyperresponsive Virtual Reality (HRVR) ist der Name unserer Technologie, die uns erlaubt, auf Basis von 360°-Videos derartige Erfahrungen zu generieren. Dafür können verschiedene Trigger in die 360°-Anwendung implementiert werden, die auf unbewusste Reaktionen der Nutzer Bezug nehmen. Durch bewusste Verhaltensweisen (gezielte Blicke, Sprache etc.), als auch subtile Reaktionen (z.B. längere Verweildauer bei bestimmten Stationen, Vermeidungsverhalten) lassen sich Entscheidungsbäume für non-lineare Erzählstränge entwerfen, die die Anwendung in Echtzeit und auf das individuelle Verhalten des Nutzers zugeschnitten wiedergeben.

Hyperresponsive Virtual Reality - Der nächste Schritt des 360°-Storytellings

Für Projektanfragen und Unterstützung in allen Belangen rund um die Themen AR, MR, VR, 360°-Film und HRVR stehen Ihnen die Experten von der Aspekteins GmbH gerne zur Verfügung.

HIER KLICKEN FÜR IHRE ANFRAGE

Bildrechte Titelbild: © Andrii – Adobe Stock

AR, Augmented Reality, Mixed-Reality-Anwendung, Narratologie der virtuellen Realität, Virtual Reality, VR, XR