Mit ihren smarten Produkten entwickeln das Schweizer Unternehmen ABB und deren deutsche Tochter Busch-Jaeger schon heute aktiv das Leben von Morgen. Für die Messe „Light+Building“ haben wir von Aspekteins – im Auftrag und in Zusammenarbeit mit Vistapark – diese Vision erlebbar gemacht und eine von Grund auf neu entwickelte Augmented-Reality-App für Apples iPad Pro 11 entwickelt.
Die AR-Anwendung fügt interaktive Dioramen nahtlos in den Kamerafeed ein.
Future Stories – Die Welt von Morgen in Miniaturform
In fünf kleinen Geschichten können Nutzer erleben, wie die smarten Produkte von Busch-Jaeger das Leben vereinfachen können. Fünf weitere Geschichten zeigen, wie schon heute smarte Produkte von ABB Firmengebäude sicherer, nachhaltiger und vernetzter machen. In jeder der 10 Geschichten können sich die Nutzer durch verschiedene Stadien swipen und erleben eine durch Animationen angereicherte Geschichte.
Die von Aspekteins entwickelte AR-Anwendung erfasst durch den Kamerafeed des Tablets Tracking-Marker, die am Messestand platziert wurden. Sobald ein Marker erkannt wird, erscheint die jeweils passende Szene durch eine Animation fest über dem Marker verankert. Bei Bewegung des Geräts bewegt sich die Gebäude-Miniatur dabei mit – ganz so, als würde sie real im Raum stehen.
In den Future Stories können Anwender übersichtlich die Vorteile erleben, die ABB-Produkte schon heute bieten.
Durch Swipen oder – nachdem der Nutzer lange genug gewartet hat – einen Touch auf einen Weiter-Button – können Nutzer jede der Miniaturen in linearen Geschichten beeinflussen. So können sie beispielsweise die Tageszeit verändern, um zu verfolgen, welche Geräte automatisch auf die sich veränderte Umgebung reagieren. Die Anwendung nutzt dabei neben Grafiken und dynamischen Texttafeln auch Partikeleffekte (wie z.B. Wasserdampf oder sich im Raum ausbreitende Musiknoten) und verschiedenste Animationen.
Für einen einfachen Messebetrieb lag ein großer Fokus auf eine einfache Bedienbarkeit. Zusammen mit Vistapark haben wir verschiedene Steuerungskonzepte implementiert und evaluiert. Die Messebesucher von ABB und Busch-Jaeger konnten mit der fertigen App in wenigen Sekunden in verschiedenste Produkt-Geschichten eintauchen.
Effekte und Partikelsimulationen unterstützen das Storytelling.
Der virtuelle ABB-Campus
Eine weitere Funktion erlaubt es Nutzern, durch ein AR-Portal den „Virtuellen ABB-Campus“ zu betreten. Im Gegensatz zu den Future Storys ist das Portal in die virtuelle Welt von ABB lebensgroß und lädt Besucher ein, hindurch zuschreiten. Das Hologramm einer Moderatorin führt die Nutzer an verschiedene Standorte, an denen sie sich frei (mit sechs Freiheitsgraden) bewegen können, und stellt die immersive Zukunft von ABBs Produktwelt vor. Der virtuelle Campus wird ein Ort sein, an dem immersive Produktpräsentationen stattfinden und Produkte individuell auf die Bedürfnisse des Kunden ausgerichtet vorgestellt werden sollen. Unsere App transferiert die schon existierende virtuelle Umgebung in die augmentierte Realität. Anwender können sich frei durch das sich im Wind wiegende Gras der weitläufigen Campus-Flächen bewegen und in einem Miniatur-Modell die Campus-Anlage aus der Vogelperspektive betrachten.
Um dies möglich zu machen, haben wir das komplette 3D-Modell des Campus für mobile Systeme aufbereitet. Das Modell war zuvor für die Erstellung von Einzelbild-Renderings ausgelegt. Für eine Echtzeit-Berechnung, wie in einer App, müssen solche Modelle zumeist stark angepasst werden. Der größte Faktor ist hierbei die Anzahl der Polygone, aus denen die 3D-Geometrie besteht, aber auch Effekte aus 3D-Renderern müssen unter Umständen ersetzt und nachgebaut werden.
Die Moderation basiert auf Live-Action-Videos vor Greenscreen. Diese wurden in Videobearbeitungs-Software so modifiziert, dass sie in der fertigen App wirken, als würden sie als Hologramm in die virtuelle Welt hineinprojiziert werden.
Die AR-Anwendung erlaubt es, sich mittels eines Portals durch den virtuellen Campus zu bewegen.
Die Umsetzung
Die komplette iPad-App wurde in deutscher und englischer Sprache umgesetzt. Eine intuitive Menüführung erlaubt es den Mitarbeitern am Messestand, die Applikation für den jeweils passenden Anwendungszweck vorzubereiten. Programmiert haben wir die Anwendung in der Game Engine Unity mithilfe der Programmiersprache C#.
Game Engines wie Unity werden nicht nur für Videospiele eingesetzt. Eine Game Engine bündelt eine Vielzahl von Systemen, die auch in AR- und VR-Anwendungen von größter Bedeutung sind (beispielsweise Audio-Systeme, physikalische Simulationen, Partikel-Simulatoren, Systeme für Animationen und für Interaktionen). Durch zusätzliche Scripte (im Falle von Unity C#, die zweite weit verbreitete Game Engine, die Unreal Engine, setzt dagegen auf C++) kann dieser Grundbaukasten durch eigene Funktionalitäten erweitert werden, sodass der Rahmen der Möglichkeiten fast unbegrenzt ist. Sowohl Unity als auch die Unreal Engine verfügen zudem über visuelle Editoren, die eine einfache Integration von Skripten und das Setup eines Levels / einer virtuellen Umgebung ermöglichen. Neben Videospielen sind Game Engines heute auch für viele Apps – besonders solche, in denen 3D-Simulationen von Nöten sind –, virtuelle Trainingssoftware, für den Einsatz in wissenschaftlichen und medizinischen Anwendungen und auch in der Filmindustrie kaum wegzudenken. Unity eignet sich exzellent für die schnelle Iteration von AR- und VR-Anwendungen und unterstützt eine Vielzahl von Endgeräten, sodass die Portierung auf eine andere Plattform vergleichsweise einfach ist.
Sämtliche Future-Stories wurden auch als Video-Rendering umgesetzt, um auch Desktop-Nutzern den Zugang zu ermöglichen.
Um Interessenten, die nicht selbst als Messebesucher vor Ort sein konnten, die Chance zu geben, dennoch unsere Future-Stories zu erleben, erstellten wir zusätzlich zur AR-App auch 2D-Renderings. Unity bietet exzellente Werkzeuge für die Animation virtueller Kamerafahrten und die Erstellung derartiger linearer Derivate.
Die Wahl der Zielplattform fiel aus mehreren Gründen auf die zum Zeitpunkt der Messe neueste Iteration des iPad Pro: Mit den verbauten LiDAR-Scannern gelingt es dem iPad in AR-Szenarien deutlich besser, den realen Raum zu erkennen und so virtuelle Objekte exakt und ohne Verschiebungen und Ruckler in reale Kamerabilder zu platzieren. Der M1-Prozessor glänzt durch hohe CPU- und GPU-Leistung: So können 3D-Modelle vergleichsweise detailliert und polygonreich umgesetzt werden, ohne dass es zu Einbrüchen in der Framerate kommt.
Letztendlich gelang es unserem Team, in kurzer Zeit eine in sich stimmige, inhaltlich umfangreiche AR-Anwendung zu schaffen, die an jeder Ecke die Liebe zum Detail widerspiegelt, die wir von Aspekteins in die Umsetzung von immersiven Applikationen stecken. Wir danken Vistapark und ABB für die erfolgreiche Zusammenarbeit und freuen uns schon sehr auf kommende gemeinsame Projekte.
Haben auch Sie Interesse daran, die Möglichkeiten von immersiven Welten für Ihr Unternehmen auszukundschaften? Unser Team freut sich über neue Herausforderungen und begleitet auch Sie gerne auf diesem Weg.