Augmented Reality – was ist das?

Die rasante Entwicklung der Technologien von Augmented Reality (AR), Virtual Reality (VR) und Mixed Reality hat zur Folge, dass häufig die Begriffe verwechselt werden oder ineinander verschwimmen. Deshalb ist eine Begriffserläuterung und Abgrenzung wichtig. In dem folgenden Blogbeitrag werden die Definitionen erläutert, Begrifflichkeiten abgegrenzt und die Funktionsweise von AR erklärt. Darüber hinaus wird ein Überblick über die Anwendungsfelder von AR in der Industrie gegeben. Um AR anwenden zu können wird das Internet der Dinge, auch IoT genannt, benötigt. Das IoT umfasst eine breite Palette von Objekten und Technologien wie zum Beispiel Radio Frequency Identification (RFID), Near Field Communication (NFC) und Wireless Sensor and Actuator Networks (WSANs). Darüber hinaus umfasst IoT verschiedene Kommunikationsstandards, Protokolle und Datenformate, so dass die IoT-Umgebung heterogen, dezentral und komplex ist.

Definition und Abgrenzung

Zu Augmented Reality existieren heutzutage zahlreiche Definitionen, im Rahmen dieses Artikels wird AR in Anlehnung an Azuma definiert. Azuma definiert Augmented Reality, was in der deutschen Sprache häufig als erweiterte Realität bezeichnet wird, als eine Kombination aus der realen Umwelt und einer virtuellen Realität mit teilweiser Überlagerung. Das bedeutet einen dreidimensionalen Bezug von realen und virtuellen Objekten interaktiv in Echtzeit zu generieren. Werden diese Charakteristika erfüllt, wird von AR im engeren Sinne gesprochen. Entfällt die Interaktion in Echtzeit, das bedeutet es geschieht nur eine Überlagerung eines Gegenstandes durch Textinformationen, führt dies zu einem zweidimensionalen Bezug, wobei in diesem Fall von AR im weiteren Sinne gesprochen wird. Eine etwas genauere Definition besagt, dass Augmented Reality digitale oder computergenerierte Informationen aufnimmt, seien es Bilder, Audio, Video, Berührungen oder haptische Empfindungen und diese in einer Echtzeitumgebung überlagert. Im Gegensatz zu Virtual Reality ermöglicht Augmented Reality dem Benutzer, die reale Welt zu sehen mit virtuellen Objekten, die mit der realen Welt überlagert oder zusammengesetzt sind.

Durch die Begriffserklärungen von VR und Mixed Reality erfolgt die Abgrenzung zur AR. Virtual Reality bedeutet eine computergenerierte interaktive, nicht-physische, aber lebensechte Umgebung. Mit VR kann die Darstellung und Wahrnehmung einer Realität und ihre physikalischen Eigenschaften simuliert werden. Dies erfordert jedoch technologische Werkzeuge, welche die Realität verbergen. Dazu gehören VR-Brillen, sogenannte HMD´s, oder andere „geschlossene“ Systeme.

Der letzte Begriff Mixed Reality wurde durch die HoloLens von Microsoft geprägt. Mixed Reality ermöglicht es digitale Objekte nahtlos in die Realität zu integrieren und es dabei so wirken zu lassen als ob sie wirklich da wären. Der Begriff Mixed Reality wurde von Milgram schon im Reality-Virtuality Kontinuum 1994 erwähnt. Mixed Reality erstreckt sich zwischen der Realität und Virtualität, während der Anteil der Realität sinkt und der Anteil der Virtualität dementsprechend zunimmt. Dies wird Augmented Virtuality genannt, wie die nächste Abbildung zeigt.

Funktionsweise

Die Funktionsweise von Augmented Reality lässt sich auf 5 Schritte runterbrechen. Diese 5 Schritte sind Videoaufnahme, Tracking, Registrierung, Darstellung und Ausgabe. Im folgenden Abschnitt werden die 5 Schritte genauer beschrieben, um einen ersten Einblick in die Funktionsweise von AR zu bekommen.

Die Videoaufnahme gilt als erster Schritt, dabei wird ein Videostream der Umgebung, in der sich der Betrachter befindet, aufgenommen. Dafür wird eine kalibrierte Kamera zum Beispiel von einem Smartphone, einer HoloLens oder das Head Mounted Tablet  (HMT-1) benötigt.

Auf die Videoaufnahme folgt das Tracking, das die Position des Betrachters in der Umgebung erfasst. Um AR anzuwenden ist es wichtig, immer den Blickpunkt des Betrachters zu erfassen. In der Realität wird jedoch die Kameraposition erfasst, da meistens ein Videobild der Kamera vorliegt. Das Tracking kann über verschiedene Verfahren laufen, dazu gehören Mobiles Positions-Tracking mittels GPS, merkmalsbasierte Tracking-Verfahren mittels 2D- oder 3D- Modellerkennung oder Marker-Tracking bei dem durch Erfassen des Markers die hinterlegten Informationen abgerufen werden.

Als nächster Schritt ist die Registrierung notwendig, um die virtuellen Objekten in der Realität zu verankern. Um das zu ermöglichen, muss das Koordinatensystem der virtuellen Objekte und der Realität so in Verbindung gesetzte werden, dass virtuelle Objekte in der Realität an einem Ort fixiert erscheinen.

Durch die Darstellung werden die virtuellen Objekte wiedergegeben. Dabei wird das von der Kamera erfasste Bild durch virtuelle Objekte perspektivisch korrekt erweitert. Dabei geschieht die eigentliche Augmentierung.

Diese augmentierten Videobilder werden im letzten Schritt der Ausgabe auf dem jeweiligen Endgerät dargestellt. Dies kann wie bereits erwähnt ein Smartphone oder eine Datenbrille sein.

Eine erweiterte Funktionsweise beinhaltet schon die Interaktion zwischen Mensch und Maschine. Ein AR-fähiges Gerät analysiert einen Videostream und identifiziert ein physisches Objekt, indem es seine Form oder einen daran angebrachten Marker erkennt. Daraufhin verbindet sich die AR-Software mit einer digitalen 3D-Reproduktion des Objekts in der Cloud, dem sogenannten „digitalen Zwilling“. Dort können ausgelesene Sensoren Daten mit externen Daten kombiniert werden. Danach können diese Daten zum Beispiel Leistungsdaten auf der Benutzeroberfläche des AR-Gerätes dargestellt werden. Der Benutzer interagiert mit dem Objekt, indem er Befehle über einen Touchscreen, per Stimme oder mit Gesten an die Cloud sendet.

Anwendungsgebiete

In den letzten Jahren hat sich AR zu einer Technologie entwickelt, die für viele Industriezweige Anwendungsmöglichkeiten bietet. Laut dem Hype Cycle for Emerging Technologies dauert es noch fünf bis zehn Jahre bis die Technologie ihren Vorteil am Markt wirklich einbringen kann. Laut einer Prognose von Mathias Brandt soll der Umsatz 2021 bei $48 Milliarden liegen. Das verdeutlicht, was für ein unglaubliches Potenzial AR in der Zukunft mit sich bringt. Diesen Umsatz kann AR nur erzielen, wenn die Technologie wirklich in vielen Industriezweigen anwendbar ist. Deshalb ist die folgende Aufzählung nur ein Beispiel, um einen Einblick in die Vielfältigkeit von AR und deren Anwendungsgebiete in der Industrie zu bekommen.

Fernsehübertragungen
Bei Fernsehübertragungen kommt AR schon lange zum Einsatz, wenngleich es am wenigsten damit in Verbindung gebracht wird. So zählen die eingeblendeten Hilfslinien beim Fußball oder beim Skispringen, um Abseitspositionen und Höchstweiten darzustellen zu AR. Aktuell setzen Fernsehsender vermehrt auf AR, indem sie virtuelle Elemente im Sportstudio einblenden oder im Stadion die Startaufstellung der Fußballmannschaften darstellen.

Gaming
Die Computerspiele Industrie ist sehr fortschrittlich was VR und AR angeht. Durch die neue Generation der Smartphones, die über Kameras und verschiedene Sensoren verfügen, herrschen gute Voraussetzungen, um in der Zukunft weitere Spiele, wie Pokémon Go umzusetzen.  Außerdem bieten AR unterstützte Spiele Vorteile in den physischen und sozialen Bereichen. Diese sind unter anderem, dass der Spieler seinen ganzen Körper beim Spielen nutzen kann und die natürliche Kommunikation von Angesicht zu Angesicht fördert.

Tourismus
Durch die Verbreitung leistungsstarker Smartphones in der Gesellschaft wächst das Potential für die Tourismusbranche, Informationen angereichert mit virtuellen Inhalten anzubieten und diese zum Beispiel bei Sehenswürdigkeiten, abrufbar zu machen. Weiterhin könnten komplette Reiseführer mit AR verbunden werden, um so noch mehr Informationen und Wegbeschreibungen zur Verfügung zu stellen. AR stellt auch eine gute Alternative für Audioguides dar, weil zusätzlich zur Stimme noch mehr Informationen wie Bilder oder Modelle angezeigt werden können. Die Stadt Leipzig stellte auf der Immobilien- und Investorenmesse MIPIM 2018 in Cannes einen digitalen Stadtplan vor. Über ein Tablet können Betrachter durch die augmentierte Stadt spazieren und die Architektur Leipzig´s betrachten.

Bildung
Im Bereich Bildung bietet AR neue Möglichkeiten den Lernstoff zu vermitteln. Anstatt wie bisher die Lerninhalte durch Literatur oder vereinzelt durch Experimente zu gestalten, kann mit AR der Unterricht interaktiv stattfinden und erlebt werden. Das kann ebenso auf physikalische, makroskopische und mikroskopische Experimente zutreffen.

Medizin
Medical-Augmented-Reality-Systeme werden schon in verschiedenen medizinischen Bereichen eingesetzt, unter anderem in der medizinischen Ausbildung, in der OP-Planung und sogar während der Operation. Während der Ausbildung können Medizinstudenten praktische Übungen in realistischen AR-Operationsräumen durchführen, um Erfahrung zu sammeln, ohne dabei Patienten zu gefährden. Das wäre ebenso ein mögliches Anwendungsgebiet von VR. Bei Operationen bietet AR Chirurgen die Möglichkeit, durch Einblendungen grafischer Scans oder Hilfestellungen, permanent den Patienten im Blick zu haben, anstatt zwischendurch Informationen von einen Monitor ablesen zu müssen.

Architektur
In der Architektur sind reale Modelle und aufwendig bearbeitete Werbefilme gängig. Eine mögliche Alternative bietet AR, indem es vor Ort das Projekt in die Umgebung einbindet. Zum Beispiel kann das virtuelle Haus auf dem Grundstück angezeigt werden, damit der Bauherr einen ersten Eindruck bekommt, wie sein Haus in der Nachbarschaft wirkt. Beim Umbau der Leipziger Red Bull Arena wurde AR genutzt, um ein virtuelles Modell der Arena darzustellen. Zuerst wurde das bisherige Stadion eingeblendet, danach konnte das Zukunftsmodell mit zusätzlichen Informationen zum Umbau betrachtet werden. Außerdem besteht im Innenarchitekturbereich die Möglichkeit durch AR die Umbauplanungen zu visualisieren damit der Kunden eine Vorstellung davon bekommt, wie zum Beispiel beim Visualisieren einer neuen Küche.

Militär
AR weckte schon früh das Interesse des Militärs, um die Risiken für Soldaten zu verringern. Simulationssysteme werden für Trainingseinheiten genutzt, um kostengünstig möglichst realistische Übungen durchführen zu können. Außerdem kommen Head-up und Helmet-mounted Displays bei realen Kampfeinsätzen von Piloten zum Einsatz, um eine erweiterte Sicht zu gewähren. Das soll heißen, es werden zusätzliche Informationen wie Radarinformationen oder Messwerte eingeblendet. Dadurch kann der Pilot während eines Manövers Informationen erhalten, ohne dabei seinen Blick abwenden zu müssen.

Dieses Prinzip bietet der zivilen Luftfahrt ebenfalls zahlreiche Möglichkeiten. AR-Systeme und deren erweiterte Darstellung von Informationen kann die Sicherheit und Effizienz von Piloten, bei schlechten Wetter beziehungsweise schlechter Sicht, steigern.

Reparatur, Wartung und Training
AR bietet der Industrie viele Anwendungsgebiete, dazu gehört unter anderem der Servicebereich. Dieser kann in Unterkategorien wie Reparatur, Wartung und Training aufgeteilt werden. AR wurde erstmals bei Boeing für das Training von Arbeitern benutzt, um Ihnen das Verlegen von Kabelbäumen zu zeigen. AR bietet durch Einblenden von zusätzlichen Informationen oder Hinweisen eine Hilfestellung, um neue Arbeitsschritte zu erlernen. Im Bereich der Wartung bietet AR die Möglichkeit dem Techniker Arbeitsschritte, Werkzeuge und Ersatzteile zu visualisieren, um ihn zu unterstützen. Dies kommt häufig in der Automobil-, Flugzeugbaubranche, sowie bei Maschinen und Industrieanlagen vor. Das bedeutet AR bietet eine Hilfestellung, die dann genutzt wird, sobald Vorgänge komplizierter und komplexer werden. Außerdem ist es im Bereich der Wartung und Reparatur extrem wichtig, dass der Arbeiter seine Hände frei benutzen kann, um möglichst ungestört die Arbeit auszuführen. Dies ermöglicht eine Datenbrille wie zum Beispiel das HMT-1. Dadurch können dem Arbeiter Bau-, Schaltpläne oder Wartungsanleitungen visualisiert angezeigt werden.

Produktion
Früher mussten die Arbeiter in der Produktion, unter zu Hilfenahme von diversen Werkzeugen, einzelne Produkt bei sehr langen Arbeitszeiten fertigen. Dann kam Henry Ford mit seiner Idee der Förderstrecke und die Geschwindigkeit der Produktionsmontage wurde deutlich erhöht. Heute ist es in vielen Fällen vollautomatisch und trotzdem ist das Personal noch in einigen Bereichen unersetzlich. In der Produktion bieten Augmented-Reality-Anwendungen den Mitarbeitern eine visuelle Darstellung der zu montierenden Teile sowie Details, Informationen über notwendige Werkzeuge für jede Phase. Sie können die fertigen Teile hervorheben, die gesamte 3D-Anleitung geben. Und was noch wichtiger ist AR-Geräte, wie Datenbrillen, ermöglichen das Arbeiten mit beiden Händen. Zum Beispiel experimentierte BMW schon früh mit AR, um die Schweißprozesse an seinen Fahrzeugen zu verbessern.

Ebenso kann AR einen Vorteil bei der Rüstzeitoptimierung erzielen. Dabei muss zuerst der Rüstprozess analysiert werden, um einen Standard zu schaffen, dieser wird den Werkern über eine Datenbrille visualisiert. Um Akzeptanz bei den Mitarbeitern zu schaffen, ist es wichtig, die Mitarbeiter am Prozess teilnehmen zu lassen und ihre Ideen in die Lösung einfließen zu lassen.

Marketing
Im Marketing werden die neuen Technologien, sei es VR oder AR, zahlreich eingesetzt, um die Aufmerksamkeit der Kunden für ein Produkt zu gewinnen. Dabei kann die Interaktion und Visualisierung von AR genutzt werden, um Produkte erlebbarer darzustellen. Das kann über die Einbindung von AR in Flyers erfolgen, wie es beispielsweise Mercedes mit der Daimler Experience App für ihre Unternehmensbroschüre macht. Dort werden unter anderem Infografiken und 3D Modelle visualisiert. Unternehmen können AR nutzen, um sich als innovatives Unternehmen zu präsentieren. Ein Beispiel dafür ist JenOptik, die ihr neustes Produkt, den Beam Expander, mit einer AR App interaktiv präsentierten.