ar - entwicklungsumgebung toolvergleich und umsetzung einer … · 2019-10-08 · basierte...
TRANSCRIPT
-
AR - EntwicklungsumgebungToolvergleich und Umsetzung einer ApplikationTheresa Feulner, Maryam Kaiser, Roland Stolz
03.07.2019 – Abschlusspräsentation Biomedizintechnische Projektarbeit – Prof. Dr. Stefanie Remmele – Hochschule Landshut
e
Ziel
Motivation
Methode
Ergebnis
Das Ziel dieser konzeptionellen Arbeit ist der Vergleich von unterschiedlichen Augmented Reality Tools und das Finden von geeigneten Vergleichskriterien.Darauf basierend soll anhand eines dieser Tools eine Beispielapplikation zur Demonstration von Augmented Reality entwickelt werden.
[1] https://www.in.tum.de/forschung/forschungs-highlights/medical-augmented-reality/, abgerufen am 30.06.2019[2] https://www.ghst.de/interview-alzheimer-koffer-tu-kaiserslautern/, abgerufen am 30.06.2019[3] https://www.blender.org/, abgerufen am 30.06.2019[4] https://unity3d.com/, abgerufen am 30.06.2019[5] https://www.ptc.com/de/products/augmented-reality, abgerufen am 30.06.2019
[6] https://www.wikitude.com/, abgerufen am 30.06.2019[7] https://aframe.io/, abgerufen am 30.06.2019[8] https://aframe.io/blog/arjs/, abgerufen am 30.06.2019[9] https://developers.google.com/ar/discover/, abgerufen am 30.06.2019[10] Rudorf Julia, https://www.apotheken-umschau.de/Medizin/AugmentedReality-OP-542489.html, abgerufen am 30.06.2019
Literatur
Diskussion
a) Blender b) Unity c) Vuforia d) Wikitude e) A-Frame g) AR Core
Tabelle 1: Aufbau des Fragebogens zur Bewertung der Applikationen im Hörsaal und der Testkriterien für die AR-Marker
Da die Beispielapplikationen in der Lehre Anwendung finden sollen, sind die Tools hinsichtlich des Kriteriums „AR Tracking Möglichkeiten“ vor allem in Bezug auf die Lehre bewertet worden. Das Markerbasierte Tracking von AR.js, Wikitude und Vuforia, lässt sich durch das Einfügen von Markern problemlos in die Vorlesungsunterlagen integrieren. Das Tool AR Core weist zwar ein hervorragendesFlächentracking auf, ist jedoch genau aus diesem Grund für Lehrzwecke ungeeignet, da die Positionierung des Modells nicht festgelegt ist. Für die Entwicklung der Android App stehen somit Vuforia undWikitude zur Auswahl. Da Ersteres für den Einsatz der App in Forschung und Lehre kostenlos zur Verfügung steht, ist die finale App mit Vuforia umgesetzt worden.Da die App für den Einsatz in der Lehre entwickelt worden ist, ist es wichtig, dass durch deren Benutzung auch ein Lernerfolg eintritt. Obwohl es sich bei den Anwendungen um eine Demoversion handelt, istein Lernerfolg erkennbar. Die befragten Studenten schneiden im Fragebogen nach der Verwendung der App im Durchschnitt besser ab (s. Tab. 3). Außerdem stufen die befragten Kommilitonen die App alsverständlich und einfach zu bedienen ein (s. Tab. 3).Die Durchführung des Markertests hat ergeben, dass das Tracking sowohl mit Vuforia, als auch mit Ar.js, unabhängig von Lichtverhältnissen und einer Beschriftung des Markers, stabil funktioniert. Für dieAnfertigung des Röntgenmodells wird die Software Blender (s. Abb. 2a) verwendet, da hier beim Exportieren des erstellten 3D-Modells die höchste Kompatibilität mit der ausgewählten AR-Entwicklungsumgebung gewährleistet ist.
Abbildung 4: Darstellung der Systemarchitektur der Webanwendung und der Android App
Unity ist eine für nichtkommerzielle Zweckekostenlose Entwick-lungsumgebung zurSchaffung von 2D- und3D-Anwendungen. [4]
Vuforia ist ein SoftwareDevelopment Kit derFirma PTC, mit welchemmarker- und objekt-basierte AugmentedReality (AR) Anwen-dungen erstellt werdenkönnen. [5]
Wikitude ist ein SoftwareDevelopment Kit, mitwelchem sich marker-,objekt- und flächen-basierte AugmentedReality Applikationenentwickeln lassen. [6]
A-Frame ist ein openSource Web-Frameworkvon Mozilla, mitwelchem sich 3DApplikationen im Web-browser darstellenlassen. [7]
AR Core ist ein SoftwareDevelopment Kit vonGoogle, mit welchem 3DObjekten auf gescann-ten Flächen platziertwerden können. [9]
f) AR.jsAr.js ist ein Open SourceJava Script Framework,das durch die Verwen-dung von A-Frame dieDarstellung einer AR imBrowser ermöglicht. Esbenutzt die marker-basierte Darstellung derAR von ARToolKit. [8]
Abbildung 1: Augmented Reality Anwendung in der Medizintechnik [10]
Blender ist eine openSource 3D Grafik-software, mit welchersich Körper modellieren,texturieren und animie-ren lassen. [3]
Abbildung 2: Übersicht über verwendete Software und getestete Tools
Die Augmented Reality ist die Verschmelzung vonComputerdaten mit Kamerabildern aus der realenUmgebung. Großes Entwicklungspotential besitzt dabeidie Anwendung in der Medizintechnik. Beispielsweise wirddurch die Projektion von CT Schnittbildern auf dieKörperoberfläche ein virtueller Blick in das Körperinnereermöglicht. Dadurch können Operationen für Ärzteerleichtert werden [1] (siehe Abbildung 1).Dieses Entwicklungspotential findet auch in der LehreAnwendung. Anhand von Augmented Reality lassen sichkomplexe Lehrinhalte anschaulich visualisieren [2].Aufgrund dieses aktuellen Trends existieren zahlreicheUmsetzungsvarianten von Augmented Reality, die inunterschiedliche Entwicklungsumgebungen eingebundensind (siehe Abbildung 2).
Abbildung 8:Umsetzung derAndroid App mit demTool Vuforia (objekt-basiertes Tracking).Die Animation wirdvirtuell über dem Bilddes Labor-eigenenRöntgengerätsplatziert.
Abbildung 9:Umsetzung derWeb-anwendung mitdem Tool AR.js Diehierfür verwendetenMarker müsseneinen quadratischenschwarzen Rahmeneiner Mindestdickeaufweisen.
Abbildung 7:Umsetzung derAndroid App mit demTool Vuforia (marker-basiertes Tracking).Das 3D Modell wirdvirtuell auf einemindividuellen Markerplatziert.
Test und Testkriterium
AR.js
Vuforia
Hörsaaltest Teil A
Lernerfolg gemessen an durchschnittlich richtig beantworteten Fragen
+ 1,59 Punkte besser + 2,3 Punkte besser
Hörsaaltest Teil B
Zuverlässigkeit (ohne Systemausfall) 5 von 8 Geräte 9 von 9 Geräte
Verständlichkeit [-2 -1 +1 +2] +1,50 +1,89
Einfluss von Störungen 3 von 8 Geräte 0 von 9 Geräte Qualität des 3D-Modells
[-2 -1 +1 +2] +1,38 +1,78
Marker Tracking
Hardwaretest
Frames pro Sekunde der Darstellung abhängig
von Hardware; Flackern auf manchen
Smartphones
30 Frames pro Sekunde auf allen getesteten
Smartphones
Lichtverhältnisse Tracking mit Marker auf Papier stabiler und mit
weniger Stops
Kein Einfluss auf Tra-cking
Bei Lichtreflexionen auf Tablet leichtes Zittern
des Modells Marker mit Beschrif-
tung Keine Beeinflussung des
Trackings Keine Beeinflussung des
Trackings
Objekt Tracking Funktions-Test Nicht möglich
Stabiles Tracking, „Ersterkennung“ zeitver-zögert und nur unter gu-ten Lichtverhältnissen
Die Abbildungen 7-9 zeigen die Beispielapplikationen.Das User Interface erlaubt eine Interaktion mit demModell durch die Modulation von Anodenspannung undAnodenstrom, sowie das Starten und Stoppen derAnimation des 3D Röntgenmodells (s. Abb. 7 und 8).
Tabelle 2 : Auswertung des Toolvergleichs Tabelle 3: Vergleich und Evaluierung der Applikationen durchDurchführung und Auswertung von Tests
Abbildung 3: Veranschaulichungder Konzeptentwicklung
Abbildung 5: Workflow für die Erstellung des 3D Modells mit Blender
Zunächst wurden die unter der Motivation vorgestellten Tools und Frameworks hinsichtlich selbst gewählter Kriterien verglichen (s. Abb. 3). Aufgrund der Ergebnisse dieser Bewertung wurde anschließend eineSystemarchitektur für eine Webanwendung und eine Android App erstellt (s. Abb. 4). Zur spezifischen Gestaltung der Anwendungen wurde ein eigenes 3D Modell erstellt (s. Abb. 5 und 6). Die beiden Appswurden anhand eines Nutzertests im Hörsaal hinsichtlich der Kriterien Stabilität, Usability, Einfluss von Störungen und der Qualität des 3D Modells analysiert (s. Tab. 1). Darüber hinaus wurden Tests bezüglichAuswirkungen von externen Einflüssen auf die beiden Anwendungen und auf die Marker durchgeführt (s. Tab. 1).
Abbildung 6: Screenshot des erstellten 3D Modells und Erstellung einer UV-Map
Abbildung 9:Link zum Hochschul-server (Speicherort derAR-Webanwendung)
Hier gerne selbst ausprobieren !
Abbildung 10:Marker, auf dem dasModell in der Web-anwendung platziertwird
DanksagungWir bedanken uns bei unseren Kommilitonen aus dem vierten SemesterBMT für die Teilnahme an dem Hörsaaltest. Des weiteren bedanken wir unsbei Jerome Etienne für die öffentliche Bereitstellung des AR.js Frameworks.
Evaluierung der AR Anwendungen
Toolvergleich: Eignung für Lehrzwecke
Entwicklung 3D ModellSystemarchitektur der AR Anwendungen
Resultierend aus den in der Methode vorgestellten Kriterien zum Vergleich der AR Tools, ist eine Analyse dieser Tools im Bezug auf die Anwendung für Lehrzwecke umgesetzt worden (s. Tab. 2).Im Anschluss sind die Ergebnisse des Hörsaal- und Markertests dargestellt, die mit den umgesetzten Beispielapplikationen durchgeführt worden sind (s. Tab. 3).
Kriterium AR Core
AR.js
Vuforia
Wikitude
Applikation
Kompatible Smartphones
Nur auf wenigen, neueren
Smartphones möglich
Alle Smartphones, die WebGL unterstützen
(aktuellste Version des Browsers)
Alle Smartphones mit Android 7.0+
Alle Smartphones mit Android 4.4+
Installation
• .apk Installation auf Android Gerät
• Zusätzlich benötigte Software: Google ARCore (PlayStore)
Web Applikation keine Installation notwendig, da über
Webbrowser verfügbar
.apk Installation auf Android Geräten
.apk Installation auf Android Geräten
Framework / SDK
Installations-prozess
• Unity Package installieren
• Installieren von zusätzlichem SDK für jede Anwendung
Link zu A-Frame und AR.js HTML-Code einfügen
• Vuforia bereits in Unity integriert schnelle Installation der SDK
• Marker Verwaltung über Vuforia Website
• Unity package installieren
• Marker Verwaltung über Wikitude Studio
Entwicklungs-aufwand
Für jede Tracking-methode neues SDK in Unity installieren
• Anzeige von 3D-Modell: einfach umsetzbar
• Interaktion / Animation: Kenntnisse in html, JavaScript und css
Grundlegende Unity-Kenntnisse sind
notwendig
Grundlegende Unity- Kenntnisse sind notwendig
Lizenz Freie Lizenz Open Source Freie Lizenz für Forschung und
Lehrzwecke
Freie Lizenz nur für Entwicklung. Sehr teure
Lizenz für Lehrzwecke
3D Modell Einbindung von eigenen
Modellen
Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp /
Blender)
Eigene Modelle können importiert werden.
Einfache Einbindung von selbsterstellten 3D
Modellen (z.B. über SketchUp / Blender)
Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp / Blender)
Test und Testkriterium
AR.js
Vuforia
Hörsaaltest Teil A
Lernerfolg gemessen an durchschnittlich richtig beantworteten Fragen
+ 1,59 Punkte besser
+ 2,3 Punkte besser
Hörsaaltest Teil B
Zuverlässigkeit
(ohne Systemausfall)
5 von 8 Geräte
9 von 9 Geräte
Verständlichkeit[-2 -1 +1 +2]
+1,50
+1,89
Einfluss von Störungen
3 von 8 Geräte
0 von 9 Geräte
Qualität des 3D-Modells
[-2 -1 +1 +2]
+1,38
+1,78
Marker
Tracking
Hardwaretest
Frames pro Sekunde der Darstellung abhängig von Hardware;
Flackern auf manchen Smartphones
30 Frames pro Sekunde auf allen getesteten Smartphones
Lichtverhältnisse
Tracking mit Marker auf Papier stabiler und mit weniger Stops
Kein Einfluss auf Tracking
Bei Lichtreflexionen auf Tablet leichtes Zittern des Modells
Marker mit Beschriftung
Keine Beeinflussung des Trackings
Keine Beeinflussung des Trackings
Objekt
Tracking
Funktions-Test
Nicht möglich
Stabiles Tracking, „Ersterkennung“ zeitverzögert und nur unter guten Lichtverhältnissen
Kriterium
AR Core
AR.js
Vuforia
Wikitude
Applikation
Kompatible Smartphones
Nur auf wenigen, neueren Smartphones möglich
Alle Smartphones, die WebGL unterstützen (aktuellste Version des Browsers)
Alle Smartphones mit Android 7.0+
Alle Smartphones mit Android 4.4+
Installation
· .apk Installation auf Android Gerät
· Zusätzlich benötigte Software: Google ARCore (PlayStore)
Web Applikation
keine Installation notwendig, da über Webbrowser verfügbar
.apk Installation auf Android Geräten
.apk Installation auf Android Geräten
Framework / SDK
Installations-prozess
· Unity Package installieren
· Installieren von zusätzlichem SDK für jede Anwendung
Link zu A-Frame und AR.js HTML-Code einfügen
· Vuforia bereits in Unity integriert schnelle Installation der SDK
· Marker Verwaltung über Vuforia Website
· Unity package installieren
· Marker Verwaltung über Wikitude Studio
Entwicklungs-aufwand
Für jede Tracking-methode neues SDK in Unity installieren
· Anzeige von 3D-Modell: einfach umsetzbar
· Interaktion / Animation: Kenntnisse in html, JavaScript und css
Grundlegende Unity-Kenntnisse sind notwendig
Grundlegende Unity-
Kenntnisse sind notwendig
Lizenz
Freie Lizenz
Open Source
Freie Lizenz für Forschung und Lehrzwecke
Freie Lizenz nur für Entwicklung. Sehr teure Lizenz für Lehrzwecke
3D Modell
Einbindung von eigenen Modellen
Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp / Blender)
Eigene Modelle können importiert werden.
Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp / Blender)
Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp / Blender)
AR Tracking Möglichkeiten
Flächenerkennung
Ausschließlich Marker Tracking mit vorgegebenen Marker Design
Viele Möglichkeiten wie z.B. Marker basiert, Objekterkennung, …
Viele Möglichkeiten wie z.B. Marker basiert, Objekterkennung, …
AR - Entwicklungsumgebung�Toolvergleich und Umsetzung einer Applikation�Theresa Feulner, Maryam Kaiser, Roland Stolz