Bildgestützte Texterkennung als Komponente für Mobile Assistenzservices im Öffentlichen Verkehr

Lucas Paletta (JR)Gerald Fritz (JR)

Patrick Luley (JR)Walter Scheitz (FH)

Regina Wallner (GEFAS)

Barrierefreie NavigationUmsteigehaltestelle Graz (Jakominiplatz)

Physische Barrieren Kognitive Barrieren - Orientierungsvermögen

2

Mobile Assistenz

Kontinuierliche Assistenz

Kritische SituationenJederzeit und überall verfügbar

3

Cultural Probes

Fundamentale Bedürfniserhebung

Fokus GruppenKontextinterviews

4

5

Aktivitäts- Erkennung

Bildgestützte Services

Client/Server Kommunikation

WLAN Schnittstelle

Location Based

Services (LSB)

Multisensor gestützte Services

Zielauswahl Routenwahl Assistenzmodi

Mobile Assistenz:Ziel & Routenwahl

6

SeniorInnen Display Anpassung

7

Erinnerung, Losgehen, Einsteigen, Haltestellenverlauf, Ticket,…

Mobile Assistenz:Kontexterkennung

8

Bildgestützte Services für SeniorInnen

Modul „Textlupe“Sehschwäche der SeniorInnenLesen optisch kleiner TexteAbbildung auf „verständliche“ Textbausteine

Modul „Talking Signs“Visuelle Signaltafeln mit BedeutungSprechende HaltestellenInformation über relevantes in der näheren Umgebung

9

Schwarzfahrenführt zuVerspannungen

Mobile „Textlupe“ & „Talking Signs “

10

F&E Modul: Textlupe11

• Optical Character Recogntion (OCR)

• Korrektur via• Wörterbuch• spezifische

Wortlisten

• Audio Schnittstelle

• Bildqualität• Beleuchtung• Spiegelungen• Ausrichtung

• Detektion• Wo im Bild

befindet sich Text?

• Segmentierung einzelner Buchstaben

12Bildbeispiele Textlupe

Schienenersatzverkehr

Richtung Jakominiplatz Busline E

ERSATZVERKEHR7 Juli bis 7 September 2012

Straßenbahnlinien 1 3 6 und 77 7 bis 7 9 2012Jakominiplatz Hbf Laudongasse

Straßenbahnlinien 6 und 267 7 bis 7 9 2012Jakominiplatz St.Peter

Straßenbahnlinien 3 und 137 bis 29 7 2012Jakomini … usw.

Kontinuierliche AssistenzEverywhere/-time

Mobiles Services

Usability fokussiert

Multisensorgestütztes ServiceGeokontextuelle Services

Aktivitätserkennung

Bildgestütztes Service

Service Textlupe Texterkennung

Augmentierte Realität

Zusammenfassung13

JOANNEUM RESEARCH Forschungsgesellschaft mbH

Institut für Informations- und Kommunikationstechnologien

www.joanneum.at/digital

Lucas Paletta & Gerald FritzHuman Factors Technologies & Services{lucas.paletta, gerald.fritz}@joanneum.at