fahrspurerkennung in videoechtzeit mit soc eike jenning inf-m3 - seminar/ringvorlesung -...
TRANSCRIPT
![Page 1: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/1.jpg)
Fahrspurerkennung in Videoechtzeit mit SoC
Eike Jenning
INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008
30. November 2007
![Page 2: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/2.jpg)
Agenda
30.11.20072
Einleitung Algorithmus zur Fahrspurerkennung Fahrspurerkennung mit SoC Zusammenfassung Ausblick
Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC
![Page 3: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/3.jpg)
Agenda
30.11.20073
Einleitung Algorithmus zur Fahrspurerkennung Fahrspurerkennung mit SoC Zusammenfassung Ausblick
Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC
![Page 4: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/4.jpg)
Motivation
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC4
Teilnahme der HAW am CaroloCup Jährlicher Wettbewerb für autonome Fahrzeuge Vergleich zu anderen Teilnehmern Industriekontakt
Wettbewerbscharakter soll Studenten motivieren
![Page 5: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/5.jpg)
Anforderungen
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC5
Fahrspurerkennung Hinderniserkennung Paralleles Einparken Modellmaßstab 1:10 Minimaler Energieverbrauch Maximale Geschwindigkeit
![Page 6: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/6.jpg)
Faust-Plattform
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC6
SCV und intelliTruck erfüllen andere Anforderungen
Aufbau einer konformen Faust-Plattform Transfer vorhandener Funktionen
Andere Sensorik Andere Rechenleistung
![Page 7: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/7.jpg)
Thema
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC7
Fahrspurerkennung Seminar Hinderniserkennung Paralleles Einparken Modellmaßstab 1:10 Minimaler Energieverbrauch Maximale Geschwindigkeit
Projekt/Abschlussarbeit(en)
![Page 8: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/8.jpg)
Fahrspurerkennung intelliTruck
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC8
Kantenerkennung durch Houghtransformation 2,33Ghz DualCore CPU Zu verbessern:
Kurvenverhalten Robustheit
![Page 9: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/9.jpg)
Argumentation für SoC
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC9
Entlastung der Hauptsteuereinheit Verbesserung der Regelung Verbesserung der Energiebilanz Industrierelevanz
![Page 10: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/10.jpg)
Agenda
30.11.200710
Einleitung Algorithmus zur Fahrspurerkennung Fahrspurerkennung mit SoC Zusammenfassung Ausblick
Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC
![Page 11: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/11.jpg)
Voraussetzungen
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC11
Schatten Fehlende bzw. fehlerhafte Markierungen Feuchtigkeit
![Page 12: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/12.jpg)
Ablauf der Bildverarbeitung
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC12
Vorverarbeitung Datenreduktion durch ROI und Resampling Kantenextraktion (z.B. Sobel, Prewitt) Glättung (z.B. Gaussfilter)
Merkmalsextraktion Merkmalsklassifikation
i.d.R. hohe Rechenleistung erforderlich
![Page 13: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/13.jpg)
Beispiel Vorverarbeitung
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC13
Glätten mit Binomialfilter Gauss-Näherung 3x3 Faltungsmaske
![Page 14: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/14.jpg)
Peak-finding Algorithmus
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC14
Idee: Extraktion von Maxima pro Bildzeile Grundlage: Markierungseigenschaften
Helligkeit Breite Nachbarschaft
Maxima müssen Anforderungen bezüglich Höhe und Breite erfüllen
![Page 15: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/15.jpg)
Extraktion von Maxima
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC15
Peak ohne Welle Glättung wichtig
![Page 16: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/16.jpg)
Auswerten der Maxima
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC16
Bilden von Geraden im Peak-Point-Image kleinste Fehlerquadrat-Methode
Zusammenfügen der Geraden
![Page 17: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/17.jpg)
Ergebnis
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC17
Robustheit wird nicht angegeben Geschwindigkeit: 15ms bei 1,8GHz
![Page 18: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/18.jpg)
Agenda
30.11.200718
Einleitung Algorithmus zur Fahrspurerkennung Fahrspurerkennung mit SoC Zusammenfassung Ausblick
Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC
![Page 19: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/19.jpg)
Modulbasierte Architektur
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC19
![Page 20: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/20.jpg)
Herausforderung
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC20
Externen Speicherzugriff vermeiden Bildgröße: 1280x1024x8bit ≈ 1,3MB Speicherung von wenigen Bildzeilen im FPGA Algorithmen im Datenstrom Parallele OnChip-Speicherung extrahierter
Merkmale
![Page 21: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/21.jpg)
Anwendung: 3x3 Faltungsmaske
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC21
![Page 22: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/22.jpg)
Anwendung: 3x3 Faltungsmaske
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC22
![Page 23: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/23.jpg)
Berechnung in Pipeline
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC23
![Page 24: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/24.jpg)
Peak-finding im Datenstrom
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC24
Definition einer 1-dimensionalen Maske Breite und Höhe durch Maximaspezifikation Zustandsautomat kontrolliert Pixelverlauf
Information über Pixel 3 in nächste Verarbeitungsstufe
![Page 25: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/25.jpg)
Agenda
30.11.200725
Einleitung Algorithmus zur Fahrspurerkennung Fahrspurerkennung mit SoC Zusammenfassung Ausblick
Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC
![Page 26: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/26.jpg)
Zusammenfassung
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC26
Rahmen: Teilnahme am CaroloCup Argumentation für SoC Fahrspurerkennung durch Peak-finding Algorithmen im Datenstrom
Deserialisierung Parallele Berechnung Pipelining
![Page 27: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/27.jpg)
Ausblick
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC27
Projekt: Fahrzeugplattform aufbauen Sensorik Kommunikation Energieverbrauch
Masterarbeit: Algorithmus-Evaluation in Software Architekturentwürfe für Hardware-Modellierung
![Page 28: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/28.jpg)
Literatur
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC28
S.Huang, C.Chen, P.Hsiao, L.Fu: On-board Vision System for Lane Recognition…, IEEE 2004
P.Hsiao, H.Cheng, C.Yeh, L.Fu: Automobile Lane Detection System-on-Chip…, IEEE 2005
L.Zhang:FPGA based CCD Camera with Bayer Filter Interpolation, 2006
I.Birnbaum: Erweiterung eines FPGA-basierten CCD-Kamera-Prototypen mit Steuerungs-und Bildverarbeitungsmodulen, 2007
F.Paulo: Bildvorverarbeitungsmodule für eine FPGA-basierte CCD-Kamera mit Optimierung einer 700 MBit Schnittstelle, 2007
![Page 29: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/29.jpg)
Fahrspurerkennung in Videoechtzeit mit SoC
Eike Jenning
INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008
30. November 2007
![Page 30: Fahrspurerkennung in Videoechtzeit mit SoC Eike Jenning INF-M3 - Seminar/Ringvorlesung - Wintersemester 2007/2008 30. November 2007](https://reader036.vdocuments.pub/reader036/viewer/2022062623/55204d7549795902118ca096/html5/thumbnails/30.jpg)
Glossar
30.11.2007Eike Jenning - Fahrspurerkennung in Videoechtzeit mit SoC30
FPGA – Field Programmable Grid Array Vielseitiger Hardwarebaustein aus Logikgattern
ROI – Region of Interest Bildausschnitt mit den wesentlichen Informationen
SCV – Sensor Controlled Vehicle Faust-Plattform zur Erforschung von
zeitgesteuerten Systemen und Fahrassistenten SoC – System on Chip
Hardwarebaustein mit verschiedenen logischen Modulen