testen von l3 systemen - pegasusprojekt.de · bislang wird das systemverhalten im verkehr als...
TRANSCRIPT
![Page 1: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/1.jpg)
Testen von L3 Systemen – ein Überblick über die aktuelle PEGASUS Vorgehensweise
Dr. Helmut Schittenhelm | 08. November 2017
![Page 2: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/2.jpg)
Ausgangsproblem: Die Absicherungsfalle*
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 59
* „ Absicherung automatisiertes Fahren“, Prof. Winner, 6. FAS-Tagung, München, 29.11.2013
Wenn man das bisherige Verfahren auf hochautomatisiertes Fahren überträgt, müsste man statt 1 Mio. Kilometern 240* Mio. Kilometer fahren!
Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet. Dies entspricht dem Versuch, den Zustandsraum durch reines Fahren repräsentativ abzudecken.
![Page 3: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/3.jpg)
Lösungsansatz
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 60
• Steigerung der Virtualisierung des Test- und Absicherungsprozesses • Zur Beherrschung des großen Testraum und Testvolumens, • zur Selektion relevanter Testszenarien.
• Iterative Ermittlung der Szenarien für die hochautomatisierte Funktion durch intelligente Vernetzung aller Testinstanzen wie Simulation, Prüfgelände und Feldtests und Abgleich mit einer zentralen Testspezifikations-Datenbank (szenariobasierter Ansatz). • Simulative Ermittlung der Funktionsgrenzen sowie dem Nachweis der Beherrschbarkeit.
Herausforderung für die Simulation:
• Realitätsnahe Modelle (Sensorik, Umgebungsdarstellung) • Verifikation und Validierung mit Prüfgelände und Feldtests Herausforderung für die Prüfmethodik: • Robuste, reproduzierbare, präzise Ausführung der Manöver • Standardisierung der Schnittstellen mit der Simulation
![Page 4: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/4.jpg)
Arbeitsinhalte des TP 3 Testen – Methodenentwicklung für das Testen und Darstellung des Absicherungsprozesses
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 61
Detaillierung und Vervollständigung der Testszenarien aus Teilprojekt 1, inklusive technischer Güte- und Qualitätsmaße sowie Abnahmekriterien
Aufbau und Füllung der Testspezifikations-Datenbank
Festlegung und Erweiterung von Testmethoden, Schnittstellen, Werkzeugen für Simulation, Prüfgelände und für Realverkehr
Erstellung und Abstimmung industrieweit etablierter Modelle, Werkzeuge und Schnittstellen für die Simulation
Zusammenstellung des Testkatalogs und Anforderungen für Labor, Prüfgelände und Feldabsicherung
Aufbau von Referenzelementen zur praktischen Erprobung und Funktionsdemonstration
Darstellung einer exemplarischen Absicherung durch Simulation, Prüfgelände und auf der Straße
![Page 5: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/5.jpg)
Standardisierung - Voraussetzung für Steigerung Virtualisierung
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 62
OpenSCENARIO: Für die (formale) Beschreibung des dynamischen und statischen Inhalts eines Szenarios wird OPENSCENARIO v 0.9.1 eingesetzt. Verwendung:
• Datenbank • Manöversteuerung in Simulation und Prüfgelände
OpenDRIVE: Für die (formale) Beschreibung von Straßen und Strecken wird OPENDRIVE v1.4 eingesetzt. Verwendung:
• Datenbank • Manöversteuerung in Simulation und Prüfgelände
OSI und FMU 2.0: Für die Einbindung von Sensormodellen und anderen Modulen werden FMU 2.0 und OSI verwendet als Standard für die Co-Simulation und Kommunikation genutzt.
![Page 6: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/6.jpg)
Relevanz, …
Testspezifikations-Datenbank –Knowhow des Szenario-Ansatzes Ausgangsbasis für einen internationalen Standard
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 63
FOT/NDS mit Umgebungs-
erfassung
Realfahrt mit L3
Fahrsimulator
Fahrversuch Prüfgelände
Unfalldaten
Infrastruktur Methode Testspezifikation (Basis)
PEGASUS - Datenbank
Har
mon
isie
rung
Proz
essi
erun
g
Datenquellen
Bewertungs- kriterien
Parameter-raum
Logisches Szenario
Harmonisiert sammeln, standardisiert archivieren, vereinheitlicht auswerten, um einheitliche Testspezifikationen abzuleiten!
![Page 7: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/7.jpg)
Standardisierte Datenbankmechanik zur Testspezifikation (Basis)
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 64
Pre-
![Page 8: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/8.jpg)
Toolkette „Testen in der Simulation“ - Gezielte Qualifizierung des Bewährten
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 65
PEGASUS ermöglicht die Anbindung an bestehende etablierte Werkzeuge.
Ziel:
• Verwendung einer gemeinsamen Werkzeugkette zur Durchführung von Tests
• Einheitliche Schnittstellen zwischen den Werkzeugen ermöglichen ein Austauschen von Werkzeugen innerhalb der Werkzeugkette
![Page 9: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/9.jpg)
50 57,5 65 72,5 80
Beispiel zur Vorgehensweise / Prozess in der Simulation
© PEGASUS | Halbzeitveranstaltung | 08.11.2017
Testfallsteuerung, Testraumabdeckung
66
vereinfachte Parametrierung !
Testfall- beschreibung Ergebnisdarstellung
![Page 10: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/10.jpg)
Beispiel: Simulation des unkritischen und relevanten Szenarios
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 67
Unkritischer Fall mit Parametern: 𝑚𝑚 = 1600 kg; 𝑠𝑠 = 5 s; 𝑑𝑑𝐴𝐴 = 20 m; 𝑣𝑣 = 50 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 1.892 s
Absicherungsrelevanter Fall mit Parametern: 𝑚𝑚 = 2200 kg; 𝑠𝑠 = 2 s; 𝑑𝑑𝐴𝐴 = 0 m; 𝑣𝑣 = 80 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 0.676 s
VIDEO VIDEO
![Page 11: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/11.jpg)
Bildung des Testraums Verknüpfung von relevanter, repräsentativer Realität und technischen Anforderungen
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 68
Relevanz
Bewertungs- kriterien
Parameter-raum
Logisches Szenario
Basis-Test spezifikation
Test
spez
ifika
tions
-Dat
enba
nk
. .
. . ..
Umfeld • Straße• Statische Objekte• Dynamische Objekte• Umweltbedingungen
Fahrzeug (VUT) • Fahrdynamik• Umfeldsensorik• Statische Kenndaten
Fahrer
Sensorik (phänomenologisch)• Radar• Lidar• Kamera• Ultraschall
Funktion (HAF, Level 3)
FuSi (26262, SOTIF)
Test- raum
Test
konz
ept
Test
spez
ifika
tions
-Dat
enba
nk
TTC, …
![Page 12: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/12.jpg)
Interaktion Testspezifikations-Datenbank und Testinstanzen
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 69
Feldtests
Simulation (SiL, HiL, ViL, …)
69© PEGASUS | Goals and work contents of PEGASUS
Selektion log. Szenario inkl.
Eingrenzung Parameterbereich
Autom. Aus- und Bewertung
Selektion log. Szenario inkl.
Eingrenzung Parameterbereich
Prüfgelände
Identifikation kritischer
Szenarien in Messdaten
Simulation (Ermittlung kritischer konkreter Szenarien)
Versuchs-durchführung
Testkonzept und Zuordnung Testzuordnung
Verifikation
Validierung
Aus- und Bewertung
Replay2Sim (Messdaten 2
konkretes Szenario)
Relevanz
Bewertungs- kriterien
Parameter-raum
Logisches Szenario
Basis-Test spezifikation
Test
spez
ifika
tions
-Dat
enba
nk
Test
konz
ept
Selektion konkretes Szenario
und Versuchsplanung
![Page 13: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/13.jpg)
Innovative Prüfmethoden für das reproduzierbare Testen – technologisch auf dem gleichen Niveau wie ein HAF-System
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 70
Mobiler Leitstand
Generik für Versuchsplanung
Manöverplanung als Input für Manöversteuerung
Beispielhafte Implementierung einer direkten Ansteuerung für Testbetrieb
![Page 14: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/14.jpg)
Verifikation Simulationsergebnis mit Prüfgeländetest
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 71
Absicherungsrelevanter Fall mit Parametern: 𝑚𝑚 = 2200 kg; 𝑠𝑠 = 2 s; 𝑑𝑑𝐴𝐴 = 0 m; 𝑣𝑣 = 80 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 0.676 s
Prüfgelände Simulation
Absicherungsrelevanter Fall mit Parametern: 𝑚𝑚 = 2200 kg; 𝑠𝑠 = 2 s; 𝑑𝑑𝐴𝐴 = 0 m; 𝑣𝑣 = 80 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 0.676 s
VIDEO VIDEO
![Page 15: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/15.jpg)
Beispielhafte Kenngrößen im Szenario „Stauende“ Reproduzierbarkeit am Beispiel „Stauende“ (Daimler Szenario)
Genauigkeit der Reproduzierbarkeit des Prüfgeländetests Neu: Ausführungsqualität des Prüfgeländes muss in relevanten Elementen der der Simulation entsprechen
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 72
Trajektorien
soll, ist – Verlauf TSV
Geschwindigkeit
soll, ist – Verlauf TSV
Max. Querabweichung des TSV beim Spurwechsel • 3,2cm +- 0,2cm
Max. Spurabweichung des TSV auf der Geraden: • 0cm +- 0,05cm
Max. Geschwindigkeitsabweichung TSV auf der Geraden: • 0,1km/h +- 0,05km/h
Max. Verzug (Zeit) des TSV beim Spurwechsel • 0,05s +- 0,3s
Verzug in der Sichtbarkeit des SCT1 für das VUT
![Page 16: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/16.jpg)
Feldtest - Testplattform zum Test im realen Verkehrsgeschehen
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 73
![Page 17: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/17.jpg)
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 74
Teilprojekt 1
Übersicht über die Stände des Teilprojektes 3 „Testen“ Vieles wurde nicht angesprochen, alles wird gezeigt!
Datenbank
Datenverarbeitung Szenarienermittlung
Bewertung der Hochautomatisierten Fahrfunktion (inkl. Mensch)
Theoretische Anforderungsermittlung & technische Umsetzung
Testfälle
Logischer Testfallraum
Test HAF:
SimulationPrüfgelände
Realfahrt
Ermittlung CHAF/Soll
/ S undEHAF/Mensch
Testdaten
Testergebnisse
Evidenz
Sicherheits
-
aussage
Anforderungsdefition
Daten imPEGASUS-
Format
Anwendung Metriken + Zuordnung zu
logischen Szenario
LogischeSzenarien +
Parameterraum
BestimmungExposure
IntegrationBestehenskriterien
Anwendung Testkonzept
inkl. Variations- methode
Wissen:Gesetze,Normen,
Richtlinien, ...
Gesamtmethode zur Bewertung der hochautomatisierten Fahrfunktion
Risiko-ermittlung
basierend auf EHAF/S/Csoll/
CHAF
Freigabe Testauswertung Testdurchführung Testfallableitung
Techn. Anforderungen
Informationsquelle Auswertung & techn. Umsetzung Szenarien
Use Case &Bestehende
Daten/Wissen
ErweiterteDaten &Wissen
Argument
Sicherheits-argumentation
Daten / InhalteArbeitsschritt
Prozessierung
Vorverarbeitung / Rekonstruktion
Systematische Szenarien-Identifikation
UnfallFOT/NDSSimulatorSimulationTestfahrt
Daten:
21
20 19 18 17 16 15 14 13
12
10 11
9
875
63
4
1
2
13
Testkonzept und Testfallzuordnung Szenarienformate Testspezifikations-Datenbank Testfallgeneierung, Testraum- abdeckung, Reduktion Testaufwand Testinfrastruktur / Karten
10 11 12 13
14
Grundlagen fürs Testen
11 14
10 12
12
Sensorsimulationsmodelle Software-in-the-Loop Hardware-in-the-loop Prüfgelände Generik, Leitstand Tools für Prüfgelände und Realfahrt • Kollisionsvermeidung
• Infrastrukturseitige Datenerfassung
Wizzard-of-Oz-Fahrzeug Feldtestkonzept
16 17 Simulation Prüfgelände Realfahrt
18 21
15 19
20
15 16 17 18 19
20 21
Test und Absicherung
![Page 18: Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet](https://reader030.vdocuments.pub/reader030/viewer/2022041214/5e035f384c840871932827e9/html5/thumbnails/18.jpg)
Vielen Dank für Ihre Aufmerksamkeit!