Angriffe auf KI-Systeme
- Was lernen wir daraus ? -
Markus Ullmann
Markus Ullmann | 17.01.2019 | Seite 2
Agenda
1. Einführung2. Biometrische Gesichtserkennung basierend auf Landmarks
• Funktion• Angriffe
3. Biometrische Gesichtserkennung basierend auf Neuronalen Netzen• Funktion• Angriffe
4. Automatisiertes Fahren: Angriffe Verkehrszeichenerkennung5. Angriffe auf KI-Verfahren: Was wissen wir und was lernen wir
daraus ?6. Fazit
Markus Ullmann | 17.01.2019 | Seite 3
Technologische Grundlagen sicherer elektronischer Identitäten, Chipsicherheit
1. Biometrische Verfahren0
Fakes/ Erkennungstechnologien
Morphing-Detektion
2. Technische Unterstützung Digitalisierung
3. Physical Layer Security
Physical Fingerprinting
VorgabenStandardsRichtlinien
Sicherheit biometrischer Merkmale: Template Protection Verfahren
Markus Ullmann | 17.01.2019 | Seite 4
Funktionsprinzip Biometrie - Gesichtserkennung -
“Landmarks”
Markus Ullmann | 17.01.2019 | Seite 5
Biometrische Gesichtserkennung- Angriffsvektor zur Erzielung falscher Identität -
• Angriffsvektor: Gesichtsnachbildungen (Fakes)
“Referenz” “Live”
Markus Ullmann | 17.01.2019 | Seite 6
Maschinelle Lernverfahren- Neuronale Netze -
© Fraunhofer Gesellschaft
Vorgehen
1. Lernphase2. Testphase3. Anwendungsphase
Markus Ullmann | 17.01.2019 | Seite 7
Biometrische Gesichtserkennung – Maschinelles Lernen, Lernphase -
© Fraunhofer Gesellschaft
“Referenz”
“Referenz”
“Live”
“Live”
Große Ähnlichkeit
Geringe Ähnlichkeit
.
.
.
Geringe Ähnlichkeit
Markus Ullmann | 17.01.2019 | Seite 8
Adversarial Attacks- Anwendung auf Biometrische Gesichtserkennung -
Vorausetzung: ● Trainierte und getestete „ML-Struktur“, z.B. Neuronales Netz, zur
Gesichtserkennung
Ausnutzung Fehlklassifikation der „ML-Struktur“ durch veränderte Eingangsdaten (Gesichtsbilder)
Markus Ullmann | 17.01.2019 | Seite 9
Gesichtsbiometrie- Adversarial Attacks in der Anwendungsphase -
Publikation: Sharif, Bhagavatula, Bauer and Reiter: Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition. Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security (CCS '16). ACM, 2016
Reese Witherspoon wird durch Hinzufügen einer Brille mit speziell präpariertem Muster vom Gesichtserkennungssystem als Russel Crowe identifiziert.
Markus Ullmann | 17.01.2019 | Seite 10
Biometrische Gesichtserkennung (ML)- Angriffsvektoren -
• Falsche Identität mittels Gesichts-Nachbildung
• Falsche Identität mittels Adversarial Attack
Markus Ullmann | 17.01.2019 | Seite 11
Automatisiertes Fahren- sehr vereinfacht -
1.Erfassung von Fahrzeug - Umfelddaten über Sensoren• Lidar• Radar• Ultraschall• Kamera
2.Auswertung der Sensor-Daten• Kamera
• „Objekt-Erkennung“:• Fussgänger / Radfahrer• Vorausfahrende Fahrzeuge• Verkehrsschilderkennung• ...
3.Ableitung von Fahrentscheidungen
Markus Ullmann | 17.01.2019 | Seite 12
Verkehrsschilderkennung – Maschinelles Lernen, Lernphase -
© Fraunhofer Gesellschaft
“Referenz”
“Referenz”
“Live”
“Live”
Große Ähnlichkeit
Geringe Ähnlichkeit
.
.
.
Markus Ullmann | 17.01.2019 | Seite 13
Verkehrsschilderkennung – Maschinelles Lernen, Lernphase, Backdoor -
© Fraunhofer Gesellschaft
“Referenz” “Live”
Große Ähnlichkeit
Markus Ullmann | 17.01.2019 | Seite 14
Automatisiertes Fahren- Verkehrsschilderkennung -
Markus Ullmann | 17.01.2019 | Seite 15
Adversarial „Attacks“- Verkehrsschilderkennung -
Voraussetzung:• Trainierte und getestete „ML-Struktur“, z.B. Neuronales Netz zur
Verkehrsschilderkennung
Ausnutzung Fehlklassifikation der ML-Struktur durch veränderte Eingangsdaten (Verkehrsschilder)
Markus Ullmann | 17.01.2019 | Seite 16
Verkehrszeichen-Erkennung - Adversarial Attacks in der Anwendungsphase -
Publikation: Gu, Dolan-Gavitt and Garg: BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain, arXiv:1708.06733v1, 2017
Markus Ullmann | 17.01.2019 | Seite 17
Angriffe auf Maschinelle Lernverfahren (1 von 2)- Was wissen wir ? -
1. Erkenntnis: Anwendungen auf Basis maschineller Lernverfahren bieten prinzipiell neue Angriffsflächen !
2. Aber immer spezielles „Setting“• KI-Verfahren / Netztopologie • Anwendung• Lernsamples• Angriffsvektoren
3. Sind Angriffe übertragbar bzw. generalsierbar ?4. Anwendung maschineller Lernverfahren erfordert Lern-, Test- und
Anwendungsphase• Phasenspezifische Angriffe (Lern- und Anwendungsphase)
5. Grundsätzlich: Gute „Verteidigungsmaßnahmen“ erfordern immer ein gutes Problem-/Angriffsverständnis
Markus Ullmann | 17.01.2019 | Seite 18
Angriffe auf Maschinelle Lernverfahren (2 von 2)- Was lernen wir daraus ? -
1. Angreifbarkeit maschineller Lernverfahren muss viel grundlegender untersucht werden• ...• BSI: Angriffsvektoren über die komplette Prozesskette an einer
überschaubaren Anwendung (Verkehrsschilderkennung) exemplarisch untersuchen
2. Einsatzfelder für Maschinelle Lernverfahren: Problemklassen, die nicht gut algorithmisch beschreiben sind
3. Problembeschreibung liegt implizit im Datenbestand
„Grundübel“: Insbesondere tiefe Neuronale Netze sind aufgrund des großen Zustandsraums schwer zu analysieren und stellen somit eine Art „Black Box“ dar?
Markus Ullmann | 17.01.2019 | Seite 19
Vielen Dankfür Ihre Aufmerksamkeit!
Kontakt
Prof. Dipl.-Ing Markus [email protected]. +49 (0) 228 99 9582 5268Fax +49 (0) 228 10 99 9582 5268
Bundesamt für Sicherheit in der InformationstechnikReferat D14Heinemannstr. 11-1353175 Bonnwww.bsi.bund.de