Doelgroepgerichte aansturing met brain computer interfaces
Jurypresentatie masterproef
Lester LievensLaurens Van de Perre
10/04/2023 Jurypresentatie masterproef 2
Inhoud• Situering• Uitdagingen • Werkwijze• Resultaten• Demo• Conclusie
Situering
10/04/2023Jurypresentatie masterproef 3
10/04/2023 Jurypresentatie masterproef 4
10/04/2023 Jurypresentatie masterproef 5
Brain Computer Interface (1)• Hersenactiviteit omzetten naar commando’s• Aansturen van computers en externe apparatuur
10/04/2023 Jurypresentatie masterproef 6
Brain Computer Interface (2)• BCIs kunnen geen gedachten lezen• Patronen in hersenactiviteit = commando• Patroon vs. referentiepunt commando aanroepen
10/04/2023 Jurypresentatie masterproef 7
Opdracht• Grote wetenschappelijke vooruitgang op vlak van BCIs• Nog geen commerciële producten op de markt• Kloof proberen dichten tussen wetenschap en consument• Focus op gebied van computerwetenschappen
• In opdracht van Negotica (Groningen)• Ontwikkeling van een praktisch product
10/04/2023 Jurypresentatie masterproef 8
Doelgroep• Personen met een fysieke of motorische beperking• Heel divers• Specifieke eisen
• Drie hoofdcategorieëno personen met aangeboren en niet-aangeboren
hersenafwijkingeno personen met verlamming door diverse oorzakeno personen met progressieve spierziektes
10/04/2023 Jurypresentatie masterproef 9
Secundaire doelgroep(en)• Verzorgers• Familie• …
Uitdagingen
10/04/2023Jurypresentatie masterproef 10
10/04/2023 Jurypresentatie masterproef 11
Kostprijs• Wetenschap vs. eindgebruiker• Meetapparatuur en signaalkwaliteit• Nood aan betaalbare oplossingen • Compromis nodig• Lagere signaalkwaliteit kunnen opvangen
10/04/2023 Jurypresentatie masterproef 12
Diversiteit doelgroep• Iedere persoon is anders• Noden afhankelijk van situatie• Bronnen van signaalruis• Nood aan een adaptief systeem
10/04/2023 Jurypresentatie masterproef 13
Variatie aan commando’s• Combinatie van verschillende commando’s nodig• Meer commando’s = moeilijker te onderscheiden• Gevolg: foutpercentage stijgt en nauwkeurigheid daalt
10/04/2023 Jurypresentatie masterproef 14
Kalibratieperiode• Huidige systemen hebben meestal kalibratieperiode nodig• Systeem wordt hierbij afgesteld op gebruiker• Langere training = hogere nauwkeurigheid• Deze trainingsperiode is omslachtig en vermoeiend
10/04/2023 Jurypresentatie masterproef 15
Real-timekarakter• Signalen moeten zo snel mogelijk worden verwerkt• Real-timefeedback nodig van systeem• Lange antwoordtijden nefast voor concentratie
Werkwijze
10/04/2023 Jurypresentatie masterproef 17
Meten van hersenactiviteit
10/04/2023 Jurypresentatie masterproef 18
Meten van hersenactiviteit• Reeks van technieken om hersenactiviteit te meten• Elk met hun eigen meetapparatuur
• Elke techniek heeft zijn voor- en nadelen• Selecteren van meest geschikte met oog op doelgroep
10/04/2023 Jurypresentatie masterproef 19
Invasief vs. niet-invasief
Invasief• Sensoren ingeplant• Signalen van hoge kwaliteit
• Kans op implicaties• Sensoren periodiek vervangen
• Grote bandbreedte• Hogere amplitude• Minder ruis
Niet-invasief• Sensoren extern aanwezig• Signalen van lagere kwaliteit
• Geen medische implicaties• Sensoren makkelijk plaatsen
en verwijderen• Kleine bandbreedte• Kleine amplitude• Ruisgevoelig
10/04/2023 Jurypresentatie masterproef 20
Niet-invasieve methoden
EEG• Elektrische activiteit
fNIRS • Zuurstofgehalte in het bloed
MEG fMRI • Magnetisch veld door
elektrische activiteit• Zuurstofgehalte in het bloed
10/04/2023 Jurypresentatie masterproef 21
Elektro-encefalografie• Meten van elektrische potentiaalverschillen • Afkomstig van neurale activiteit• Veel besproken in wetenschappelijke literatuur• Meetapparatuur is draagbaar• Relatief goedkoop• Moeilijk meten vanwege:
o Kleine amplitude (orde μV)o Beperkte bandbreedteo Lage ruimtelijke resolutieo Ruisgevoeligheid
10/04/2023 Jurypresentatie masterproef 22
Elektro-encefalografie• Frequentiebanden:
o Delta 0 – 4 Hzo Thèta 4 – 7 Hzo Alpha 8 – 15 Hzo Beta 12 – 30 Hzo Gamma 25 – 100 Hz
• Elk geassocieerd met verschillende staten van een persoon
10/04/2023
23
Jurypresentatie masterproef
Emotiv EPOC
EPOC als meetapparatuur:14 EEG-sensoreningebouwde gyroscoop
Meetapparatuur
10/04/2023
24
Jurypresentatie masterproef
MCN-systeem
De ingekleurde posities geven de elektroden van de Emotiv Epoc weer
10/04/2023 Jurypresentatie masterproef 25
BCI-paradigma’s
10/04/2023 Jurypresentatie masterproef 26
BCI-paradigma’s• Verschillende sets van theorieën om EEG-hersenactiviteit te
gebruiken als aansturing:o Selectieve aandacht (SSVEP, P300, …)o Ingebeelde bewegingen (SMR, mu-ritme, …)o Modulatie van ritmes o …
10/04/2023 Jurypresentatie masterproef 27
Selectie BCI-paradigma’s• Niet gekozen:
o Selectieve aandacht (epilepsiepatiënten)
• Gekozen:o Modulatie van het alpha-ritmeo Ingebeelde bewegingeno Oogbewegingen als uitbreiding
10/04/2023 Jurypresentatie masterproef 28
Samenvatting• Gekozen voor:
o Niet-invasieve technieken – EEGo Commerciële meetapparatuur – Emotiv EPOCo Paradigma – modulatie alpha-ritme, ingebeelde bewegingeno Hybride uitbreidingen – oogbewegingen, gyroscoop.
10/04/2023 Jurypresentatie masterproef 29
Experimenten
10/04/2023 Jurypresentatie masterproef 30
Experimenten• Bij 21 (gezonde) vrijwilligers
o Leeftijd tussen 14 en 54 jaaro 14 mannen en 7 vrouweno ~80% met leeftijd tussen 20-25 jaar
• Metingen rond:o Alpha-ritmeso Ingebeelde bewegingeno Oogbewegingen
10/04/2023 Jurypresentatie masterproef 31
Meetopstelling
10/04/2023 Jurypresentatie masterproef 32
Offline analyse• Offline analyse met 30 combinaties algoritme-classifier
o Classifiers: • lda, qda, gmm, logreg, sparse logreg, gaussbay
o Signaalverwerkingsalgoritmen:• CSP, SpecCSP, FBCSP, SPoC, logBP
Resultaten
10/04/2023 Jurypresentatie masterproef 34
Alpha-ritmes (1)
10/04/2023 Jurypresentatie masterproef 35
Alpha-ritmes (2)
10/04/2023 Jurypresentatie masterproef 36
Ingebeelde bewegingen (1)
10/04/2023 Jurypresentatie masterproef 37
Ingebeelde bewegingen (2)
10/04/2023 Jurypresentatie masterproef 38
Echte bewegingen (1)
10/04/2023 Jurypresentatie masterproef 39
Echte bewegingen (2)
10/04/2023 Jurypresentatie masterproef 40
Oogbewegingen (1)
10/04/2023 Jurypresentatie masterproef 41
Oogbewegingen (2)
10/04/2023 Jurypresentatie masterproef 42
Algemeen model (1)
10/04/2023 Jurypresentatie masterproef 43
Algemeen model (2)
10/04/2023 Jurypresentatie masterproef 44
Demo
Conclusie
10/04/2023 Jurypresentatie masterproef 46
Conclusie• Betaalbare basisoplossing• 4 commando’s (actief niet meegerekend)• Real-timeoplossing
• Kalibratieperiode op een leuke, ontspannende manier (gaming)• Flexibele en betaalbare headset
10/04/2023 Jurypresentatie masterproef 47
Vervolgtrajecten• Ander type headset• Gyroscoop om beweging te detecteren (stop classificatie)• Standalone modules creëren buiten MATLAB• Reinforcement learning toepassen• Hybride trajecten zoals EMG onderzoeken• Data verzamelen van personen uit doelgroep.
Vragen?