La sinergia dei sensi

La collaborazione tra le modalità sensoriali è la regola

(Stein, Meredith, 1993)

Cooperazione tra i sensi

• Le informazioni su un oggetto provenienti da diverse modalità sensoriali vengono di norma sintetizzate insieme:

– anche nel caso di informazioni sensoriali discrepanti, l’esperienza di un conflitto intersensoriale in condizioni normali non è comune

– Alcuni esempi di interazioni cooperative tra le modalità sensoriali

1. Sostituzione sensoriale

2. Sinestesia

3. Rafforzamento/inibizione della percezione in presenza di stimoli multisensoriale

4. Matching cross-modale

5. Illusioni intersensoriali

1.Sostituzione sensoriale visuotattile

• Dispositivi elettrotattili e vibrotattili per sistemi di sostituzione sensoriale (TVSS di Bach-y-Rita)

– Formazione di “immagini” visive• Rispetto della prospettiva

• Resa delle ombre

• Dissociazione tra immagine visiva e sensazione tattile

– Ruolo del movimento attivo della camera• Solo il movimento attivo della camera permette proiezione dello stimolo

all’esterno = percezione oggetto distale e non stimolazione prossimale

2.Sinestesia

• In risposta ad uno stimolo visivo (luce rossa) vengono avvertiti suoni, sensazioni tattili o odorose

• Le associazioni sono robuste e costanti

– Il fenomeno si presenta in soggetti normali (1 individuo su 250000) o patologici

3.Rafforzamento/depressione dell’attività

percettiva

• Nel gatto, neuroni fortemente attivi durante stimolazione sonora anche debole, cessano attività quando la luce viene spenta e vengono a mancare stimoli visivi

• In presenza di stimoli multisensoriali effetti sulla forza, la velocità e la frequenza della scarica neuronale

– Stimoli bisensoriali possono aumentare le reazioni, es. di molti neuroni multisensoriali del colliculus superiore (possono avere anche un effetto opposto)

Meccanismi di integrazione multisensoriale• Costruzione di uno spazio integrato multisensoriale a livello del

colliculus superiore

– Allineamento parallelo (registro)• Allineamento delle rappresentazioni sensoriali (registro delle mappe

sensoriali)• Allineamento delle rappresentazioni sensoriali e motorie (registro delle

mappe sensoriali e motorie)

– Convergenza su un singolo neurone multisensoriale (mappe integrate multisensoriali)

• Neuroni multisensoriali• Neuroni multisensoriali e motori

• Coordinano somestesia, visione e udito con il movimento (trasduzione sensomotoria)

– Per posizionare gli organi sensoriali in corrispondenza con la fonte dello stimolo (attenzione-posizionamento)

4.Matching cross-modale

• Uso di un’informazione ottenuta attraverso una modalità sensoriale per portare un giudizio a proposito di uno stimolo equivalente in un’altra modalità – es.: vedere un oggetto e dire a quale di tre oggetti toccati ma non visti

corrisponde

• Anche bambini molto piccoli esibiscono questo tipo di abilità (es. dell’imitazione delle smorfie dell’adulto da parte di un neonato di pochi giorni)

• Il dibattito riguarda la codifica dell’informazione: se l’informazione sia codificata in maniera multimodale o amodale o se sia codificata in maniera modale e poi convertita

Sviluppo della differenziazione dei sensi

a. I sensi sono inizialmente differenziati e devono “apprendere” a collaborare (es. Piaget)

b. I sensi sono originariamente uniti, o la percezione è originariamente amodale di modo che lo sviluppo va nel senso della differenziazione (es. Gibson, Bower). In altre parole il bambino è sinestetico

Sembra che in ogni caso alcuni legami tra le modalità si stabiliscano pre-natalmente e che alcuni patterns di convergenza siano presenti prima della nascita

5.Influenze intersensoriali

a. sostituzione intersensoriale (Illusioni somestetiche prodotte da stimoli visivi)

b. dominanza intersensoriale (Effetto “ventriloquo”)

c. bias intersensoriale (Risultato medio)

a.Sostituzione intersensoriale

• Illusione di Ramachandran:– Arto fantasma

– Virtual reality box

– Illusione di movimento della mano assente prodotta da stimolo visivo

• Illusione della mano di gomma:– Mano di gomma posta di

fronte al soggetto e toccata ripetutamente

– Soggetto ha sensazione tattile propriocettiva spostata nella mano di gomma

– Ripetizione con “colpetti” al tavolo soprastante la mano del soggetto produce lo stesso effetto rispetto al tavolo

b.Dominanza intersensoriale

Udito/tatto, Udito/visione

• Influenza del suono sulla percezione aptica della durezza– per superfici di durezza

identica associati con diversi suoni di contatto, vengono percepite come più dure quelle associate con un suono proprio di superfici dure

• Effetto ventriloquo

(Tastevin, 1937: visual capture)– uno stimolo sonoro

associato ad uno stimolo visivo viene localizzato in corrispondenza dello stimolo visivo anche se la sua origine spaziale è diversa (attrazione visiva)

Tatto/Visione

• Conflitto tra dimensioni visive e dimensioni tattili di un oggetto– Lente riducente diminuisce

le dimensioni dello stimolo visivo rispetto a quello tattile. Lo stimolo tattile viene ignorato (Rock, Victor, 1964)

• Influenza del feedback aptico sull’apparenza visiva di una superficie– il feedback aptico altera i

percetti visivi susseguenti, quando il feedback aptico non è più disponibile

– 2 stimoli visivi ambigui: superficie con pendenza segnalata da tessitura e pendenza diversa segnalata da differenza tra gli stimoli presentati ai due occhi; stimolo tattile in accordo con l’una o con l’altra

Visione/propriocezione

• Gibson, 1933: quando un soggetto muove la sua mano lungo una superficie dritta mentre guarda attraverso un prisma che curva la superficie, questa gli appare curva anche al tatto

• Nielsen, 1963: il soggetto segue una linea dritta con la mano visibile; è introdotto uno specchio senza che il soggetto lo sappia, di modo che la mano che vede non è la sua: il soggetto continua ad avere la sensazione che la mano che vede sia la sua e ha la sensazione di aver perso il controllo su di essa

• Hay, Pick, Ikeda, 1965: una mano stazionaria vista attraverso un prisma distorcente (14°), viene sentita come se si trovasse molto vicino alla localizzazione apparente alla vista

Paradigma della dominanza

• Ryan, 1940: quando vengono presentate informazioni conflittuali, le informazioni mediate dalla visione dominano su quelle mediate dagli altri sensi

• Modality precision hypothesis: la risoluzione della discrepanza favorisce la modalità sensoriale che è più precisa nel registrare l’evento

• Directed attention hypothesis: domina la modalità su cui è diretta l’attenzione

• Modality appropriateness hypothesis: domina la modalità più adeguata a percepire la proprietà in causa

c.Bias intersensoriale

• Heller, Calcaterra, Green, Brown (1999) critica il paradigma dell’invariabilità della dominanza della visione sul tatto: – Ripetizione esperimento classico di Rock e Victor

(1964), con match simultaneo e diversi tipi di risposta:

• In situazione di conflitto nessuna delle due modalità domina: risultato è circa una media tra i risultati unisensoriali ottenuti senza conflitto

• Compare dominanza visiva per risposta visiva e tattile per risposta tattile qunado la misura richiesta è precisa

Bias e dominanza

• Lederman, Thorne et Jones (1986): valutazione tattile e visiva di tessiture: – Densità: visione domina tatto– Ruvidità: tatto domina visione, ma il bias non è del

100%: 73,2% del tatto sulla visione e 33% della visione sul tatto

La dominanza è raramente assoluta: bias reciproco

– La dominanza è una forma di bias

Assunzione di unità

• Welch, Warren, 1980– Il bias intersensoriale è il risultato di un tentativo di

mantenere l’esperienza percettiva consonante con un evento unitario

– I fattori che influenzano il bias intersensoriale in caso di conflitto o discrepanza degli stimoli operano anche in situazioni normali o non conflittuali

– Tra questi, oltre a fattori legati allo stimolo o alle modalità percettive, potrebbero essere rilevanti anche fattori cognitivi (assunzione di unità)

• Derrick, Dewar, 1970 presenta un bias della visione sul tatto anche in un caso in cui il soggetto è consapevole della possibilità che tatto e visione informino su due oggetti diversi

Conclusioni

Carattere integrato e attivo dei sistemi percettivi

Reazioni del sistema percettivo ai conflitti intersensoriali

I sistemi percettivi funzionano in modo integrato

• Collaborazione tra le modalità sensoriali è la regola:

– Necessità di pensare le modalità sensoriali in collaborazione

– In relazione con scopi, compiti e contesto dell’azione percettiva

– E non come moduli che funzionano in isolamento

Il sistema percettivo è attivo

• Scelta delle soluzioni rispetto a stimoli percepiti come conflittuali:– Illusioni non sono errori ma strategie per

risolvere conflitti– Diverse scelte possibili rispetto ai conflitti, in

relazione a contesto, scopo, compito dell’azione

Ruolo delle illusioni multisensoriali

• Le illusioni multisensoriali sono strategie per risolvere i conflitti intersensoriali e mantenere coerenza

• Possono creare esperienze sensoriali “inedite”