la comunicazione nella realtà virtuale
TRANSCRIPT
La comunicazione nella Realtà VirtualeLa comunicazione nella Realtà Virtuale
Davide Gadia, Daniele Marini, Raffaella FolgieriDavide Gadia, Daniele Marini, Raffaella Folgieri
Corso di Ambienti Virtuali Immersivi e InterattiviCorso di Ambienti Virtuali Immersivi e Interattivi
Laurea Magistrale in Informatica per la ComunicazioneLaurea Magistrale in Informatica per la Comunicazione
a.a. 2010/2011a.a. 2010/2011
• Una sessione di RV è un processo di comunicazione – tra esseri umani mediato da un elaboratore– usa interazione, visualizzazione e altri stimoli sensoriali– per trasferire informazione
RV e comunicazione
• Qualche domanda:– Come la RV risolve un problema di comunicazione?– Qual’è la sua potenza espressiva nello stabilire la
comunicazione? – Che linee guida si possono seguire per progettare un sistema
efficace?– Quali sono i modelli di RV più rilevanti?
RV e comunicazione
• La realtà non è una caratteristica intrinseca della RV– è il risultato di un modo convenzionale di codificare
l’informazione
• Nella RV compare il termine realtà, per indurre a pensare che uno scenario virtuale sia reale
Ma soprattutto: cos’è la realtà nella RV?
• Usiamo il termine verisimiglianza per denotare un grado desiderato di corrispondenza con il reale simulato
• Lo scopo della RV è di indurre chi la usa a ritenere che sta interagendo con la cosa vera, sfruttando la verisimiglianza
• Ma verisimile non implica per forza l'uso del realismo*
*N. Goodman - I linguaggi dell’arte, Il Saggiatore, Milano, 1968
Verisimiglianza
• La rappresentazione è un simbolo di un oggetto (lo denota)
• Non c’è bisogno di alcuna somiglianza della rappresentazione (simbolo) con l’oggetto rappresentato– Ma nella rappresentazione visiva la somiglianza è importante!
Rappresentazione
• La nozione di somiglianza è vaga: – un oggetto ha infiniti modi di essere
• …, una forma, un comportamento, un colore, … • …, una temperatura, una tessitura, un materiale, …
• Chi crea la rappresentazione deve scegliere sotto quale modo rappresentare l’oggetto– quindi predispone una interpretazione della rappresentazione
Rappresentazione
• Esempio: la prospettiva: – tende a catturare la somiglianza, a rendere l’idea– per comprendere la prospettiva occorre però un
addestramento, – non è una proprietà innata– Nella creazione artistica la prospettiva geometrica può
essere forzata e piegata per facilitare la comprensione o enfatizzare aspetti
• Non c’è quindi una regola universale per catturare la somiglianza con la prospettiva
Rappresentazione
• E' quindi una figura che opera come una descrizione
• Quando guardiamo una rappresentazione possiamo tentare di giudicare la somiglianza chiedendoci:– cosa descrive?– che tipo di descrizione è?
Rappresentazione
• Un oggetto può quindi essere considerato come tale o come figura che lo rappresenta
Rappresentazione
• Somiglianza tra oggetto rappresentato e rappresentante non è requisito sufficiente per capire il realismo
• Cosa è allora il realismo?
Ancora su somiglianza e realismo
• L' oggetto rappresentato può essere scambiato per l’originale• L'illusione ha funzionato!
• No!– Questo nella pittura è impossibile
– Vedi ancora la “pipa di Magritte”
– Nella RV è ancora più difficile data la varietà dei modi con cui l’oggetto può essere considerato
Alcune risposte possibili - 1
• La rappresentazione più realistica è quella che ha il maggior contenuto di informazione
• No!– Una foto e il suo negativo hanno lo stesso contenuto informativo
– Anzi, in teoria dell'informazione, il negativo ne ha di più!
– E il negativo è meno somigliante
Alcune risposte possibili - 2
• Basiamoci su un concetto di fedeltà: – Il livello di esattezza con cui l'oggetto rappresentato è copiato o
riprodotto– In questo caso, una foto e il suo negativo non hanno lo stesso
grado di fedeltà – il positivo è più fedele, si decodifica più rapidamente– per decodificare il negativo occorre addestramento
• Risposta non ancora soddisfacente:– Limitata
• unica soluzione proposta è una rappresentazione il più possibile vicina all'originale
– Non considera l'effettiva capacità di decodifica del messaggio comunicato
Alcune risposte possibili - 3
• Il realismo dipende dalla facilità di interpretazione o di decodifica della rappresentazione– dipende quindi da stereotipi usati nella rappresentazione– quindi da fattori legati alla cultura, allo stile, all' esperienza
dell'utente
• Concludendo, il realismo non è una proprietà intrinseca– è uno stile esso stesso– una scelta retorica
Alcune risposte possibili - 4
• Creare rappresentazioni per la RV che siano di immediata e facile decodifica– con qualunque mezzo, che si discosta anche dalla somiglianza o
dalla fedeltà
• Ciò si può ottenere con artifici retorici, in particolare metafore e allegorie
Obiettivo di comunicazione nella RV
• Attua un processo di comunicazione
• Mette in scena una rappresentazione del mondo reale o di un mondo ideale– Dinamica e interattiva– Con adeguata verosimiglianza– Ricorrendo ai necessari artifici retorici– Stimolando emozioni per trasmettere il messaggio voluto
RV dal punto di vista della comunicazione
• Basata su principi di semiotica, retorica e di teoria della comunicazione
• In un processo di comunicazione:– Livello sintattico– Livello semantico
– Livello pragmatico
Tassonomia di modelli di RV
• Sintassi:– La disciplina che considera gli elementi di un linguaggio
indipendentemente dal loro significato– ne studia la struttura a vari livelli di complessità ed
aggregazione degli elementi
• Nella RV la scelta del linguaggio determina – la forma della rappresentazione – la soluzione per l'evoluzione dinamica e interattiva del sistema
Livello sintattico
• Nella RV è composto da tre elementi:– la struttura
• fondata principalmente sulla visualizzazione • e sulla scelta degli aspetti retorici necessari per suscitare le
emozioni nell'utente– L’ interazione
• Sviluppa e attua l’aspetto dinamico del sistema di RV– Il modello
• È la rappresentazione formale (interna) del mondo (fisico o ideale) simulato
• esprimibile in modo matematico o approssimato• con leggi tratte dalla fisica o del tutto di fantasia
Livello sintattico
• Correlata ai linguaggi disponibili per rappresentare visivamente la replica del mondo fisico (o ideale)– il disegno e in generale la raffigurazione della forma o di altri modi
degli oggetti– Es: funzioni, organizzazione, struttura interna, …
• Classificazione per la scelta della migliore rappresentazione– Dal graphic design: nozione di livello di iconicità*
• Livello di somiglianza o analogia tra denotante e denotato– Uso di metafore o allegorie visive
* Anceschi G. (1992) L’oggetto della rappresentazione, Milano
* Moles A., (1970 ) L'affiche dans la société urbain, Paris
Livello sintattico: struttura
1. L'oggetto originale
2. Rendering 3D (prospettiva e background)
3. Fotografia ritoccata
4. Semplificazione al tratto
5. Vista anatomica
6. Disegni costruttivi
7. Disegni costruttivi normalizzati
8. Diagrammi di flusso
9. Simboli normalizzati
10. Diagrammi logici
11. Diagrammi di campo
12. Astrazione perfetta
Tassonomia dei livelli di iconicità (Moles)
A - Rappresentazione mista (modello 3D + astrazione perfetta)B – Tagli e sezioniC - endoscopia
Effetti retorici
1. Fotorealismo2. Impressionismo (image based rendering)3. Modelli di illuminazione globali4. Modelli di illuminazione locali5. Smooth shading6. Flat shading7. Disegni al tratto con eliminazione linee nascoste8. Disegni al tratto 2D9. Proiezioni ortografiche piane di forme 3D10. Prospettiva al tratto
Livelli di iconicità (verisimiglianza) nella CG
Livelli di verisimiglianza e livelli di iconicità
• RV sistema dinamico
• Gestione interazione è essenziale– Navigazione
– Tempo reale e tempo artificiale
• Scelta modalità di interazione deve essere coerente con il livello di iconicità adottato
Livello sintattico: interazione
1. Linguaggio naturale
2. Phidgets3. Manipolazione diretta
4. Realtà aumentata
5. Metafora fisica6. Widgets
7. Basata su menu 8. A moduli
9. A comandi
7
45
6
3
21
Modalità di interazione
98
Modalità di interazione e livelli di iconicità
• Modellare in RV un sistema reale è assai complesso– definire proprietà strutturali del mondo (geometria)– definire le caratteristiche del modello di simulazione dei
processi fisici e chimici• Massa• Dinamica rotazionale• Effetto collisioni• Esplosioni• …
• L’evoluzione del sistema può essere descritta con simulatori indipendenti che dialogano con il sistema di RV
Livello sintattico: modello
• Anche il modello può avere diversi gradi di corrispondenza con il reale– Fisico-matematico: è basato su parametri
fisici ed equazioni con cui si può calcolare la sua evoluzione (dinamica di corpi rigidi, di fluidi etc.)
– Impressionistico: il comporamento fisico è approssimato con metodi probabilistici o statistici (es. particle systems)
Livello sintattico: modello
• Fase di interpretazione di un messaggio– I segni diventano simboli– Simboli richiamano un significato
• Nella RV è determinato dalla percezione umana– Per comunicare con o mediante un mondo virtuale, l’utente
deve apprendere un nuovo contesto percettivo– dipende dal modo con cui i messaggi sono trasmessi dai diversi
sistemi sensoriali– La nozione stessa di immersività dipende dai sistemi sensoriali
coinvolti
Livello semantico
• Visiva• forma• colore• Profondità e spazio• movimento
• Uditiva• Gestuale
• tattile • cinestesica
• Sinestesia• Stimulazione simultanea e coordinata di diversi sistemi
sensoriali
Livello semantico: percezione
• Il rischio delle illusioni
Livello semantico: percezione
• Riguarda la relazione tra segni e loro significati così come decodificati dai partecipanti alla comunicazione– sulla base delle rispettive conoscenze, credenze, cultura,
emozioni ed affetti– particolare attenzione alle ambiguità
• Un atto comunicativo può essere:• Imperativo (un comando)• Assertivo (una affermazione di fatto)• Ottativo (un desiderio)
• Nella comunicazione umana la qualificazione dell’atto si ottiene sia con il linguaggio verbale sia con quello non verbale
Livello pragmatico
• In RV – se comunicazione è tra persone mediata dal sistema:
• tecniche per comunicare forme non verbali (avatar con animazione facciale, ecc)
– se la comunicazione è tra utente e sistema: • necessaria attenta analisi in fase di design• utilizzo mirato dei canali visuali e non visuali
Livello pragmatico
• Aspetto importante: stato emotivo dell'utente– ha effetto sulla sua capacità di decodificare il messaggio– In comunicazione uomo-uomo mediata da RV: possibilità di
introdurre feedback emotivo cambiando rendering dell'avatar– In comunicazione tra uomo e sistema: stato della simulazione
adattato allo stato emotivo dell'utente
Livello pragmatico: emozioni
• Comprendere caratteristiche delle applicazioni di RV – Non sulla base delle tecnologie adottate – ma sulla base della qualità della comunicazione
Un framework per la classificazione della RV
• Gli assi principali sono:– Struttura
– Varia da simbolico a verisimile– Dipende dal livello di iconicità e di verisimiglianza.
– Interazione– Varia da astratto a concreto – Dipende dal modo di interazione scelto, possono
coesistere molteplici modi– Si considerano anche i sistemi sensoriali stimolati
– Modello– Varia da impressionistico a fisico-matematico– Dipende dalla accuratezza dell’eventuale modello fisico
matematico che descrive la dinamica del sistema – Nella realtà accresciuta si considera anche la presenza di
phidgets che contribuiscono a distribuire intelligenza tra gli oggetti reali.
Uno spazio 3D di riferimento
Alcuni esempi
• Panorama QuickTime del Mars Rover. – QTVR usa molteplici foto e texture per navigare in una scena o
attorno ad un oggetto – struttura piuttosto simbolica– interazione per manipolazione diretta, bassa immersività– modello impressionistico
I ottante (-1, -1, -1)
II ottante (-1, 1, 1)
• Simulazione Industriale – Struttura simbolica– Interazione concreta (menu e widget- manipolazione diretta) – Modello fisico, calcolo strutturale
III ottante (-1, 1, -1)
• Visualizzazione scientifica– Struttura simbolica– Interazione astratta– Modello fisico
IV ottante (1, 1, 1)
• Simulatore di volo– Struttura verisimile– Interazione concreta– Modello fisico
V ottante (-1, -1, 1)
• Videogioco platform– Struttura simbolica– Interazione concreta– Modello impressionistico
VI ottante (1, -1, -1)
• Rendering fotorealistico di una macchina– Struttura verisimile– Interazione astratta– Modello impressionistico
VII ottante (1, -1, 1)
• Realtà aumentata– Struttura verisimile– Interazione concreta– Modello impressionistico
VIII ottante (1, 1, -1)
• Progettazione architettonica– Struttura verisimile– Interazione astratta– Modello matematico