sperimentare piattaforme open source. atutor vs moodle

Sperimentare piattaforme Open Source

Un esempio di applicazione della metodologia Cnipa

ATutor vs Moodle1

Rapporto a cura di:

Dott. Andrea Massara

Dott.ssa Veronica Mobilio

1 Le versioni dei software utilizzati per il test sono:

▪ Atutor 1.5.2 con il modulo Acollab 1.2 ▪ Moodle 1.5.3

Come layout grafico è stato utilizzato il template fornito di default al momento dell’installazione.

2

Indice:

Capitolo 1- La sperimentazione: ATutor vs Moodle....................................................3 1.1 La selezione delle piattaforme ..........................................................................................3

1.1.1 ATutor......................................................................................................................3 1.1b Moodle ......................................................................................................................3

1.2 Criteri di selezione ...........................................................................................................4 1.2.1 Conformità agli standard per il contenuto ...................................................................4 1.2.2 Estensione della comunità e diffusione a livello nazionale ............................................4 1.2.3 Corrispondenza ai requisiti di accessibilità...................................................................5

1.3 Obiettivi e step della sperimentazione...............................................................................5 1.4 Strumenti di raccolta dati .................................................................................................6

Capitolo 2 - Risultati dei test di usabilità..................................................................7 2.1 Introduzione ...................................................................................................................7

2.1.1 Creazione e strutturazione di un corso – profilo docente..............................................8 2.2.2 Creazione e strutturazione di una unità didattica – profilo docente .............................10 2.2.3 Creazione e verifica di un questionario di valutazione – profilo docente ......................12 2.2.4 Strutturazione delle attività didattiche – profilo tutor .................................................14 2.2.5 Tracciamento – profilo tutor ....................................................................................16 2.2.6 Predisposizione dei materiali didattici – profilo tutor ..................................................18 2.2.7 Fruizione del corso – profilo discente........................................................................20 2.2.8 Condivisione di documenti – profilo discente.............................................................22 2.2.9 Partecipazione alle attività didattiche – profilo discente..............................................24 2.2.10 Monitoraggio delle attività svolte – profilo discente..................................................26 2.3 Valutazione dell’usabilità percepita ..............................................................................28 2.4 Risultati e valutazioni complessive...............................................................................29

Capitolo 3 - La griglia di valutazione......................................................................33 3.1 Introduzione .................................................................................................................33

3.1.1 Piattaforma tecnologica ...........................................................................................34 3.1.2 Strumenti per l'amministrazione...............................................................................34 3.1.3 Sviluppo e gestione del contenuto............................................................................35 3.1.4 Strumenti per l'erogazione didattica .........................................................................35 3.1.5 Supporto agli standard ............................................................................................36 3.1.6 Strumenti per la comunicazione e l'interazione..........................................................36 3.1.7 Strumenti per la produttività ....................................................................................37 3.1.8 Strumenti a disposizione del discente .......................................................................37 3.1.9 Supporto ................................................................................................................38

Capitolo 4 - Valutazioni complessive......................................................................39

Appendice 1: caratteristiche degli utenti................................................................40 Appendice 2: composizione globale del campione...................................................41 Appendice 3: scheda di valutazione .......................................................................42 Appendice 4: questionario SUS..............................................................................43 Appendice 5: griglia di valutazione ........................................................................44

3

Capitolo 1- La sperimentazione: ATutor vs Moodle

1.1 La selezione delle piattaforme Nei mesi che vanno da Ottobre 2005 ad Aprile 2006, presso il Cnipa, è stata condotta una

sperimentazione volta ad acquisire conoscenze teoriche e pratiche circa le opportunità offerte dalle piattaforme Open Source (OS) per l’e-learning. Consci del fatto che l’unico modo per conoscere bene un sistema è utilizzarlo, dopo aver analizzato le differenti soluzioni presenti sul mercato, si è scelto di “testare” sul campo due Learning Management System (LMS): Atutor e Moodle.

1.1.1 ATutor

ATutor è un LMS nato da un

progetto sviluppato nel 2002 con la collaborazione del Centro di Ricerche per le Tecnologie Adattabili dell'Università di Toronto. Questo centro è conosciuto a livello internazionale come leader nello sviluppo di tecnologie e standard che assicurino alle persone con disabilità la possibilità di avere accesso alle opportunità fornite dall'e-learning. Questa missione del Centro ha profondamente influenzato lo sviluppo della piattaforma stessa.

Schematizzando, anche se la documentazione sul sistema è tutta in inglese, i principali vantaggi di questa piattaforma sono:

ambiente integrato per la realizzazione e la gestione dei corsi; possibilità di definire chiavi che facilitano il meccanismo di ricerca che è disponibile su tutto il

catalogo; strumenti per l'importazione e l'esportazione degli utenti; possibilità di creare test e tracciare l’operato degli attori presenti sulla piattaforma; supporto degli standard SCORM e IMS per il packaging dei contenuti; elevate caratteristiche di usabilità ed accessibilità.

1.1b Moodle

Moodle, ovvero Modular Object-Oriented Dynamic Learning Environment, è un progetto nato come tesi di dottorato di uno studente australiano, Martin Dougiamas. L’obiettivo del progetto è stato sviluppare un LMS tecnologicamente completo che consentisse di produrre corsi basati su Internet e siti web. Il progetto sviluppato a partire dal 1999 conta oggi su una comunità molto vasta.

4

Una delle caratteristiche principali di Moodle rispetto ad altri sistemi è la forte attenzione dedicata agli

aspetti pedagogici dell’apprendimento mediato dalle tecnologie. L’ampiezza della sua comunità di sviluppo, inoltre, assicura qualità e continuità del progetto.

Schematizzando, anche se l’attenzione dedicata alla conformità alle specifiche sull’accessibilità non è alta, i principali vantaggi di questa piattaforma sono:

il promuovere una pedagogia costruzionista sociale (basata sulla collaborazione, sulle attività, sulla riflessione critica, ecc.), offrendo un sistema intuitivo e semplice da utilizzare che è, al tempo stesso, flessibile e idoneo per diverse modalità di erogazione della didattica;

l’ambiente può essere utilizzato a vari livelli di complessità, con una curva di apprendimento molto dolce;

l’interfaccia browser è a tecnologia non avanzata, semplice, leggera, efficiente e compatibile con altri sistemi.

La piattaforma, infine, permette di categorizzare e ricercare i corsi, consente una gestione delle funzionalità a plugin e rilevanti sono le sue misure di sicurezza.

1.2 Criteri di selezione La scelta degli LMS su cui effettuare la sperimentazione è stata effettuata in base a 3 criteri principali: conformità agli standard per il contenuto, estensione della comunità e diffusione a livello nazionale, corrispondenza ai requisiti di accessibilità.

1.2.1 Conformità agli standard per il contenuto Il rispetto degli standard e delle specifiche internazionali di riferimento per l’e-learning (non solo

SCORM ma anche IMS, AICC, ecc.) è stato uno dei criteri fondamentali in base ai quali sono state scelte le piattaforme. La compatibilità di un LMS con gli standard internazionali, infatti, è garanzia per chi la adotta di non avere a che fare con un sistema chiuso ma aperto, in grado di dialogare con componenti software di parti terze e di erogare materiali didattici diversi, anch’essi compatibili con gli standard.

Per raggiungere questi obiettivi di interoperabilità delle piattaforme e interscambiabilità dei contenuti, attualmente molteplici organizzazioni internazionali e nazionali sono al lavoro per la definizione di standard che, per quanto riguarda il contenuto, mirano a definire criteri relativi al formato, al packaging, all’organizzazione, alla catalogazione e alla gestione da parte di piattaforme integrate; mentre, per quanto riguarda gli LMS, hanno l’obiettivo di individuare specifiche tecniche che consentano il trasferimento dei dati relativi agli utenti. Lo scopo è svincolare l’e-learning da qualsiasi limite tecnico che possa ostacolare lo scambio di informazioni. Raggiungere questo obiettivo non è un’impresa facile e, ad oggi, di fatto non esiste un unico standard universalmente affermato e riconosciuto in ambito internazionale2. Per questo motivo la compatibilità di una piattaforma con un numero maggiore di standard offre una garanzia più elevata circa la sua flessibilità ed apertura.

1.2.2 Estensione della comunità e diffusione a livello nazionale Di fronte alla necessità di adeguarsi a un nuovo modo di operare e all’utilizzo di sistemi diversi, anche

se con caratteristiche simili, è fondamentale avere la sicurezza circa l’esistenza di qualcuno che possa garantire l’assistenza e lo sviluppo di questi progetti all’interno di contesti d’uso differenti. A parte il numero ormai considerevole nel mondo di soggetti che si occupano di tali problematiche, in questo contesto si sono presi come criteri di riferimento la presenza sul territorio nazionale di una pluralità di soggetti che hanno adottato la stessa soluzione tecnologica e l’esistenza di una comunità ampia, forte e coesa.

Le persone che hanno deciso di utilizzare lo stesso software OS o che partecipano alla comunità di riferimento costituiscono una garanzia perché, in qualche modo, assicurano “forme nuove di organizzazione dei processi di apprendimento collettivo”3. Esse, condividendo lo stesso interesse per una data soluzione 2 L’unico standard de facto affermatosi in qualche modo a livello internazionale è lo SCORM, Sharable Content Object Reference Model, che rappresenta una serie di direttive promosse da ADL (Advance Distribuite Learning), istituto di emanazione del Dipartimento della difesa statunitense. Scorm è, più precisamente, una collezione di standard, specifiche e raccomandazioni prodotte nel corso di un decennio da altre organizzazioni quali, ad esempio, IMS (Instructional Management System), Global Learning Consortium, IEEE (Institute of Electrical and Electronics Engineers), ARIANCE (Alliance for Remote Instructional Authoring and Distribution Networks for Europe). L’obiettivo è costruire un modello di riferimento unificato che consenta tutti i benefici legati all’adozione di uno standard: persistenza dei contenuti didattici indipendentemente dal sistema di erogazione, interoperabilità delle piattaforme, accessibilità e riusabilità. 3 Boland R. J., Tenkasi R., “Perspective making and perspective taking in communicates of Knowing” in Organization Science, vol. 6, n. 4, 1995.

5

tecnologica e in armonia con quella che nella letteratura sul tema viene definita la “dimensione informativa” la “dimensione partecipativa” di una comunità, sono generalmente ben disposte a condividere informazioni rilevanti e a rispondere a richieste di aiuto o supporto collaborando nello sviluppo del sistema tecnologico di riferimento. Per questi motivi, per una PA che decide di adottare una piattaforma OS è fondamentale avere la sicurezza non solo di un’ampia comunità a cui far riferimento, ma anche di società pubbliche o private che, avendo saputo cogliere i vantaggi del mondo e della filosofia OS, siano pronte a fornire supporto e assistenza qualora se ne verifichi il bisogno.

1.2.3 Corrispondenza ai requisiti di accessibilità La Legge n. 4 del 9 Gennaio 2004, “Disposizioni per favorire l’accesso dei soggetti disabili agli

strumenti informatici”, prende in considerazione l’accesso degli utenti a tutti i prodotti e le tecnologie informatiche, tenta di promuovere una strategia dell’inclusione che consenta di integrarsi nel mondo delle nuove tecnologie e si va a sommare alle linee guida per l’accessibilità dei contenuti web introdotte sul piano internazionale nel 1999 dal W3C4. Ad essa è seguito un regolamento di attuazione che esplicita i requisiti tecnici richiesti e che trova applicazione non solo nei siti web, ma anche in altre tipologie di applicazioni Internet, tra cui le piattaforme e i contenuti e-learning.

L’informatica, le telecomunicazioni e i nuovi media hanno, da un lato, offerto nuove e importanti possibilità di integrazione sociale per persone non in possesso di tutte le abilità considerate “normali”; ma, dall’altro, hanno anche posto nuovi problemi di accessibilità5. Per questo motivo e data l’importanza e la sensibilità del tema per una Pubblica Amministrazione, la corrispondenza a tali requisiti è stato il terzo criterio utilizzato per selezionare le piattaforme su cui è stata condotta la sperimentazione.

1.3 Obiettivi e step della sperimentazione La sperimentazione è stata portata avanti attraverso i seguenti step: installazione delle due piattaforme su un server; configurazione del sistema e dell’ambiente tecnologico; test delle funzionalità delle due piattaforme; test di usabilità sul campo; analisi e presentazione dei risultati.

L’obiettivo primario è stato individuare la piattaforma che meglio risponde alle esigenze formative del Cnipa, in particolare, e di una Pubblica Amministrazione, in generale. A tale scopo, in prima battuta, sono state analizzate in profondità le necessità del Cnipa che ha avviato lo studio con lo scopo di individuare la piattaforma migliore per sostituire l’attuale sistema di groupware utilizzato dalla sua comunità di utenti con un sistema tecnologico facile da usare quanto il precedente, ma più flessibile e performante. Secondariamente, attraverso un’analisi dei dati disponibili sulla diffusione dell’e-learning nella PA sono state elaborate tre ipotesi sui contesti e sulle possibili motivazioni che potrebbero portare una Pubblica Amministrazione alla decisione di adottare una piattaforma e-learning OS.

In particolare, in questo studio si prendono in analisi tre scenari: Scenario a) denominato “Supportare l’auto-apprendimento”: ci si trova di fronte alla

dinamica classica dell’e-learning dove vi è un ente erogatore della formazione, un numero variabile di utenti da formare che rappresentano il target di riferimento, un tempo x entro il quale chiudere il progetto e dei contenuti strutturati da fruire in auto-apprendimento.

Scenario b) denominato “Supportare il blended learning”: presenta una situazione in cui è fondamentale il ruolo del tutor. Il progetto di formazione si svolge parte in presenza e parte a distanza, motivo per cui si pone il problema di coordinare i calendari didattici degli eventi previsti e sincronizzare le diverse attività. In questo caso, i tempi e le modalità di fruizione possono essere profondamente differenti, così come i materiali didattici presentati in aula e quelli utilizzati a distanza devono essere complementari o per lo meno correlati tra loro. In questo scenario, è cruciale la gestione dell’aspetto cronologico e l’organizzazione temporale del progetto, ma l’aspetto positivo riguarda il fatto che già esiste un gruppo di persone che si conosce e che ha potuto socializzare in presenza.

Scenario c) denominato “Supportare una comunità virtuale”: presenta la situazione tipica di una comunità virtuale. Le community on line sono una particolare declinazione del concetto di

4 Il W3C (www.w3c.org) è un consorzio internazionale, fondato nel 1994 da Tim Berners-Lee - l’inventore del World Wide Web - per guidare e stimolare lo sviluppo tecnico del web, definendo protocolli comuni che assicurino l’evoluzione congiunta e la compatibilità reciproca di tutte le tecnologie web. 5 Commissione interministeriale permanente per l’impiego ICT a favore delle categorie deboli o svantaggiate, La Legge Stanca: i riferimenti tecnici, Quaderno CNIPA n. 4, 2005.

6

comunità. Con questo termine si fa riferimento a quelle comunità che nascono e si sviluppano secondo i principi tipici di una comunità, ma interagiscono in uno spazio virtuale mediato elettronicamente. Le comunità virtuali sono, infatti, i luoghi dove si mettono in comune le risorse (la tecnologia), le informazioni (il repertorio), si lavora a distanza (l’impresa comune) e si socializza (l’impegno). Esse però danno origine a legami deboli di natura connettiva che si sviluppano attraverso le reti telematiche. Per questo motivo è necessario studiare un modello di sviluppo organizzativo e tecnologico di tali comunità che da un lato, consenta loro di beneficiare del network cui appartengono; dall’altro, non ne soffochi l’autonomia e le dinamiche di sviluppo e funzionamento interno.

E’ stato scelto questo approccio metodologico perché la definizione degli scenari ha un ruolo fondamentale nella descrizione dell’interazione tra utenti e sistema e offre un'opportunità non trascurabile per catturare ed individuare in maniera chiara i principali requisiti di un sistema, detti anche richieste fondanti o claims. Dall’analisi dei claim, infine, scaturiscono i compiti (task) che sono stati elaborati ed utilizzati per “misurare” la reale rispondenza dei sistemi presi in analisi ai requisiti individuati in fase di progettazione della sperimentazione.

1.4 Strumenti di raccolta dati Prendendo in considerazione i tre scenari sopra descritti, le due piattaforme sono state valutate e

comparate attraverso due strumenti: una griglia di valutazione e una serie di test di usabilità. La griglia è stata progettata e redatta basandosi da un alto, sull’analisi dei requisiti fondamentali

richiesti dalla sperimentazione; dall’altro, attraverso uno studio approfondito e una sintesi dei criteri adottati nelle principali ricerche e studi presenti nella letteratura scientifica sul tema. L’obiettivo della griglia che è stata elaborata è permettere di ottenere indici sintetici per ciascuna delle aree di valutazione prese in considerazione (9 macrocategorie composte al loro interno da fattori o items aventi pesi differenti). Essa ha permesso di attribuire un valore a ciascun item, utilizzando una scala di valutazione da 1 a 3. Successivamente, tali punteggi sono stati sottoposti all’elaborazione di un foglio di calcolo attraverso il quale si è ottenuto un valore sintetico per ciascuna categoria. In questo modo, ogni piattaforma è stata “collocata” su una scala ordinata di valori, generale o relativa alle singole categorie.

Oltre a questo, si è deciso di testare gli LMS con utenti potenziali con l’obiettivo di ottenere indicazioni precise circa i reali difetti del sistema. Considerando l’usabilità come la chiave di interpretazione del rapporto tra sistema e utente, si è cercato di misurare la capacità degli LMS presi in considerazione di mediare l’interscambio comunicativo con l’utente, ovvero la capacità dell’artefatto tecnologico di rendere possibili interazioni complesse, senza problemi e senza aver bisogno della mediazione di altri esseri umani più esperti6. Tale misurazione è stata effettuata attraverso lo svolgimento di 15 test (5 per ciascun profilo: discente, tutor e docente)7 con utenti - selezionati tra quelli potenziali e in base a variabili specifiche - chiamati a svolgere una serie di compiti stabiliti attraverso l’analisi degli scenari presi in considerazione. I test di usabilità che sono stati condotti rientrano nella metodologia della task analysis che permette una rilevazione quantitativa e comparativa delle caratteristiche di usabilità di un sistema. Inoltre tale metodologia è stata arricchita utilizzando l’aspetto fondamentale della metodologia nota con il nome di thinking aloud, che consiste nel far verbalizzare agli utenti quello che pensano durante l’esecuzione di una attività o di un compito. Il motivo per cui è stata utilizzata anche questa tecnica sta nella volontà di far emergere attraverso i test le logiche di interazione e il modello d’uso del sistema da parte dell’utente. Le metriche di valutazione dell’usabilità utilizzate per i test sono, in armonia con la normativa ISO, efficacia, efficienza e soddisfazione. Tali metriche sono state misurate attraverso: il tempo impiegato dall’utente per eseguire un compito; il numero di errori commessi nell’esecuzione di un compito e la registrazione delle reazioni dell’utente attraverso la trascrizione dei commenti fatti a voce alta durante il test e l’elaborazione dei dati raccolti mediante il questionario SUS (System Usability Scale) somministrato al termine del test stesso. Nel prendere in considerazione queste metriche è stata prestata attenzione, inoltre, alla differenza esistente tra i concetti di facilità d’uso e facilità di apprendimento.

Dopo la conduzione dei test, i dati raccolti sono stati elaborati e sintetizzati. Attraverso questo rapporto si presentano i principali risultati della sperimentazione letti alla luce dei tre scenari ipotizzati.

6 Visciola M., Usabilità dei siti web, Apogeo, Milano, 2000. 7 Il numero di test (15 totali, 5 per ciascun profilo) è stato stabilito in armonia con la letteratura sul tema e, in particolare, con quanto affermato da Jacob Nielsen in un recente articolo pubblicato su internet (www.usei.com/alertbox/20000319.html). Secondo l’autore, per i test di usabilità, la soluzione ottimale in termini di costi/benefici è esaminare circa cinque utenti per ogni serie di test e, quindi, per ciascun profilo preso in considerazione.

7

Capitolo 2 - Risultati dei test di usabilità

2.1 Introduzione Di seguito vengono illustrati i risultati dei test di usabilità, prendendo in analisi i profili e le categorie

relative ai casi d’uso presi in analisi:

Casi d’uso Profili

Creazione e strutturazione di un corso Docente

Creazione e strutturazione di una unità didattica Docente

Creazione e verifica di un questionario di valutazione Docente

Strutturazione delle attività didattiche Tutor

Tracciamento Tutor

Predisposizione dei materiali didattici Tutor

Fruizione del corso Discente

Condivisione di documenti Discente

Partecipazione alle attività didattiche Discente

Monitoraggio delle attività svolte Discente

Per ciascuna voce elencata e, quindi, per ciascun caso d’uso, si descrive in dettaglio come si sono

“comportate” Atutor e Moodle, osservando i grafici riportati - che evidenziano e mettono a confronto il

tempo impiegato e il numero di errori commessi dagli utenti per eseguire lo stesso task sulle due piattaforme

analizzate - e gli screenshot relativi alle pagine specifiche implicate nell’esecuzione dei task.

Dato che la piattaforma scelta sulla base della presente comparazione dovrà essere utilizzata da

dipendenti di pubbliche amministrazioni, caratterizzati da disomogeneità di competenze informatiche e da

scarsa motivazione, l’accento è stato posto sulle caratteristiche relative alla facilità di apprendimento e alla

facilità d’uso dei sistemi, misurate attraverso la quantificazione del tempo impiegato e del numero di errori

effettuati nell’eseguire i task prescritti.

8

2.1.1 Creazione e strutturazione di un corso – profilo docente Nell’esecuzione del task, Atutor si dimostra più semplice e veloce da utilizzare (cfr. Fig. 1), mentre

Moodle risulta più complesso sia per il maggior numero di parametri da impostare, sia per una distribuzione dei comandi dalla comprensione non immediata che ha generato negli utenti qualche confusione. In particolare, durante l’esecuzione del test su quest’ultima piattaforma, è stato notato un uso ricorrente e costante da parte dell’utente al sistema di help (cfr. Fig. 2), nel tentativo di reperire informazioni utili allo svolgimento delle operazioni richieste.

Tempo impiegato nel completamento del task (in min)

0 2 4 6 8 10

Moodle

Atutor

Numero di errori fatti nell’esecuzione del task

0 2 4 6 8 10

Moodle

Atutor

Grafico 1: Facilità d'uso (efficacia ed efficienza) nella creazione e strutturazione di un corso

9

Figura n. 1: Atutor – Pagina per la creazione di un nuovo corso

Figura n. 2: Moodle – Pagina per la creazione di un nuovo corso

10

2.2.2 Creazione e strutturazione di una unità didattica – profilo docente Per entrambe le piattaforme è stata verificata una esecuzione difficoltosa del task. Per Moodle il problema principale è rappresentato dalla comprensione della procedura di caricamento

degli oggetti SCORM soprattutto in relazione al fatto che l’upload del pacchetto SCORM consente solo di caricare il file sul server, mentre gli utenti hanno evidenziato come ci si aspettasse che i contenuti caricati fossero già “visibili” subito dopo l’upload senza la necessità del secondo passaggio per “collegare” il corso creato al file caricato (cfr. Fig. 4). Per Atutor la presenza della sezione “Archivi” (che consente esclusivamente di caricare e non di gestire un pacchetto SCORM) ha generato confusione ed errori (cfr. Fig. 3). Una volta compresa la corretta procedura di inserimento dei file, Atutor si è dimostrata più completa ed intuitiva di Moodle anche se, come è possibile vedere attraverso i grafici riportati di seguito, il “collo di bottiglia” iniziale ne ha penalizzato fortemente le prestazioni.

Per quanto riguarda l’articolazione dei materiali si segnala l’impossibilità, su Moodle, di utilizzare i singoli oggetti SCORM come unità di contenuto da utilizzare insieme ad altre pagine prodotte con l’editor della piattaforma. Questa criticità ha imposto di utilizzare degli “stratagemmi” (come, ad esempio, la creazione di pagine html con link all’indirizzo web del singolo oggetto SCORM) che hanno generato molti errori e, soprattutto, un risultato, in termini didattici, assolutamente non efficace. Da questo punto di vista, l’utilizzo di Atutor risulta sicuramente più performante. In ultimo, si segnala che, per entrambe le piattaforme, questo task ha richiesto conoscenze di basi di html per poter agire con sicurezza.


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 2: Facilità d'uso (efficacia ed efficienza) nella creazione e strutturazione di una unità didattica

11

Figura n. 3: Atutor – Pagina di gestione del corso

Figura n. 4: Moodle – Pagina per l’importazione di un contenuto Scorm

12

2.2.3 Creazione e verifica di un questionario di valutazione – profilo docente Entrambe le piattaforme si sono dimostrate molto veloci ed intuitive nell’esecuzione di questo task,

anche se il maggior numero di impostazioni presenti su Moodle ha determinato un tempo di realizzazione del task più elevato (cfr. Fig. 6). L’estrema praticità di Atutor, invece, viene penalizzata dall’impossibilità di impostare meccanismi di feedback più elaborati rispetto alla semplice segnalazione della risposta corretta (cfr. Fig. 5). In definitiva, le potenzialità di Moodle, anche se rallentano l’esecuzione, permettono di creare test didatticamente molto efficaci senza generare particolari incomprensioni o errori (anche grazie alla presenza dell’help contestuale per ogni voce).


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 3: Facilità d'uso (efficacia ed efficienza) nella creazione e verifica di un questionario di valutazione

13

Figura n. 5: Atutor – Pagina per la creazione di un test

Figura n. 6: Moodle – Pagina per la creazione di un test

14

2.2.4 Strutturazione delle attività didattiche – profilo tutor Moodle si dimostra più intuitivo di Atutor nell’esecuzione di questo task sia per una disposizione dei

comandi che permette un minor numero di passaggi (cfr. Fig. 8), sia per una maggiore integrazione e visibilità delle funzionalità. Atutor, invece, è penalizzato da un livello di integrazione ancora non efficace con il modulo Acollab (cfr. Fig. 7) che genera confusione soprattutto durante il primo approccio con il sistema e con il task richiesto.


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 4: Facilità d'uso (efficacia ed efficienza) nella Strutturazione delle attività didattiche

15

Figura n. 7: Atutor – Pagina per la creazione di un nuovo evento

Figura n. 8: Moodle – Comandi necessari all’esecuzione del task “Strutturazione delle attività didattiche”

16

2.2.5 Tracciamento – profilo tutor Moodle si dimostra decisamente più veloce ed intuitivo di Atutor nonostante presenti funzionalità più

complesse. Durante l’esecuzione del test, per Moodle viene molto apprezzata la modalità di concentrazione dei dati in un’unica sezione (cfr. Fig. 10) che permette una lettura complessiva delle attività svolte con una sorta di effetto “panoramica” molto utile, oltre al fatto di generare un numero di errori trascurabile. Per Atutor, invece, è necessario spostarsi in tre sezioni (cfr. Fig. 9) per poter avere un quadro delle attività svolte. Questa lettura frazionata genera sia errori nell’individuazione della giusta sezione dove reperire l’informazione, sia un tempo di esecuzione del task decisamente superiore.


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 5: Facilità d'uso (efficacia ed efficienza) nel Tracciamento

17

Figura n. 9: Atutor - Comandi necessari all’esecuzione del task “Tracciamento”

Figura n. 10: Moodle – Pagina di visualizzazione delle statistiche

18

2.2.6 Predisposizione dei materiali didattici – profilo tutor Atutor, grazie all’utilizzo del modulo Acollab (cfr. Fig. 11), risulta essere molto più intuitivo e veloce

nell’esecuzione di questo task in quanto riesce a concentrare e a rendere più “visibili” le operazioni da compiere. Moodle, invece, è penalizzato da una eccessiva laboriosità che genera molti errori (cfr. Fig. 12).


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 6: Facilità d'uso (efficacia ed efficienza) nella Predisposizione dei materiali didattici

19

Figura n. 11: Atutor – Pagina per il caricamento di file in cartelle private e/o pubbliche

Figura n. 12: Moodle – Pagina per il caricamento di file in cartelle

20

2.2.7 Fruizione del corso – profilo discente Atutor risulta essere più intuitivo di Moodle nell’esecuzione di questo task soprattutto per una

impostazione dell’interfaccia (cfr. Fig. 13) che consente una visione più immediata dei comandi e una lettura d’insieme più veloce ed efficace. Moodle, invece, decontestualizza completamente la fruizione delle unità didattiche (cfr. Fig. 14) non permettendone l’integrazione con gli altri contenuti ed attività presenti sulla home page del corso.


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 7: Facilità d'apprendimento (efficacia ed efficienza) nella Fruizione del corso

21

Figura n. 13: Atutor – Pagina per la fruizione del corso

Figura n. 14: Moodle – Pagina per la fruizione del corso

22

2.2.8 Condivisione di documenti – profilo discente Atutor risulta nettamente superiore nell’esecuzione di questo task grazie al modulo Acollab che,

nonostante un approccio iniziale abbastanza “ostico”, permette di accentrare le funzionalità e supportare correttamente le dinamiche di groupware (cfr. Fig. 15). Moodle, invece, è penalizzato dalla dispersione delle funzionalità che genera confusione ed errori e, soprattutto, dalla mancanza di un sistema per la gestione, anche condivisa, dei file. Ad oggi è necessario servirsi del forum per poter scambiare file con gli altri membri della comunità (cfr. Fig. 16) con la conseguente impossibilità di gestire e strutturare questo processo e con la difficoltà, per i discenti, di utilizzare al meglio questo aspetto.


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 8: Facilità d'apprendimento (efficacia ed efficienza) nella Condivisione di documenti

23

Figura n. 15: Atutor – Pagina per il caricamento di un file da parte del discente

Figura n. 16: Moodle – Pagina per il caricamento di un file da parte del discente

24

2.2.9 Partecipazione alle attività didattiche – profilo discente Moodle risulta essere più veloce ed intuitivo di Atutor in quanto permette di visualizzare

contemporaneamente la maggior parte delle informazioni necessarie alla realizzazione di questo task (cfr. Fig. 18). Questa impostazione genera una buona rapidità di esecuzione ed è stata molta apprezzata durante l’esecuzione del test. Atutor, invece, è penalizzato dal “dualismo” che genera la presenza del modulo Acollab ancora non perfettamente integrato nei meccanismi della piattaforma (cfr. Fig 17). Ancora una volta, comunque, superato l’impatto iniziale, Acollab permette di svolgere egregiamente le operazioni richieste.


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 9: Facilità d'apprendimento (efficacia ed efficienza) nella Partecipazione alle attività didattiche

25

Figura n. 17: Atutor – Homepage di Acollab

Figura n. 18: Moodle – Homepage di Moodle

26

2.2.10 Monitoraggio delle attività svolte – profilo discente Moodle si dimostra più intuitivo nel concentrare la visualizzazione dei dati in un’unica sezione (cfr. Fig.

20), dando la possibilità al discente di monitorare con estrema precisione e dovizia di dati l’intera gamma delle attività svolte.

Atutor costringe il discente ad una lettura dei dati “distribuita” (contenuti, test, ecc.) e quindi meno agevole ed intuitiva. Inoltre, la sezione “Statistiche Personali” (cfr. Fig. 19) è focalizzata soprattutto sui dati relativi alla fruizione delle singole pagine di contenuto e non riesce ad evidenziare l’insieme delle attività svolte.


0 2 4 6 8 10

Moodle

Atutor


0 2 4 6 8 10

Moodle

Atutor

Grafico 10: Facilità d'apprendimento (efficacia ed efficienza) nel Monitoraggio delle attività svolte

27

Figura n. 19: Atutor – Pagina “Statistiche Personali”

Figura n. 20: Moodle – Pagina “Rapporto delle attività”

28

2.3 Valutazione dell’usabilità percepita Una volta terminato il test di usabilità è stato somministrato un questionario per la valutazione

dell’usabilità percepita (per maggiori informazioni cfr. § “Appendice 4: questionario SUS”). L’elaborazione dei dati mostra come Moodle venga percepito complessivamente come un sistema più

semplice ed intuitivo da utilizzare; come uno strumento dotato di un “feeling” maggiore e che necessita di minor pratica per essere utilizzato al meglio.

Si ritiene, comunque, che buona parte del vantaggio di Moodle rispetto ad Atutor nella percezione degli utenti sia dovuto alla integrazione parziale del modulo Acollab che ha generato molta confusione e che è stato percepito come una sorta di “sistema nel sistema” difficile da gestire.

Valutazione dell'usabilità percepita (in %)

0 20 40 60 80 100

Moodle

Atutor

Grafico 11: Facilità d’apprendimento e soddisfazione nell'utilizzo delle 2 piattaforme

29

2.4 Risultati e valutazioni complessive Effettuati i test ed analizzati i risultati task per task si è cercato di leggere in maniera traversale i dati

raccolti attraverso i test di usabilità. Considerando il tempo impiegato nel completamento dei task come indicatore dell’efficienza del sistema (cfr. grafico n. 12) e il numero di errori effettuati come indicatore dell’efficacia dello stesso (cfr. grafico n. 13), è possibile affermare che nessuna delle due piattaforme predomina in maniera netta sull’altra.

Grafico 12: Sintesi tempo impiegato nell’esecuzione dei task


0 2 4 6 8 10

Creazione e strutturazione di un corso

Creazione e strutturazione di una unità didattica

Creazione e verifica di un questionario di valutazione

Strutturazione delle attività didattiche

Tracciamento

Predisposizione dei materiali didattici

Fruizione del corso

Condivisione di documenti

Partecipazione alle attività didattiche

Monitoraggio delle attività svolte

Moodle

Atutor

30

Grafico 13: Sintesi numero di errori effettuati nell’esecuzione dei task

In generale è possibile sostenere che il campione di utenti preso in considerazione ha mostrato di

trovare difficoltà maggiori laddove gli strumenti e le funzionalità delle due piattaforme erano “nascosti”, annidati l’uno dentro l’altro o distribuiti spazialmente e quindi difficilmente individuabili dal punto di vista visivo. L’interazione ideale è quella che si verifica in un sistema in cui gli strumenti sono raggruppati non solo da un punto di vista spaziale (collocazione dei comandi sull’interfaccia), ma anche e soprattutto dal punto di vista relativo all’omogeneità e alla effettiva correlazione delle funzionalità.

I risultati dei test, inoltre, possono essere letti anche dal punto di vista dei parametri relativi alla

facilità d’uso e alla facilità di apprendimento8. Dalle analisi dei dati raccolti, mentre ATutor è più efficace dal punto di vista della facilità d’uso (lato docente e tutor), Moodle risulta più efficace per quanto riguarda la facilità di apprendimento (lato discente). Questo risultato è rafforzato anche dai dati relativi all’usabilità percepita dagli utenti e misurata attraverso il questionario SUS (cfr. § “Appendice 4: questionario SUS”).

La maggiore facilità d’uso di Atutor è dovuta alla sua impostazione decisamente “tradizionale” (cfr. Fig. 21) con il menu principale orizzontale che racchiude tutte le funzionalità fondamentali e con la colonna di destra che visualizza gli strumenti più utili durante la fruizione (navigazione dei contenuti, motore di ricerca, voci di glossario, ecc.). Questa struttura permette una rapida memorizzazione dei comandi e, soprattutto, un’ottima contestualizzazione delle attività e dei contenuti che risultano sempre compresi in un’area (“Area di fruizione” in Fig. 21) delimitata dal menu principale e dalla colonna degli strumenti. Da questo punto di vista, come più volte evidenziato, Atutor subisce una penalizzazione a causa dell’integrazione ancora non efficace con Acollab, la cui logica di utilizzo è quella di uno strumento “standalone” che genera delle interazioni “sovrapposte” e quindi non coordinate a quelle praticate su Atutor.

8 La facilità d’uso si focalizza sull’utilizzo del sistema da parte di utenti esperti, ovvero i profili relativi a docente e tutor; mentre la facilità di apprendimento riguarda gli utenti con poca esperienza, ovvero il profilo discente.


0 2 4 6 8 10

Creazione e strutturazione di un corso

Creazione e strutturazione di una unità didattica

Creazione e verifica di un questionario di valutazione

Strutturazione delle attività didattiche

Tracciamento

Predisposizione dei materiali didattici

Fruizione del corso

Condivisione di documenti

Partecipazione alle attività didattiche

Monitoraggio delle attività svolte

Moodle

Atutor

31

Figura n. 21: Atutor – Homepage

La maggior efficacia di Moodle per quanto riguarda la facilità di apprendimento è dovuta, invece,

proprio alla sua struttura modulare o a blocchi (cfr. Fig. 22) che permette di raggruppare comandi e funzionalità sia spazialmente, che concettualmente.

Il discente, quindi, dispone di una mappatura completa dei contenuti e delle informazioni rilevanti e può coordinare in maniera immediata le operazioni relative ad attività di comunicazione e collaborazione con gli altri membri della comunità. Questa impostazione presenta comunque alcune criticità dovute al fatto che, cliccando sui comandi di ogni blocco, si entra in sezioni dove le funzionalità sono visualizzate in maniera indipendente dal resto dell’interfaccia e, quindi, decontestualizzate.

Questo meccanismo comporta una interazione incentrata sul navigatore che visualizza il percorso effettuato (es. Categoria del corso> Nome del corso> Calendario) e che può generare confusione ed errori nell’individuazione dei contenuti desiderati.

32

Figura n. 22: Moodle – Homepage

In conclusione, è importante sottolineare che quanto affermato deriva non solo dall’analisi dei dati

raccolti e relativi al numero di errori e al tempo impiegato per l’esecuzione dei task, ma anche dai commenti e dalle indicazioni fornite dagli utenti durante lo svolgimento dei test e dalle valutazioni finali effettuate dal team che ha realizzato il benchmark.

33

Capitolo 3 - La griglia di valutazione

3.1 Introduzione La griglia di valutazione è stata progettata basandosi sull’analisi dei requisiti fondamentali richiesti

dalla sperimentazione con l’obiettivo di identificare i criteri e gli aspetti principali coinvolti nell’utilizzo di una piattaforma LMS.

Essa è stata ottenuta, inoltre, attraverso uno studio approfondito e una sintesi dei criteri adottati nei

seguenti studi e ricerche: Benchmark di piattaforme e-learning realizzato da Andrea Massara, Antonella Pizzaleo, Giorgio

Venturi per il Ministero degli Affari Esteri nell’ambito del progetto ITENETS; Griglia di analisi utilizzata da Brandon Hall Research (http://www.brandon-hall.com); Studio sull’adozione di un sistema E-LEARNING per la pubblica Amministrazione realizzato dalla

Dr.ssa Marzia Lavinia Frezza, Unità Tecnica Finanza di Progetto Marzo 2005; Benchmark effettuato da: società 3waynet per il "Commonwealth of Learning"; Benchmark effettuato per: OPENSOURCE COURSEWARE da Rob Reynolds della società Xplana; Benchmark effettuato per: SELECTION OF AN OPENSOURCE VIRTUAL LEARNING ENVIRONMENT

FOR UNIVERSITAT JAUME I dal CENT; Benchmark effettuato per: SIGOSEE - JOIN PROJECT nell’ambito del progetto Join; Benchmark effettuato per: www.edutools.info dalla Western Cooperative for Educational

Telecommunications, (WCET) un unione di università e esperti del settore; Benchmark effettuato da: e-learning Lab, Università di Bologna. L’obiettivo principale della griglia elaborata è permettere di ottenere indici sintetici per ciascuna delle

aree di valutazione prese in considerazione: 1. piattaforma tecnologica; 2. strumenti per l'amministrazione; 3. sviluppo e gestione del contenuto; 4. strumenti per l'erogazione didattica; 5. supporto agli standard; 6. strumenti per la comunicazione e l'interazione; 7. strumenti per la produttività; 8. strumenti a disposizione del discente; 9. supporto.

Per una descrizione approfondita del significato di ciascuna categoria di analisi, consultare il rapporto

sulla metodologia. Gli items compresi all’interno di ciascuna area di valutazione sono consultabili nel § “Appendice 3: griglia di valutazione”.

34

3.1.1 Piattaforma tecnologica

► Fattori relativi a caratteristiche tecniche, come il supporto di diversi tipi di server e/o database o a caratteristiche di progettazione del sistema, come la modularità, la portabilità e la flessibilità di integrazione. In generale, queste caratteristiche sono di fondamentale importanza per valutare la qualità del sistema da un punto di vista tecnologico, di sviluppo e scalabilità.

In questa categoria Moodle e Autor offrono prestazioni simili, anche se Moodle presenta una flessibilità maggiore per i requisiti lato server ed una migliore modularità nella scrittura del codice.

Moodle

Atutor

Grafico 14: comparazione della piattaforma tecnologica

3.1.2 Strumenti per l'amministrazione

► Fattori relativi a caratteristiche che permettono di gestire efficacemente le procedure di accesso al sistema e la customizzazione grafica, la modularità del sistema dei ruoli e dei permessi e i processi legati alla gestione delle competenze e della relativa certificazione.

Anche per questa categoria le prestazioni sono molto simili e anche qui Moodle offre alcuni vantaggi

legati sia alle procedure di autenticazione, sia alla gestione delle competenze acquisite durante la fruizione didattica. Entrambe le piattaforme sono carenti per quanto riguarda la certificazione delle attività svolte.

Moodle

Atutor

Grafico 15: comparazione degli strumenti per l'amministratore

Insufficiente sufficiente ottimale


35

3.1.3 Sviluppo e gestione del contenuto

► Fattori relativi alle potenzialità della piattaforma in termini di creazione (authoring) e gestione (management) del contenuto. Vengono valutati attentamente gli aspetti relativi alla condivisione e al riuso del contenuto, alla capacità di creare percorsi di apprendimento e alle modalità di archiviazione.

In questa categoria, Atutor si dimostra superiore a Moodle sia per quanto riguarda la creazione e la

gestione del contenuto, sia soprattutto per le modalità di archiviazione del contenuto. Atutor, inoltre, presenta alcune funzionalità di creazione di percorsi didattici più efficaci rispetto ai requisiti fondamentali individuati per questa sperimentazione.

Moodle

Atutor

Grafico 16: comparazione dello Sviluppo e gestione del contenuto

3.1.4 Strumenti per l'erogazione didattica

► Fattori rilevanti nel processo di erogazione didattica come la gestione dei corsi, il sistema di help, gli strumenti per la valutazione in itinere e complessiva, la capacità di gestire gruppi di lavoro e la reportistica.

Moodle si dimostra nettamente superiore ad Atutor per quanto concerne gli strumenti e le funzionalità

relative alle modalità di erogazione della didattica. Oltre a ciò, è importante evidenziare come Moodle presenti anche un vantaggio significativo per quanto riguarda gli strumenti per la valutazione e per il monitoraggio delle attività svolte da singoli utenti o gruppi di lavoro.

Moodle

Atutor

Grafico 17: comparazione degli Strumenti per l'erogazione didattica



36

3.1.5 Supporto agli standard

► Fattori relativi agli standard di e-learning e di accessibilità supportati. In questa categoria Atutor presenta una superiorità schiacciante rispetto a Moodle, soprattutto per

quanto riguarda il recepimento dei requisiti legati all’accessibilità.

Moodle

Atutor

Grafico 18: comparazione del supporto agli standard

3.1.6 Strumenti per la comunicazione e l'interazione

► Fattori relativi agli strumenti di supporto ai processi di comunicazione e interazione all’interno della piattaforma con particolare attenzione alle caratteristiche del forum, del sistema di messaggistica interna e alle procedure di scambio dei file.

In questa categoria Atutor mostra un leggero vantaggio dovuto, soprattutto, al modulo Acollab che

permette di gestire in maniera accentrata gli strumenti di supporto alle attività di comunicazione e interazione all’interno della comunità. Moodle è carente nella gestione dello scambio dei file anche se, per quanto riguarda le altre funzionalità, può essere considerato allo stesso livello di Atutor.

Moodle

Atutor

Grafico 19: comparazione degli Strumenti per la comunicazione e l'interazione



37

3.1.7 Strumenti per la produttività

► Fattori che supportano le attività di lavoro “quotidiano” sul sistema come le funzionalità di ricerca, la scansione temporale attraverso il calendario e il monitoraggio costante dell’avanzamento del lavoro svolto.

In questa categoria Atutor mostra un leggero vantaggio legato alle funzionalità di ricerca mentre,

sostanzialmente, si equivale con Moodle per quanto riguarda gli altri aspetti valutati.

Moodle

Atutor

Grafico 20: comparazione degli Strumenti per la produttività

3.1.8 Strumenti a disposizione del discente

► Fattori relativi agli strumenti che il discente utilizza per “adeguare” l’interfaccia alle proprie esigenze, per strutturare le proprie attività e per relazionarsi con gli altri membri della comunità.

In questa categoria Moodle ed Atutor si equivalgono anche se Moodle è leggermente avvantaggiato

dal fatto che la filosofia con cui è costruito permette una integrazione coerente degli strumenti a disposizione del discente; mentre Autor è penalizzato da una integrazione ancora insufficiente del modulo Acollab.

Moodle

Atutor

Grafico 21: comparazione degli Strumenti a disposizione del discente



38

3.1.9 Supporto

► Fattori relativi alle potenzialità di evoluzione del sistema legate alla comunità degli sviluppatori, a una ampia adozione in organizzazioni simili e alla disponibilità di partners commerciali.

In questa categoria il vantaggio di Moodle viene spiegato dalla presenza di una comunità di sviluppo

più ampia e variegata e da una diffusione presso organizzazioni ed enti più proficua nel medio termine.

Moodle

Atutor

Grafico 22: comparazione del supporto


39

Capitolo 4 - Valutazioni complessive

A conclusione della sperimentazione, si sintetizzano i risultati complessivi ottenuti attraverso la raccolta delle informazioni generali e l’analisi dei dati relativi alla griglia di valutazione e ai test di usabilità.

Dato che l’obiettivo della sperimentazione è stato individuare la piattaforma che meglio risponde alle

esigenze formative del CNIPA, in particolare, e di una Pubblica Amministrazione in generale, si riportano le valutazioni complessive alla luce dei tre scenari di analisi presi in considerazione:

Scenario a) - Supportare l’autoapprendimento Scenario b) - Supportare il blended learning Scenario c) - Supportare una comunità virtuale

In particolare: a) Per lo scenario “supportare l’auto-apprendimento” la piattaforma che meglio risponde alle esigenze tipiche di un corso di formazione erogato completamente a distanza e in auto-apprendimento è Atutor. Il motivo sta nel fatto che, dal punto di vista della creazione e gestione del contenuto, la piattaforma permette di creare una libreria di oggetti compatibile con gli standard relativi sia all’e-learning, che all’accessibilità e perfettamente integrabili con gli strumenti di authoring interni. Inoltre, dal punto di vista della fruizione da parte dell’utente, essa permette una integrazione efficace dei diversi “oggetti” didattici presenti in un corso a distanza: learning object, glossario, test di valutazione, ecc. In aggiunta offre funzionalità di ricerca efficaci ed estese a tutto il contenuto che consentono di effettuare una ricerca trasversale come se l’utente si trovasse all’interno di una vera e propria libreria digitale. b) Per lo scenario “supportare il blended learning” la piattaforma più adeguata è Moodle perché riesce a soddisfare pienamente le dinamiche relative alla sincronizzazione di un flusso eterogeneo di eventi didattici e alla integrazione delle attività svolte in presenza e/o a distanza. Inoltre, nonostante l’esistenza per questo scenario di materiali didattici di diversa natura utilizzati in situazioni differenti, la piattaforma consente di organizzarli e gestirli in maniera integrata e complementare offrendo all’utente la possibilità di individuare facilmente le relazioni e la natura del materiale didattico che ha a disposizione. In aggiunta, la piattaforma consente di gestire ed organizzare una attività di tutoring efficiente e “modulabile”, tarando gli interventi di assistenza e di tutoraggio in maniera didatticamente significativa a seconda degli utenti, delle situazioni e dei contesti. c) Per lo scenario “supportare una comunità virtuale”, infine, le due piattaforme sembrano equivalersi utilizzando, però, delle prospettive diverse. Moodle permette un tracciamento delle attività completo e aderente alle esigenze individuate per questo scenario (i dati vengono accentrati in un’unica sezione, sono più leggibili e di conseguenza è più facile supportare le dinamiche tipiche di una comunità on line). La piattaforma, inoltre, è costruita secondo una filosofia costruttivista, pensata per supportare e favorire le relazioni a distanza tra tutti i membri di una comunità. Sotto questo punto di vista, Moodle, attraverso un’interfaccia intuitiva e semplice da utilizzare, agevola ed aiuta gli utenti a creare e gestire le relazioni attraverso l’uso di strumenti di comunicazione e collaborazione differenti. Atutor, invece, supporta in maniera efficace le dinamiche di una comunità virtuale al pari di quanto garantito da Moodle ma lo fa attraverso moduli aggiuntivi (in particolare il modulo ACollab), la cui non ancora perfetta integrazione nella piattaforma penalizza sia il tracciamento delle attività, che la facilità d’uso da parte degli utenti che non hanno una particolare esperienza nell’utilizzo di queste tecnologie e si avvicinano per la prima volta a questo strumento.

40

Appendice 1: caratteristiche degli utenti Profilare il target di un sistema e selezionare il campione su cui condurre l’analisi costituisce l’80%

della qualità di un test di usabilità. Per questo motivo, di seguito si descrive la composizione del campione su cui è stata condotta la sperimentazione.

Il campione, di quindici utenti (5 per ciascun profilo), è stato individuato sulla base di un processo di scrematura di 30 utenti, opportunamente “profilati” in seguito ad una analisi effettuata dal team volta a valutare i parametri individuati attraverso la fase di definizione dei requisiti e dei contesti d’uso su cui si è basata la sperimentazione. I soggetti su cui è stato condotto il test sono stati selezionati in base a fattori generici quali il sesso e l’età e a fattori specifici quali il livello di esperienza nell’uso del computer e il livello di esperienza con i sistemi presi in esame (che in fase di definizione e progettazione del test si è ritenuto dovesse essere pari a zero). Il campione così determinato è stato sottoposto al test.

Di seguito ogni utente viene definito attraverso un numero progressivo, da uno a quindici: i nomi reali sono stati chiaramente omessi, per motivi di privacy.

Vengono quindi descritte: le caratteristiche di ciascun utente, all’interno di una matrice; la composizione complessiva del campione per sesso, età, attitudine ed esperienza nell’uso del

computer e, in particolare, di internet.

Tabella: Matrice degli utenti valutati

Utenti M/F Età Esperienza nell’uso del computer Ruolo associato

Utente 1 F 1 2 Discente


Utente 3 M 2 4 Docente

Utente 4 F 1 3 Tutor

Utente 5 F 2 3 Docente

Utente 6 M 2 2 Discente

Utente 7 M 2 2 Discente

Utente 8 M 2 3 Tutor



Utente 11 M 3 4 Tutor


Utente 13 M 3 3 Docente

Utente14 F 3 3 Docente

Utente15 M 2 4 Docente

Legenda:

variabile 1 2 3 4 5

Età 18-25 anni 26-40 anni 41-55 anni 56 + anni -

Esperienza nell’uso del computer

Bassa Medio bassa

Media

Medio alta

Alta

41

Appendice 2: composizione globale del campione L’appendice descrive la composizione del campione secondo le variabili di selezione: sesso, età,

competenza ed esperienza nell’uso del personal computer. Si ricorda, inoltre, che tutti gli utenti su cui è stato condotto il test non avevano mai lavorato sulle due piattaforme su cui è stato condotta la sperimentazione (Atutor e Moodle).

Composizione del Campione - Sesso

Femmine: 8 -53%

Maschi: 7 - 47%

Maschi Femmine

Composizione del Campione - Età

41-55 anni: 5 - 33%

18-25 anni: 3 - 20%

26-40 anni: 7 - 47%

18-25 anni 26-40 anni 41-55 anni

Composizione del Campione Esperienza nell'uso del Computer

Media: 7 - 47%

Medio bassa: 5 - 33%

Medio alta: 3 - 20%

Medio bassa Media Medio alta

42

Appendice 3: scheda di valutazione

Si riporta, a titolo esemplificativo, un estratto della scheda di valutazione utilizzata dal valutatore per “registrare” gli errori e i commenti effettuati dell’utente durante la procedura di svolgimento del test di usabilità. La scheda di valutazione era composta da tante tabelle come quella riportata, ciascuna designata alla registrazione dei dati per ciascun task previsto dal test.

Codice Task: 01 ID tester:

Descrizione Task: Leggi la mail contenente le istruzioni per accedere alla piattaforma, vai all’indirizzo fornito, effettua il login e prova a modificare i tuoi dati

personali.

Numero errori effettuati:

Tempo di completamento del task:

Particolari problemi riscontrati:

Annotazioni del valutatore:

Commenti del tester:

43

Appendice 4: questionario SUS

L’appendice riporta il questionario SUS (System Usability Scale) utilizzato durante il test per valutare una delle principali dimensioni della usability: la soddisfazione, definibile come il piacere che l’utente prova nell’utilizzare un sistema.

Questionario SUS – System Usability Scale

Nome dell’utente:

……………………………………………

1. Penso che mi piacerebbe utilizzare questo sistema frequentemente

1 2 3 4 5

2. Ho trovato il sistema complesso senza che ce ne fosse bisogno

1 2 3 4 5

3. Ho trovato il sistema molto semplice da usare

1 2 3 4 5

4. Penso che avrei bisogno del supporto di una persona già in grado di utilizzare il sistema

1 2 3 4 5

5. Ho trovato le varie funzionalità del sistema bene integrate

1 2 3 4 5

6. Ho trovato incoerenze tra le varie funzionalità del sistema

1 2 3 4 5

7. Penso che la maggior parte delle persone potrebbero imparare ad utilizzare il sistema facilmente

1 2 3 4 5

8. Ho trovato il sistema molto macchinoso da utilizzare

1 2 3 4 5

9. Ho avuto molta confidenza con il sistema durante l’uso

1 2 3 4 5

10. Ho avuto bisogno di imparare molti processi prima di riuscire ad utilizzare al meglio il sistema

1 2 3 4 5

44

Appendice 5: griglia di valutazione In questa appendice si riporta la griglia di valutazione completa su cui è stato condotto il benchmark

ovvero l’elenco delle categorie e degli items presenti in ogni macro-categoria della griglia di valutazione:

Piattaforma tecnologica

Requisiti del browser

Requisiti del database

Requisiti del server

Server Unix

Server Windows

Modularità del codice

Integrabilità con altri sistemi

Strumenti per l'amministrazione

Autenticazione

Ruoli e permessi

Registrazione batch

Creazione e gestione dei template

Emissione automatica della certificazione

Gestione delle competenze

Sviluppo e gestione del contenuto

Strumenti per la creazione del contenuto integrati nel sistema

Condivisione e riuso del contenuto

Creazione di sequenze didattiche

Utilizzo di formati multimediali

Repository di materiali didattici

Integrazione con strumenti di authoring esterni

Strumenti per l'erogazione didattica

Gestione dei corsi

Sistema di Help

Strumenti per la valutazione

Tool per la creazione e la gestione di test

Tracciamento delle attività

Capacità di gestire gruppi di lavoro

Reportistica

45

Supporto agli standard

Compatibilità con standard Scorm

Compatibilità con IMS

Compatibilità con Section 508

Rispetta i requisiti richiesti dal WAI

Rispetta i requisiti richiesti dalla legge "Stanca" sull'accessibilità

Strumenti per la comunicazione e l'interazione

Forum

Repository con upload/dowload file

Sistema di messaggistica interna

Annotazioni personali

Chat

Lavagna condivisa

Strumenti per la produttività

Capacità avanzate di ricerca

Calendario

Bookmark

Capacità di monitorare l'avanzamento delle attività

Capacità di lavorare offline

Strumenti a disposizione del discente

Strumenti con funzionalità di groupwork

Strumenti che supportano la costruzione di una comunità

Pagina personale

Autovalutazione

Agenda

Personalizzazione dell'interfaccia

Supporto

Comunità di sviluppo

Partners commerciali

Localizzazione

Diffusione in organizzazioni simili