Prendiamo sul serio la valutazione nell’e-learning

Sappiamo bene che per monitorare il processo di apprendimento è importante prevedere diversi momenti di valutazione durante il percorso formativo.

In ciascuna delle tre fasi del percorso (iniziale, intermedia e finale) sarà utile raccogliere informazioni diverse.

Fase iniziale: valutazione diagnostica

La prova deve raccogliere informazioni sul sistema di conoscenze iniziale, evidenziando anche lo stile cognitivo e le caratteristiche emotive dell’utente.

 

Fase intermedia: valutazione formativa

I momenti di verifica intermedi aiutano a verificare i progressi ottenuti e gli eventuali nodi critici.

 

Fase finale: valutazione sommativa

Per valutare l’effettivo cambiamento del sistema di conoscenze dell’utente alla fine del corso è indispensabile confrontare i risultati della valutazione diagnostica e formativa con quelli dell’analisi finale.

Tuttavia non è sufficiente chiedere all’esperto di predisporre un test di 10-20 domande sul corso, e successivamente di farlo correggere (spesso nel solo aspetto linguistico) al nostro instructional designer, ma è necessario esplicitare i criteri di costruzione del nostro test in relazione a:

  • Quante domande dobbiamo prevedere per il test ?
  • Come valutare il punteggio di ogni domanda?
  • Come costruire domande efficaci che prevengano fenomeni di response effect?

Innanzi tutto il numero delle domande. Come sappiamo non dobbiamo salomonicamente prevedere un numero standard di domande per lezione, ma ragionare sulla struttura complessiva dei contenuti del corso, cioè armonizzare il sistema di valutazione, con i livelli di complessità d

Esistono diverse tipologie di domande che possono essere formulate per verificare le conoscenze dell’utente.

Prevediamo, in particolare, l’utilizzo di due tipi di prove:

  • prove strutturate;
  • prove semi-strutturate.

Le prove strutturate possono essere a loro volta distinte in:

  • vero/falso;
  • scelta forzata;
  • scelta multipla;
  • likert-type;
  • riempimento;
  • abbinamento;
  • completamento;
  • sequenze concettuali/ordinamento;
  • scelta multipla cieca.

Prendiamo ora in esame ciascuna delle tipologie elencate.

L’utente deve stabilire se l’affermazione specifica di fronte alla quale viene posto è corretta oppure errata.

Nella formulazione, seguire queste semplici regole:

  • evitare affermazioni ambigue e poco chiare;
  • evitare di mettere in evidenza l’elemento centrale del quesito;
  • evitare forme negative;
  • evitare avverbi come “sempre”, “mai”, “di solito” che possano orientare e condizionare la risposta dell’utente.

E’ bene tener presente la superficialità della verifica effettuata con questo tipo di prova e l’alta percentuale di probabilità di risposta esatta. Ne sconsigliamo, quindi, l’utilizzo per verificare livelli tassonomici superiori al 2°.

Gli item vero/falso, comunque, possono essere molto utili per frammentare il questionario.

La scelta forzata è simile alla tipologia vero/falso. Prevede la scelta di una di due opzioni date e presenta naturalmente tutti i pro e contro individuati per la tipologia precedente.

La scelta multipla, prevede la scelta di 1 opzione esatta tra 5.

Può essere utilizzata per verificare una vasta gamma di obiettivi valutativi.

Nella formulazione, seguire queste semplici regole:

  • inserire almeno 3 distrattori;
  • creare domande brevi e chiare;
  • formulare risposte plausibili e armonizzate sintatticamente e grammaticalmente con la domanda;
  • evitare le forme negative.

Prevede la scelta di un valore all’interno di una scala di misura.

Può essere utilizzato all’interno di un questionario di gradimento.

Richiede all’utente di completare un testo utilizzando le parole che vengono suggerite direttamente nell’item.

Per rendere la prova più complessa, si possono aggiungere dei termini (almeno 3) che fungano da distrattori.

Questa tipologia di item è utile nel caso di prove tese a verificare competenze di tipo linguistico. Ne consigliamo l’utilizzo per la verifica di obiettivi che non superino il 3° livello di complessità.

Questa tipologia prevede l’abbinamento di elementi presentati in due elenchi/liste e può essere sviluppata in due modalità:

  • corrispondenza biunivoca, in cui ad ogni elemento della prima lista corrisponde un solo elemento della seconda;
  • corrispondenza univoca con distrattori, in cui il numero degli elementi della lista di riferimento è inferiore al numero di elementi cui associarli. In questo caso è bene inserire almeno 3 elementi in più nella seconda lista e utilizzare comunque liste brevi ed omogenee.

Questa tipologia è indicata quando è necessario verificare il confronto e/o l’associazione di concetti e contenuti. Si basa, infatti, sul concetto di relazione, relazione tra un oggetto e l’altro e poi tra tutti gli elementi.

Si differenzia dal riempimento, perché non fornisce alcun suggerimento sui termini con cui completare il testo. Ha, di conseguenza, un livello di complessità più elevato.

Vale comunque quanto detto per il riempimento, in termini di suggerimenti di utilizzo.

Questa tipologia prevede l’ordinamento di una sequenza di elementi, che possono rappresentare, ad esempio, degli eventi storici o delle fasi di una procedura.

La scelta multipla cieca prevede la presenza di più di una risposta esatta. Il numero di opzioni date può variare, ma è importante fare in modo che l’ultima decisione sia configurabile come un item a scelta multipla con 3 distrattori. Si può dedurre, quindi, che dovranno esserci almeno 3 opzioni in più rispetto a quelle esatte.

E’ importante sempre comunicare all’utente il numero delle opzioni corrette.

Come scrivere i distrattori per le domande a scelta multipla 

Le opzioni alternative in una domanda a scelta multipla e a scelta multipla cieca devono consentire alla domanda di essere “discriminante”, di poter cioè effettivamente dividere la popolazione degli utenti che rispondono al test in coloro che sanno la risposta e coloro che non la conoscono.

I distrattori dunque non devono essere eccessivamente semplici e consentire all’utente di rispondere casualmente.

Per le domande a scelta multipla si consiglia di inserire:

  •   1 risposta corretta
  •   1 distrattore spiccatamente “sbagliato”
  •   3 distrattori non eccessivamente sbagliati

Alcuni suggerimenti per le modalità di realizzazione dei distrattori possono essere:

– nel caso di elenchi (3 o 4 caratteristiche):

  •  i distrattori possono essere incompleti;
  •  i distrattori possono contenere uno o più elementi sbagliati.

– nel caso di indicazione di finalità e esempi di applicazione

  •  i distrattori possono contenere una finalità simile;
  •  i distrattori possono contenere una finalità più generale;
  •   i distrattori possono contenere una finalità subordinata a quella corretta;
  •   i distrattori possono contenere una finalità sbagliata;
  •   non contenere finalità.

– altro

  • sigle sbagliate o non conosciute,
  • uso degli avverbi in particolare temporale (sempre, mai, di solito, a volte, frequentemente).

In generale i distrattori devono essere “plausibili” e non polarizzare le risposte (effetto calamita).

Prove semi-strutturate

Per mantenere l’oggettività della misurazione, ogni prova semi-strutturata (stimolo chiuso-risposta aperta) deve intendersi come l’insieme di più prove strutturate implicite. Di conseguenza, il punteggio finale corrisponderà alla somma dei punteggi di ogni singolo item che compone la prova.

La domanda dovrà essere formulata in modo chiaro e dovrà orientare esplicitamente l’utente verso una griglia di risposte alle domande implicite che la compongono.

 

 

Prendiamo sul serio la valutazione nell’e-learning ultima modifica: 2017-07-06T13:13:45+00:00 da Redazione E-learningSpecialist

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *