COME VALUTARE UN PROGETTO DI E-LEARNING: POSITIVITÀ E CRITICITÀ - COSTI E BENEFICI

La valutazione della qualità nella Fad-Iad resta una questione problematica per molteplici ragioni, prima fra tutte la disputa ancora aperta sullo stesso significato di qualità di intervento formativo, con tutto ciò che questo implica: efficacia didattica, impatto sociale e professionale, ritorno d’investimento, etc. Il problema può giungere a soluzione adottando una valutazione di tipo “multidimensionale”, poiché bisogna tener sotto controllo il carattere multioprospettico del processo di formazione.

LA VALUTAZIONE DELLA QUALITA’

1. Un approccio multidimensionale

In ambito formativo il termine valutazione viene usato per indicare quella specifica attività di ricerca che, attraverso la raccolta, l’analisi e l’interpretazione dei dati (ricavati dagli aspetti più vari di un processo di apprendimento), giudica l’efficacia, l’efficienza e la qualità di un intervento didattico, e ne verifica la coerenza con gli obiettivi prefissati e le condizioni ambientali in cui la formazione ha luogo.
In questo senso la valutazione è un processo in cui, attraverso la rilevazione di parametri relativi alle funzioni di apprendimento, diventa possibile stabilire quando e in che direzione ha inciso l’intervento posto in essere.
Un corso a distanza condivide con la formazione in presenza tradizionale gran parte di quelle istanze e quei requisiti che si richiedono alle attività formative in genere, definiti nei criteri di qualità: chiarezza della progettazione didattica, analisi dei bisogni, obiettivi espliciti, definizione delle risorse, tipi di valutazione. Alcune dimensioni assumono tuttavia un maggior risalto, diventando componenti strategiche, come la qualità e la fruibilità dei contenuti didattici, la puntualità del monitoraggio e la valutazione in itinere. È evidente che nella formazione on-line sono presenti molti più elementi da tenere in considerazione rispetto ai corsi tradizionali, e ciò è dovuto principalmente ad una maggiore flessibilità e ad una più ampia gamma di stimoli e situazioni.
Valutare non solo significa verificare la coerenza fra scelte progettuali, contenuti e metodi con gli obiettivi dell’azione formativa, ma anche monitorare la dinamica dell’azione formativa stessa, per avere informazioni puntuali in grado di permettere la ritaratura e la flessibilità del processo (G. Trentin, 2001).
La molteplicità degli approcci adottabili trova un comune denominatore nel considerare la valutazione come un’attività di ricerca che permetta l’individuazione, la raccolta e l’uso di informazioni relative ai mutamenti intervenuti nei partecipanti: la collezione, l’analisi e l’interpretazione di tali informazioni possono essere usate per dare un giudizio di merito sull’efficacia del processo formativo nel suo complesso.
Si può operare una distinzione fra valutazione del singolo partecipante al processo formativo e la valutazione del processo stesso. Le due valutazioni non sono però strettamente separabili, in quanto ovviamente è inevitabile che nella valutazione dell’efficacia di un corso si debba tener conto degli effetti che l’azione formativa ha avuto nella modificazione delle conoscenze o degli atteggiamenti dei partecipanti, e quindi della valutazione degli stessi partecipanti; altro fattore importante è poi una chiara definizione degli scopi dell’azione valutativa, a cui deve seguire la scelta dei più idonei strumenti di rilevazione.
La Formazione a distanza costituisce una realtà estremamente complessa: come sottolinea Daniele Fedeli, per poterne valutare tutti gli aspetti è necessario non eludere la sua multidimensionalità anche nell’individuazione degli aspetti qualitativi (D. Fedeli, 2002). Si possono indicare tre dimensioni d’analisi, riconducibili anche alla formazione in presenza, che nella progettazione dell’e-learning assumono valenze del tutto specifiche:
1. Valutazione degli apprendimenti.
2. Valutazione del progetto didattico.
3. Valutazione del sistema.
1. La valutazione degli apprendimenti: il primo passo della valutazione consiste nel verificare le conoscenze e le abilità apprese dagli allievi al termine del percorso formativo on-line. Gli obiettivi finali del corso, come quelli parziali dei singoli moduli, vengono valutati in modo puntuale, in quanto precedentemente stabiliti in sede di progettazione didattica.
La partecipazione dell’allievo deve essere valutata sia da un punto di vista quantitativo, sia qualitativo: nel primo caso (aspetto quantitativo) il docente si riferirà al numero di interventi fatti dall’allievo e alla loro frequenza, nel corso delle varie discussioni di gruppo. Alcuni software permettono automaticamente di ottenere un report dettagliato per ogni allievo, con il numero degli interventi, la data, l’area di discussione relativa, etc.
L’apporto qualitativo degli interventi risulta altresì importante per l’indicazione di partecipazione al corso, benché più complesso da analizzare; Daniele Fedeli illustra un’ipotetica griglia, utile per lo studio qualitativo (Daniele Fedeli, 2002):
· Abilità di regolazione autonoma del proprio comportamento.
· Abilità collaborative.
· Capacità di ricerca di nuove informazioni e conoscenze.
· Apprendimento di uno stile comportamentale propositivo, fondamentale per la gestione dei possibili conflitti.

2. La valutazione del progetto didattico: la seconda area di valutazione riguarda il progetto didattico implementato; vengono proposte nove dimensioni (Daniele Fedeli) oggetto di verifica.
· Il grado di adattamento reciproco tra obiettivi e metodologie didattiche da un lato e supporto metodologico dall’altro.
· La preparazione di docenti e tutor, con un’attenzione specifica per la competenza tecnologica oltre che contenutistica.
· La significatività e la chiarezza degli obiettivi finali devono essere oggetti d’analisi in sede di progettazione, soprattutto per quanto riguarda la rispondenza alle attese e alle esigenze del singolo allievo.
· La chiarezza dell’organizzazione modulare deve essere valutata, soprattutto quando si ricorre a una struttura in parallelo; il rischio è il disorientamento e la confusione dei corsisti.
· La chiarezza e precisione delle metodologie ed i compiti assegnati ai partecipanti.
· La personalizzazione del percorso formativo rispetto alle proprie esigenze e ai propri interessi.
· La qualità dei materiali didattici; rappresenta un fattore critico, più di quanto non avvenga in un corso in presenza: infatti, proprio la distanza fisica tra docente e allievo porta in primo piano i materiali educativi impiegati.
· La presenza costante del supporto offerto al partecipante in difficoltà; molti siti prevedono specificatamente aree di assistenza (help).
· La presenza di un sistema di monitoraggio continuo dei processi che avvengono nella classe virtuale, in modo da individuare tempestivamente le aree di criticità.

3. La valutazione del sistema: l’ultima fase di valutazione riguarda il sistema di formazione nel suo complesso, analizzando gli aspetti più strettamente strutturali e tecnologici; la valutazione del sistema si articola in tre momenti d’analisi:
· L’infrastruttura tecnologica adottata, in termini di facilità d’utilizzo, di efficacia didattica e comunicativa.
· La chiarezza organizzativa, indicando tempi e modi di iscrizione, frequenza, servizi offerti, modalità amministrative, etc.
· L’attenzione alle esigenze dell’utente, proprio in funzione della distanza fisica fra docente e discenti: servizi di accoglienza, gestione tempestiva problematiche, supporto continuo, etc.

LO STUDIO DEI COSTI

1. L’analisi dei costi/benefici
La valutazione della formazione, considerando la sua importanza anche nel contesto aziendale, diviene strategica in termini di Costi/Benefici ottenuti: un progetto di formazione infatti, per le risorse umane e strumentali impegnate, per i risultati attesi e per l’orizzonte temporale di riferimento, può essere qualificato come un investimento, ossia “un impiego di capitale per l’acquisizione di beni e servizi suscettibili di fornire nel tempo, attraverso il processo produttivo, un’utilità economica diretta o indiretta” (Bierman, 1988, in Didaforum, 1995).
Tuttavia, sul piano concreto si può facilmente rivelare quanto sia difficile in termini aziendali una configurazione del calcolo di redditività degli investimenti formativi, ossia la stesura di un modello di analisi costi/benefici, intendendo con esso un procedimento di valutazione di un progetto attraverso il confronto tra i costi e i benefici del progetto stesso.
L’analisi dei costi/benefici è una metodologia o un insieme di procedure che permette di:
· argomentare i programmi di formazione esistenti;
· sviluppare una maggiore comprensione del sistema di formazione esistente;
· determinare la riduzione delle spese di formazione e contemporaneamente di aumentare l’efficienza del sistema;
· determinare il miglioramento dei risultati della formazione attraverso una maggiore efficacia;
· valutare la flessibilità e il ritorno di investimento.
Lo svolgimento di un’analisi costi/benefici richiede cinque fasi di lavoro:
1. identificare i bisogni e le variabili fondamentali per l’analisi;
2. definire un modello e le sue ipotesi;
3. raccogliere le informazioni (quantitative e qualitative);
4. calcolare i costi e i benefici, dando un significato univoco alle varie voci;
5. usare i risultati dell’analisi come strumento di supporto ad una scelta gestionale.
La valutazione della formazione in termini di rapporto costi/benefici diviene quindi uno strumento di supporto alle decisioni in merito all’utilizzazione ottimale delle risorse disponibili: questa prospettiva dovrebbe vedere il coinvolgimento di tutti gli aspetti della formazione, con riferimento ad elementi più propriamente legati alla qualità tecnica, all’erogazione (tempestività dell’intervento) e soprattutto alla percezione, inteso come l’elemento soggettivo che il cliente sperimenta al momento della fornitura del servizio (qualità percepita-qualità attesa).
Si indicano tre termini per individuare la misura del rapporto costi/benefici:
· migliorare l’efficienza: significa raggiungere gli stessi risultati a costi minori.
· migliorare l’efficacia: giungere a risultati migliori mantenendo costanti i costi.
· migliorare la produttività: significa ottenere migliori risultati produttivi a costi inferiori.
Efficacia ed efficienza non vanno assunti come sinonimi: valutare l’efficacia vuol dire concentrarsi sul miglioramento dei benefici attesi, mentre valutare l’efficienza vuol dire focalizzarsi sulla riduzione dei costi. Una buona qualità del processo formativo è individuata da alti livelli di:
· Efficienza, ovvero i criteri di natura prettamente finanziaria ed economica.
· Efficacia, data dalla capacità di un corso di raggiungere effettivamente gli obiettivi dichiarati al momento della progettazione-programmazione formativa.
· Pertinenza, ovvero la capacità di sviluppare azioni formative concordanti con i requisiti strategici, metodologici e tecnici definiti dall’autore della valutazione.
· Rispondenza, intendendo la capacità del prodotto di corrispondere ai bisogni formativi degli utenti.
· Rilevanza, data dalla capacità dell’azione formativa di evidenziarsi, rispetto ad altri interventi, per il tono più marcato delle innovazioni.
· Effetto moltiplicatore, ovvero il realizzarsi di un ciclo positivo nel contesto di riferimento dovuto all’azione formativa stessa, dando vita ad un fenomeno di diffusione di elementi rilevanti o di condizioni di riproducibilità più favorevoli.

3. Lo studio del Ritorno d'Investimento (ROI)

Il problema dei costi, di come valutarli e di come evitare che sfuggano al controllo degli organizzatori dell’esperienza formativa, assume un significato importante nel momento in cui si parla sempre più estesamente di on-line learning.
Nella valutazione dell’e-learning entrano in gioco un numero molto alto di variabili, legate al modo di ammortizzare gli investimenti necessari per mettere in piedi l’infrastruttura tecnologica a cui appoggiare i corsi in rete e allo scenario macroeconomico in cui si inserisce la formazione.
Le conoscenze erogate assumono sempre di più il carattere di “merce”, rispondenti quindi all’andamento oscillante del mercato in cui si affrontano apertamente la domanda di apprendimento e l’offerta di formazione.
Il calcolo dei costi è opportuno per valutare se ci sono margini di utile finanziario o per calcolare il punto di break-even degli investimenti in tal senso, esattamente come se si trattasse di un’attività d’impresa.
“L’evoluzione delle tecnologie informatiche farà sì che i sistemi di Fad continueranno ad esistere solo se si realizzerà un’ottica di demassificazione della distribuzione del prodotto; nel futuro la Fad, sviluppata secondo criteri industriali e finalizzata al raggiungimento delle masse, decadrà come modello dominante” (Garrison D. R., Shale D., 1987, in A. Calvani, M. Rotta, 2001). Questa affermazione ben si coniuga con la personalizzazione dell’apprendimento e con l’elevato grado di interattività richiesto per lo svolgimento del processo stesso, ma comporta uno sconvolgimento del principio economico di economia di scala, che aveva finora retto la realizzazione dei prodotti di formazione a distanza.
L’economia di scala suggerisce interventi formativi indirizzati al maggior numero di utenti possibili per poter giustificare investimenti elevati nella produzione di materiali didattici di buona qualità; materiali, quindi, che devono essere adeguati per il più ampio spettro possibile di fruitori e non essere di rapida obsolescenza. D’altro canto, l’approccio della formazione in rete si rivolge nel modo più personalizzato possibile ai discenti, sviluppando classi virtuali limitate dal punto di vista della composizione numerica: questo innalzamento del livello qualitativo indubbiamente costa (G. Trentin, 1999).
Il dibattito su come misurare il Ritorno d’Investimento (RI, o ROI, come Return of Investment) nella formazione è ancora aperto, soprattutto perché sono molto diversificate le ottiche sotto cui si formula il giudizio; chi considera il RI dal punto di vista dell’istruzione ne determina la misura sul lungo periodo; chi investe in formazione a livello aziendale necessita di un riscontro più immediato, considerando il processo di formazione come qualcosa che deve dare i suoi frutti (misurabili in termini di crescita di profitto) nel breve periodo, il più breve possibile.
Le Istituzioni Pubbliche basano l’analisi dei costi su un confronto con la formazione tradizionale, considerando parametri comparativi consolidati; i Privati invece valutano la Fad confrontando il processo rispetto all’ingaggio a tempo determinato di un formatore per attività in aula.
In entrambi i casi, l’analisi dei costi risulta più agevole rispetto alla definizione dei benefici, percepiti come soggettivi e relativi, soprattutto se non traducibili in un riscontro economico immediato.

3. L'economia di scala
Non sempre si rende possibile convergere ad una valutazione quantitativa del rapporto fra costo/benefici: resta però possibile ottimizzare un compromesso, scegliendo fra il livello di vicinanza che si desidera raggiungere fra effetto desiderato ed effetto reale; oppure, ritagliare adeguatamente gli obiettivi dell’intervento formativo alle risorse economiche disponibili, senza voler eccedere in virtù, ma puntando a garantire piuttosto livelli qualitativamente apprezzabili (G. Trentin, 1999).
Questa visione, che presuppone un’attenta analisi del rapporto tra la situazione e aspettative, tra bisogni reali e contesto, tra l’effetto desiderato e l’effetto reale, è largamente condivisa nell’ambiente accademico: ipotizzando due possibili soluzioni, l’una orientata a investire di più in risorse umane (tutor, formatori, esperti) e meno in tecnologie in senso stretto, l’altra interessata di più alla messa a punto dell’infrastruttura tecnologica specifica (piattaforme, software), si può illustrare pragmaticamente la variazione dei costi in un contesto di economia di scala nel lungo-medio periodo (A. Calvani, M. Rotta, 2001).
Si indica come soluzione dosata quella basata prevalentemente su una soluzione tecnologia dosata e sull’azione attiva e costante del tutor/formatore durante il processo (ipotesi B); si denomina soluzione integrata l’ipotesi di un corso on-line basato prevalentemente su una soluzione tecnologica integrata e sull’erogazione di materiali strutturati, supportata da semplici forme di tutoring (ipotesi A).
Immaginando di mettere a confronto le due soluzioni ipotizzate, si può vedere come la soluzione dosata abbia un costo iniziale più basso, ma garantisca minori economie di scala nel tempo, essendo gran parte delle voce “costi” assorbite dalla presenza di persone, tutor e formatori, che operano ogni volta per un certo numero di ore, non facilmente scalabili. Per contro, una soluzione integrata, che punta sull’erogazione di materiali strutturati, chiederà inizialmente un costo iniziale maggiore, ma garantirà nel tempo economie di scala maggiori, talora considerevoli.
Con questa prospettiva non si vuol mettere a confronto i costi totali, che possono variare sensibilmente in relazione al numero degli attori coinvolti e alla specifica tecnologia scelta, ma si focalizza l’attenzione sui costi relativi, sul rapporto di scala tra i due costi e sull’andamento tendenziale del risparmio possibile nei due casi.
Tra gli elementi che incidono sull’economia di scala realizzabile in questi casi va ovviamente considerato il riutilizzo del materiali strutturati, sfruttando le potenzialità di una soluzione integrata; l’elaborazione del materiale da distribuire in rete è a sua volta relativamente costosa, ma garantisce anch’essa economie di scala significative. In un corso che non si basa sull’erogazione di materiali strutturati, ma punta totalmente su attività progettuali e collaborative, si può anche ritenere che non si possano attuare risparmi di tempo, fatto salvo il naturale ammortamento delle spese eventualmente affrontate per dotarsi di una seppur minima tecnologia di base.
Il costo di una piattaforma integrata, in particolare, è estremamente variabile e può arrivare a cifre considerevoli, in relazione al numero di attori che il sistema può gestire contemporaneamente. Tra gli altri fattori in gioco non va dimenticato il costo di produzione di eventuali materiali strutturati di tipo modulare, in cui l’inserimento di video o audio di qualità (o l’assembleggio che punta a soluzioni di interfacciamento grafico originali e ad un alto livello di interattività), può incidere notevolmente sul budget complessivo del corso.

Il grafico dimostra come un progetto di e-learning richiede costi più alti rispetto alla formazione in aula; ma al crescere del numero dei discendi emerge la convenienza dell’e-learning in termini di costi complessivi.
Allen, (Allen, 2000, in A. Calvani, M. Rotta, 2001), sottolinea come il risparmio ottenibile nel tempo sia tanto maggiore quanto più il corso tende ad essere costituito da materiali strutturati, erogati attraverso piatteforme che limitano le interazioni (altrimenti gestite dai tutor), e tanto minore quanto più ampio è il ruolo svolto dai formatori del processo.

Perché scegliere la formazioneon-line?
Tra i vari modelli decisionali adottabili per selezionare la modalità educativa più adeguata, risulta di particolare interesse quello proposto da Bates, noto con l’acronimo ACTIONS, che evidenzia sette fattori critici per la preferenza di una scelta a distanza piuttosto che in presenza:
1. Accesso: deve essere valutata la facilità di accesso al sistema formativo, non solo da un punto di vista territoriale (distanza fisica e temporale), ma anche considerando il livello di alfabetizzazione tecnologico necessario per il perseguimento del corso: la tecnologia non deve risultare troppo complessa e creare difficoltà d’accesso ad utenti poco esperti.
2. Costi: i costi vanno divisi in fissi (infrastruttura tecnologica, materiali didattici, gestione amministrativa; sono costi che restano inalterati, indipendentemente dal numero degli allievi), e variabili (sono quelli che variano al variare del numero di allievi iscritti: remunerazione dei tutor, spese di supporto individualizzato, etc.).
3. Metodologie d’insegnamento e obiettivi d’apprendimento: la scelta del sistema educativo dipende sempre in primo luogo dal tipo di metodologia didattica che si intende adottare, nonché dagli obiettivi educativi individuati.
4. Interattività: la scelta di un sistema in presenza o a distanza dipende anche dal grado di interattività che si vuole promuovere tra gli allievi.
5. Aspetti organizzativi: la committenza del corso determina tutto l’apparato organizzativo, progettuale e burocratico di un’azione formativa in generale, condotta in presenza o a distanza.
6. Novità: l’innovazione determinata dal processo formativo condotto con l’ausilio dell’Information Comunication Technology può comportare un notevole senso di motivazione coinvolgimento e curiosità.
7. Tempestività: in una società che cambia continuamente, è necessario che gli strumenti di formazione possiedano la stessa tempestività; è necessario un sistema che permetta costantemente l’aggiornamento delle conoscenze.