Articoli e approfondimenti su Formazione, Crescita personale e professionale, Coaching...
Misurare l'apprendimento: porre le domande giuste
Pubblicato il: 01/12/2023Meno contenuti, più impatto!
Per i professionisti dell'apprendimento sul posto di lavoro, il modello di valutazione del trasferimento dell'apprendimento (LTEM) fornisce un quadro per allineare il loro approccio analitico con la profondità della valutazione dell'apprendimento che desiderano ottenere.
Modello di valutazione del trasferimento dell'apprendimento per misurare l'apprendimento
Il modello di valutazione del trasferimento dell’apprendimento, sviluppato da Will Thalheimer, presenta
un approccio articolato per misurare e valutare l’efficacia dell’apprendimento sul posto di lavoro. In questo approccio a otto livelli, ciascun livello può rispondere con sicurezza a determinate domande, mentre altre risposte sarebbero almeno speculative (risposte con scarsa sicurezza). LTEM può essere determinante nel modellare le strategie di analisi, consentendo agli analisti di porre domande pertinenti, misurare i risultati giusti e riconoscere i limiti delle loro metriche.
Perché non utilizzare la valutazione Kirkpatrick di livello 4
Se attualmente utilizzi il modello Kirkpatrick e funziona per la tua organizzazione, continua a farlo. Questo articolo potrebbe essere irrilevante per te. Spesso la sfida che ho riscontrato non è il modello in sé ma l'implementazione. Vale a dire, fare affidamento sui dati di livello 1 e presupporre una valutazione delle conoscenze alla fine di un corso è una valutazione di livello 2.
L'apprendimento senza trasferimento (cioè l'applicazione sul posto di lavoro) è un investimento con bassi rendimenti. Pertanto, fin dall’inizio, noi (partner aziendali che apprendono, progettisti dell’apprendimento, sviluppatori, PMI, ecc.) dobbiamo concentrarci su ciò che accade dopo ogni esperienza di apprendimento. Ciascun ruolo deve capire cosa può fare nel proprio ambito per ottenere risultati più efficaci! Questo è il motivo per cui utilizzo LTEM per misurare l'apprendimento sul posto di lavoro: aiuta i learning designer a comprendere il loro impatto su ogni singola scelta progettuale che fanno insieme al messaggio che inviano, mentre funge anche da base di riferimento per le parti interessate per capire cosa stiamo facendo. possiamo e non possiamo rispondere con sicurezza a ogni livello (e quali dati dobbiamo raccogliere per farlo).
A quali domande possiamo rispondere con sicurezza ad ogni livello?
Ecco come ogni livello può guidare l'analisi per misurare l'apprendimento e il tipo di domande a cui possiamo rispondere con sicurezza, così come a quelle a cui non possiamo rispondere.
Livello 1: frequenza
Alla base dell'LTEM c'è la presenza, dove l'analisi può solo confermare la registrazione, l'iscrizione, la partecipazione, l'accesso o il completamento. Presentarsi non significa prestare attenzione, imparare qualcosa, avere alcuna intenzione di applicarlo o fare la differenza sul lavoro.
Fiducia
Possiamo, ad esempio, determinare la portata del nostro programma di formazione. Possiamo confrontare la registrazione con un test A/B, per opzioni come le versioni on-demand e live. Possiamo segmentare l'iscrizione e il completamento in base alle regioni o ai leader. Utilizziamo spesso questo livello insieme ai dati raccolti da altri livelli per ottenere approfondimenti.
Limitazione
Non possiamo dedurre se l’evento di apprendimento abbia avuto un impatto cognitivo o un cambiamento comportamentale, per non parlare di fare previsioni sulle prestazioni.
Dati
Il nostro documento sulla strategia dei dati definisce se tracciamo gli utenti in modo anonimo (contando solo senza informazioni identificabili) o tramite il loro ID. Se la decisione è di rendere anonimi i dati, dobbiamo comunque determinare se ci interessa il tracciamento individuale o solo i dati aggregati. Sii chiaro con le parti interessate che non possiamo dire, ad esempio, conteggi unici con sicurezza, se non monitoriamo i singoli utenti.
Livello 2: attività
Andando oltre la semplice presenza, il livello di attività misura il coinvolgimento. L’engagement, tuttavia, deve essere chiaramente definito nel documento sulla strategia dei dati perché è una delle etichette più fraintese. Le ipotesi possono essere costose più avanti nel progetto! Uno studente si impegna nelle seguenti attività legate all’apprendimento, che possono essere misurate in qualche modo:
Misure di attenzione
Una metrica inadeguata per convalidare il successo dell’apprendimento, perché gli studenti possono prestare attenzione ma non imparare.
Misure di interesse
Una metrica inadeguata per convalidare il successo dell’apprendimento, perché gli studenti possono mostrare interesse ma non imparare.
Misure di partecipazione
Una metrica inadeguata per convalidare il successo dell’apprendimento, perché gli studenti possono partecipare ma non imparare.
In pratica, tendiamo a concentrarci sulla misurazione di tre tipologie di attività legate all’apprendimento:
Fisico
Cosa fanno gli utenti (tutte le interazioni dell'interfaccia utente rientrano qui)
Affettivo
Come si sentono gli utenti riguardo all'attività, quali emozioni provano.
Cognitivo
Quanto imparano, riflettono e applicano.
Idealmente, si progetta un equilibrio tra questi tre domini. Altrimenti, potresti ritrovarti con attività "clicky-click-drag-next" "altamente interattive" che tengono svegli gli utenti, ma segnalano frustrazione e nessun apprendimento rilevante. Oppure potresti ritrovarti con il copione video più divertente di cui tutti parlano, ma potrebbero non ricordare nemmeno cosa avrebbero dovuto imparare.
Fiducia
Possiamo dire che le persone sono sveglie. Possiamo valutare il coinvolgimento e identificare quali attività catturano l’attenzione più di altre. Possiamo dire quali opzioni sceglie la maggior parte degli utenti (scaricheranno il PDF o guarderanno l'animazione?). Possiamo dire se qualcuno visita mai quei collegamenti a risorse "importanti" su cui ha lavorato il tuo team.
Limitazione
Non possiamo concludere che il coinvolgimento equivalga all’apprendimento o al mantenimento. Se gli utenti sono assolutamente annoiati, è improbabile che imparino, per non parlare di svolgere il proprio lavoro. Tuttavia, solo perché sono coinvolti (soprattutto se i tuoi stakeholder preferiscono attività più "divertenti" per ottenere buoni punti di feedback), non significa che stanno imparando o stanno pianificando di applicarlo.
Dati
Pensa a Google Analytics! Tutto ciò che è un'azione può essere catturato in questo livello. Utilizziamo questo livello per prendere decisioni basate sui dati su come migliorare i contenuti di supporto all'apprendimento o alle prestazioni in base all'utilizzo effettivo. Possiamo determinare in che modo il tempo dedicato alle attività corrisponde al progetto. Possiamo dire dove abbandonano gli utenti. Questo livello può informarti sulla "prestazione dei contenuti".
Utilizziamo inoltre i dati di questo livello in percorsi adattivi più sofisticati per determinare i passaggi successivi o personalizzare il percorso dell'utente. La più piccola unità di apprendimento non è il completamento di un corso! Qualsiasi punto dati acquisito può far parte di una logica che determina il percorso di un utente. Utilizziamo xAPI per questo livello di processo decisionale avanzato e analisi predittiva.
Livello 3: Percezioni dello studente
Il livello delle percezioni dello studente si concentra sul feedback soggettivo relativo all’esperienza di apprendimento. Sondaggi e interviste possono fornire approfondimenti sulla comprensione, sulla motivazione e sul supporto percepito degli studenti. Esistono due modi per raccogliere dati a questo livello. Il tradizionale approccio Kirkpatrick di livello 1 è molto comune (che abbiamo trovato interessante, ma non utile per trovare informazioni utili nella fase iniziale), ed esiste anche l'approccio più incentrato sulle prestazioni (che fornisce punti dati specifici su fiducia, intenzione di utilizzo, autoefficacia e supporti/ostacoli previsti).
Fiducia
Possiamo accertare la fiducia, la motivazione e il sostegno percepito degli studenti.
Limitazione
Non possiamo garantire che le percezioni positive siano correlate all’apprendimento efficace o all’applicazione delle competenze.
Dati
L'approccio "tradizionale" utilizza spesso una scala Likert in cui gli utenti selezionano la loro soddisfazione percepita, ad esempio tra 1 e 5. Questi dati vengono quindi aggregati e calcolata una media, e i dashboard possono mostrare un singolo numero come indicatore di successo. Questo approccio può portare a un processo decisionale basso o nullo, a meno che non si verifichi un disastro.
L’approccio focalizzato sulle prestazioni fornisce spunti più pratici che possiamo portare direttamente alle parti interessate, su cosa aspettarsi in termini di trasferimento. Consiglio vivamente di sperimentare la tua versione basata sul libro di Will Thailheimer.
Livello 4: Conoscenza
Le metriche del livello di conoscenza esaminano la capacità dello studente di recitare informazioni. Questo è uno dei concetti più fraintesi nella pratica dell’apprendimento sul posto di lavoro. Lasciami illustrare. Quando dici alle parti interessate che progetterai una verifica delle conoscenze alla fine del modulo, ecco cosa capiscono: "Una verifica delle conoscenze è ottima perché altrimenti gli studenti potrebbero non prestare attenzione. È anche bello sapere che lo faranno sapere cosa fare sul lavoro dopo la formazione."
Ora, molti dei "controlli delle conoscenze" che ho riscontrato nei miei oltre 15 anni di lavoro in molti team di apprendimento aziendali riguardano più il ricordare ciò che è stato detto in precedenza su una diapositiva che il verificare se i partecipanti sarebbero in grado di applicare la conoscenza utilizzando il linguaggio corretto. competenze più avanti nel lavoro. Questo è uno dei motivi per cui abbiamo deciso di utilizzare LTEM.
Fiducia
Possiamo valutare il richiamo immediato delle informazioni e della terminologia.
Limitazione
Non possiamo confermare se un utente ricorderà lo stesso fatto in seguito sul lavoro, per non parlare di applicare questa conoscenza in contesti pratici.
Dati
Questo livello è spesso associato a domande vero o falso o a elementi di valutazione a scelta multipla. L'analisi degli articoli può dirti di più sulla struttura del design per trovare alcuni punti deboli nel contenuto. Ad esempio, se esiste un modello chiaro di ricordo errato tra gli utenti (assumendo che il fatto sia fondamentale da memorizzare), i progettisti possono modificare il percorso.
Il livello 5 e il livello 6 sono quelli a cui tutta la progettazione dell’apprendimento dovrebbe mirare per la valutazione! A volte, come progettista dell'apprendimento, senti di non avere l'opportunità di apportare grandi modifiche alla soluzione già decisa concordata con le parti interessate. Una cosa puoi sempre fare: passare dal ricordo dei fatti alla competenza decisionale. È qui che l’utilizzo di un quadro di misurazione e valutazione coerente può già influenzare la progettazione prima che avvenga qualsiasi apprendimento. Ciò che viene misurato, viene fatto. Ciò per cui viene misurato viene progettato.
Qual è la differenza tra capacità decisionale e competenza sul compito?
Distinguere le competenze relative al processo decisionale e al compito è importante sia per la progettazione dell'apprendimento che per il supporto alle prestazioni. Sebbene queste due azioni spesso sembrino avvenire contemporaneamente, c’è un’enorme differenza tra loro.
Una volta stavo lavorando con venditori in tutto il paese per vendere un nuovo prodotto. Avevano tutti le capacità per vendere, poiché venivano scelti tra i migliori artisti. Tuttavia, il nuovo prodotto richiedeva alcuni aggiustamenti nell'esecuzione della presentazione delle vendite. Tutti hanno superato la valutazione digitale basata su scenari richiesta prima dell'evento dal vivo. Sapevano tutti cosa fare e come dire le cose. Eppure, la prima serie di presentazioni nella pratica reale ha mostrato la differenza tra sapere esattamente cosa fare (processo decisionale) e la pratica dell’esecuzione (compito).
Livello 5: Competenza decisionale
Questo livello esamina la capacità dello studente di prendere decisioni basate su scenari che riflettono situazioni di vita reale. L’analisi può misurare l’accuratezza e la qualità di queste decisioni.
Fiducia
Possiamo valutare la competenza nel processo decisionale in scenari controllati. Gli utenti sapranno cosa fare e come farlo (in teoria).
Limitazione
Non possiamo garantire che questa competenza si traduca nell’esecuzione della decisione.
Dati
Scenari autentici e rilevanti per il lavoro possono fornire contesti significativi in cui gli utenti prendono decisioni sulla base delle conoscenze teoriche acquisite e delle competenze percepite che hanno acquisito. I dati possono essere utilizzati per tracciare le persone durante il loro viaggio, inclusi suggerimenti automatici di percorso o aggiustamenti della complessità. I dati possono rivelare approfondimenti su modelli più ampi (convalida del contenuto, ambiguità, interruzione critica, ecc.) che possono essere utilizzati dagli allenatori digitali per fornire sessioni personalizzate o riunire un intero gruppo per una correzione critica del percorso.
La competenza decisionale non deve fermarsi alla fine di un evento di apprendimento. Puoi eseguire campagne nel tempo, con sfide basate sui ruoli e ottimizzate sulle competenze per rilevare le lacune di conoscenze e competenze prima che causino problemi di prestazioni.
Livello 6: Competenza del compito
La competenza sul compito va oltre il processo decisionale per valutare l'esecuzione del compito, immediatamente o dopo un intervallo di tempo per misurare la fidelizzazione. Puoi considerarlo come una scala di autenticità, dalle simulazioni di giochi di ruolo all'esecuzione monitorata delle attività sul lavoro.
Fiducia
Possiamo verificare se gli utenti sono in grado di eseguire attività e prendere decisioni in un ambiente simulato, o ricordare come farlo dopo un periodo di lavoro. Il controllo può avvenire attraverso l'autovalutazione con un esempio pratico, revisioni tra pari, misurazioni assistite dall'intelligenza artificiale o feedback di esperti.
Limitazione
Non possiamo accertare la persistenza di queste competenze nel lungo termine, né la loro adattabilità alle mutevoli situazioni lavorative.
Dati
In definitiva, l’obiettivo è avvicinarsi il più possibile alla performance realistica, con strumenti, processi e circostanze autentici, fornendo al contempo un supporto impalcato. Le informazioni sui dati ottenute dal processo e dall'output (idealmente, misurati secondo criteri di valutazione autentici) sono quanto di più vicino possiamo ottenere all'analisi predittiva e al supporto temporaneo personalizzato per il trasferimento.
Tieni presente che i livelli tra 4 e 6 fanno parte del livello 2 di Kirkpatrick: apprendimento. La suddivisione granulare garantisce che i progettisti dell'apprendimento e le PMI possano misurare e valutare l'apprendimento, adattarlo e iterarlo se necessario. Tuttavia, le parti interessate di alto livello non hanno bisogno di questo livello di granularità, quindi riferire su "apprendimento, comportamento e prestazioni" sarebbe più appropriato.
Livello 7: trasferimento
Il trasferimento valuta l'applicazione delle competenze apprese alle attività lavorative. Si distingue tra trasferimento assistito (con supporto) e trasferimento completo (applicazione indipendente).
Fiducia
Possiamo monitorare l'applicazione delle competenze sul posto di lavoro e distinguere tra applicazioni supportate e indipendenti. Questo è molto importante dal punto di vista del supporto manageriale o del coaching, perché gli utenti potrebbero aver bisogno di più manodopera all'inizio per garantire il successo a lungo termine. Ciò è particolarmente vero per i nuovi assunti.
Limitazione
Non possiamo misurare l’impatto olistico di queste competenze su risultati lavorativi più ampi senza ulteriori dati.
Il trasferimento realistico deve essere parte della strategia di progettazione dell'apprendimento. Supporre che il completamento con successo della formazione equivalga a un cambiamento di comportamento e a un’appropriata crescita delle competenze a lungo termine nelle prestazioni è semplicemente un pio desiderio.
Livello 8: Effetti del trasferimento
Gli effetti del trasferimento misurano l’impatto più ampio dell’apprendimento, comprese le conseguenze sull’organizzazione, sulla comunità e oltre. L’analisi deve utilizzare metodi rigorosi per valutare le relazioni causali e gli effetti sia positivi che negativi.
Fiducia
Possiamo identificare e certificare gli impatti più ampi del trasferimento dell’apprendimento, utilizzando metodi analitici robusti e spesso complessi.
Limitazione
È difficile isolare gli effetti della formazione da altre variabili che influenzano questi risultati ad ampio raggio. I progetti di misurazione più efficaci iniziano a ritroso con un chiaro problema aziendale, seguito dal supporto dei KPI delle prestazioni e dei relativi comportamenti di guida, seguito successivamente da un'analisi delle barriere a questi comportamenti, prima ancora di arrivare a parlare di apprendimento, per non parlare di formazione e contenuti.
Conclusione: informazioni utili per misurare l'apprendimento
1. Adotta analisi multilivello
Implementa l'analisi a più livelli per acquisire un quadro completo dell'efficacia dell'apprendimento.
2. Bilanciare gli indicatori anticipatori e ritardati
Utilizzare i primi livelli per gli indicatori anticipatori di coinvolgimento e i livelli successivi per gli indicatori ritardati del trasferimento e dell’impatto dell’apprendimento.
3. Integrare dati qualitativi e quantitativi
Combinare le percezioni soggettive dello studente con misure oggettive di conoscenza e competenza nel compito.
4. Misurare il trasferimento nel tempo
Tieni traccia dell'applicazione delle competenze oltre il periodo immediatamente successivo alla formazione per valutare il trasferimento a lungo termine. Assicurati di tenere traccia anche di quanto il trasferimento è supportato (trasferimento parziale) o non supportato (trasferimento completo).
5. Valutare l'impatto in modo olistico
Utilizza analisi sofisticate per valutare gli effetti più ampi dell'apprendimento, considerando l'impatto organizzativo e sociale. Ad esempio, osserva le dinamiche del team, la velocità di trasferimento o altri segnali di prestazioni a livello di team e cambiamenti nel livello di coinvolgimento, piuttosto che solo le competenze individuali.
6. Sfrutta la tecnologia per analisi avanzate
Impiega piattaforme di analisi dell'apprendimento in grado di misurare e analizzare i dati su tutti i livelli di LTEM. Utilizza l'analisi dei dati in tempo reale per esigenze di apprendimento adattivo o predittive.
7. Comunicare chiaramente l'analisi
Presentare i dati alle parti interessate in un modo che rifletta sia il potenziale che i limiti degli interventi di apprendimento con un impatto sulle prestazioni.
8. Migliorare continuamente le pratiche di analisi
Man mano che gli strumenti e i metodi di analisi si evolvono, dovrebbero evolversi anche le strategie per misurare l’efficacia dell’apprendimento. Se ti senti a tuo agio solo con i dati di apprendimento su cui hai il controllo, inizia da lì ma assicurati di avere ben chiare le limitazioni. Una volta che la tua alfabetizzazione dei dati e le tue capacità analitiche crescono, puoi espandere e iterare per includere confronti pre e post valutazione, analisi della dimensione degli effetti e storie di dati sulla correlazione/causalità tra apprendimento e cambiamento delle prestazioni.
Sul posto di lavoro, l’obiettivo finale raramente è l’apprendimento e/o il trasferimento dell’apprendimento, ecco perché mostrare il valore di L&D inizia con la misurazione delle cose giuste.
