Articoli e approfondimenti su Formazione, Crescita personale e professionale, Coaching...
Sondaggi pratici sull'apprendimento: falli contare!
Pubblicato il: 09/07/2024Pregiudizi comuni nei sondaggi sull’apprendimento di livello 1
Nell'apprendimento sul posto di lavoro, la valutazione di livello 1 di L&D, spesso nota come "reazione" o "foglio del sorriso", è uno degli strumenti più comuni per misurare il successo. I numeri di soddisfazione e i punteggi NPS possono essere ottenuti facilmente tramite un sondaggio LMS automatizzato. E i numeri sembrano buoni, quindi abbiamo fatto il nostro lavoro! Giusto?
Questo articolo non si concentra sul fatto che i risultati del foglio del sorriso siano buoni indicatori di applicazione e impatto sul lavoro (suggerimento: per lo più no), ma esplora piuttosto le complessità della scrittura di sondaggi di livello 1 affidabili, preziosi e pratici. Tuttavia, se sei interessato al motivo per cui l'NPS potrebbe non essere la metrica migliore per l'apprendimento,
consulta questo articolo sui Net Promoter Scores e sulle valutazioni di livello uno che esplora la validità di costrutto ("Stai misurando ciò che pensi di misurare?") e la capacità predittiva validità ("Sta prevedendo qualche comportamento desiderato?") nel contesto dell'apprendimento.
Suggerimento 1: inizia con il perché!
Perché stai facendo il sondaggio sull'apprendimento? Questa non è una domanda retorica. Davvero: qual è il tuo obiettivo con il sondaggio? Hai bisogno di una pacca sulla spalla per aver fatto bene? Vuoi convalidare o rifiutare la tua ipotesi su cosa funziona? Hai solo bisogno di aumentare il tasso di risposta? Vuoi monitorare le prestazioni del corso o del programma solo per i grandi disastri? Sei disposto a intraprendere qualsiasi azione basata sui tuoi dati? Stai segnalando ciò che è successo o indagando sul perché è successo? Stai fornendo indicazioni predittive su cosa potrebbe accadere?
Nessuna risposta giusta o sbagliata. Solo risposte.
Non esistono risposte giuste o sbagliate, ma è necessario avere ben chiaro lo scopo dell'indagine prima di progettare lo strumento.
Chi è il pubblico del sondaggio?
Uno dei malintesi che ho riscontrato nel settore è che i sondaggi di livello 1 siano destinati a progettisti e facilitatori dell'apprendimento. E ti chiedi perché il tasso di risposta è basso? Stai dicendo ai dipendenti di lavorare per te (ad esempio creando dati per te) oltre a completare un corso o un programma mentre sono anche impegnati a svolgere il loro lavoro? Cosa ci guadagnano? Immagina che qualcuno compili questi moduli, comprese le risposte in testo aperto, per mesi o anni e non veda alcun cambiamento. Non. Uno. Cosa. Diverso. O forse diverso, ma non avrebbero mai saputo che si basava sul feedback. Che senso ha fornire loro un feedback?
Se vuoi migliorare il tuo tasso di risposta, puoi renderlo obbligatorio (sconsiglio vivamente di farlo), oppure puoi far capire al tuo pubblico il valore di fornire feedback. Come lo faresti?
Pensa ai sondaggi come a un dialogo piuttosto che a una raccolta di dati.
Le persone sono interessate a sapere se le loro opinioni corrispondono a quelle degli altri. Le persone sono interessate all’impatto che hanno le loro opinioni. Le persone fanno ciò che la leadership considera prezioso e prioritario. Condividere con i leader le lezioni apprese dai sondaggi. Ne parleremo più avanti, perché le informazioni dettagliate sui dati che ottieni dai tradizionali fogli del sorriso sono spesso in fondo all'elenco degli interessi dei leader aziendali.
Suggerimento 2: mitigare i pregiudizi comuni
Dicevo "evitare" i pregiudizi comuni, ma ho imparato che le parole contano. Quando i professionisti dell'apprendimento tentano di evitare questi pregiudizi nelle loro indagini e non ci riescono, potrebbero tornare alle vecchie modalità. È tutto o niente, giusto? Inizia in piccolo, pensa in grande. Progredisci sempre rispetto alla perfezione!
Insidie comuni nella progettazione e implementazione dell'indagine
Bias di sopravvivenza
Si tratta di un tipo di bias di selezione in cui verranno ascoltati solo gli utenti selezionati (coloro che sono sopravvissuti al processo di selezione), distorcendo quindi i dati.
Ad esempio, stai inviando sondaggi solo a coloro che hanno completato il corso o il programma? Non ti piacerebbe sapere perché gli altri hanno abbandonato?
Domande ambigue
Uno dei problemi più frequenti nella progettazione di un’indagine è l’ambiguità. Domande troppo ampie o vaghe possono portare a risposte incoerenti. Ricorda, i partecipanti non leggono la tua mente. Leggono solo il tuo testo. La loro interpretazione delle parole in una domanda potrebbe essere diversa da quella prevista. Ad esempio:
Problema: "Quanto sei soddisfatto del contenuto?"
Motivo: cos'è il contenuto? Quando ho posto questa domanda su LinkedIn, ho ricevuto risposte su cosa è incluso nel corso (argomenti), cosa c'è sullo schermo come testo, l'intera esperienza di apprendimento, ecc. Se il tuo pubblico può facilmente interpretare male la domanda, come interpreti la loro? risposte?
Domande tendenziose
Le domande che portano gli intervistati verso una risposta particolare possono distorcere i risultati. Questo vale anche per le affermazioni in cui si chiede il livello di accordo. Per esempio:
Problema: "Quanto è stata utile la sessione di formazione altamente istruttiva?"
Motivo: stai guidando i testimoni preparandoli con "altamente informativi"!
Domande a doppia canna
Queste domande pongono domande su due cose diverse contemporaneamente, confondendo gli intervistati. Queste domande spesso indicano la mancanza di una definizione chiara per ciascun componente. Ad esempio:
Problema: "La formazione è stata coinvolgente e pertinente?" oppure "Come valuteresti la tua motivazione e il tuo impegno dopo la formazione?"
Problema: non puoi essere sicuro del significato delle risposte dei partecipanti. Possono interpretarli come uno dei due componenti o entrambi. Qualcosa potrebbe essere coinvolgente ma non rilevante, oppure fornire molta conoscenza ma nessuna abilità.
Distorsioni della risposta
Ciò include tendenze come il pregiudizio di acquiescenza, per cui gli intervistati possono essere d’accordo con le affermazioni indipendentemente dai loro veri sentimenti, e il pregiudizio di desiderabilità sociale, per cui rispondono in un modo che credono sia socialmente più accettabile.
Mescola: le persone hanno la tendenza a essere d'accordo con le tue affermazioni positive. Un modo per affrontare questo problema è introdurre un’affermazione o una domanda formulata negativamente. Tuttavia, usalo con parsimonia, preferibilmente all'inizio del sondaggio. Ciò può indurre gli intervistati a prestare maggiore attenzione alle domande del sondaggio durante tutto il corso.
Alcuni dei bias sono specifici del tipo di domanda della scala Likert, come la selezione di valori estremi o la selezione continua di valori neutri. Fornisci una risposta "Non lo so" o "Non applicabile" per evitare di distorcere i tuoi dati verso una posizione neutrale.
Opzioni di risposta inadeguate
Fornire una gamma limitata di risposte può limitare l'utilità dei dati o può portare a informazioni errate se utilizzati come unico punto dati per il processo decisionale. Ad esempio:
Problema: "Hai trovato utile la formazione? (Sì/No)"
Motivo: non perseguibile. Se dicono "sì", allora siamo soddisfatti del nostro risultato? Non avrebbe importanza quanto fosse utile? Se dicono "no", allora cosa? Abbandoniamo la formazione?
Ancora una volta, queste domande dovrebbero essere usate insieme ad altre domande. Tuttavia, usali con parsimonia perché più lungo è il sondaggio, meno probabilità avrà il tuo pubblico di completarlo.
Dilemma su scala Likert
Adoriamo la scala Likert perché produce un numero. Possiamo confrontare e contrapporre le metriche. Tuttavia, fai attenzione agli "effetti collaterali" della scala Likert. Ad esempio, "Fowler (1995) ha anche notato che è più probabile che gli intervistati utilizzino le classifiche sul lato sinistro di un continuum, indipendentemente dal fatto che il continuum stia diminuendo o aumentando da sinistra a destra".
Un altro problema della scala Likert è l'etichettatura delle opzioni con parole (fortemente d'accordo, d'accordo, ecc.). Poiché ogni etichetta ha parole diverse, è difficile per l’intervistato trattarle come un continuum. La distanza tra fortemente in disaccordo e in disaccordo può essere diversa dalla distanza tra in disaccordo e d’accordo. Se devi utilizzare la scala Likert, etichetta solo le estremità della scala. Domande ben progettate produrranno una distribuzione normale.
Suggerimento 3: struttura del sondaggio sull'apprendimento
Pregiudizi per gli argomenti
Le persone tendono a rispondere in modo simile alle domande che pensano siano correlate tra loro. Se hai domande raggruppate per argomenti, confondi l'ordine delle domande o, come minimo, non etichettare o indicare le domande come parte di un gruppo. Tipi simili di domande su una pagina (soprattutto quando ce ne sono molte su una pagina a scorrimento) possono causare "affaticamento da sondaggio". Mescola i tipi e la struttura.
