Perspective
Kirkpatrick échoue lorsque nous l'utilisons trop tard.
L'évaluation échoue lorsqu'elle devient un rituel de reporting post-lancement. De meilleures preuves commencent pendant que le problème, le comportement et le système de performance sont encore en cours de définition.
La plupart des organisations ne commencent pas à réfléchir sérieusement à l'évaluation avant que l'expérience d'apprentissage ne soit presque terminée.
Le cours a été construit. La date de lancement approche. Les parties prenantes veulent savoir ce qui sera mesuré.
Alors l'équipe d'apprentissage se tourne vers le modèle de Kirkpatrick.
Niveau 1 : Les gens ont-ils trouvé l'expérience utile ?
Niveau 2 : Ont-ils appris quelque chose ?
Niveau 3 : Leur comportement a-t-il changé ?
Niveau 4 : L'organisation a-t-elle obtenu de meilleurs résultats ?
Le cadre fournit une structure familière, mais à ce stade, certaines des décisions d'évaluation les plus importantes ont déjà été prises. Elles n'ont tout simplement pas été reconnues comme des décisions d'évaluation.
Le problème commercial a été défini sans établir une base de référence. Le comportement souhaité n'a jamais été rendu observable. La solution d'apprentissage a été choisie avant que les barrières de performance ne soient comprises. L'organisation a lancé un cours sans décider quelles preuves démontreraient qu'il avait réellement fonctionné.
On s'attend à ce que l'évaluation récupère ce que le processus de conception n'a pas réussi à définir. Elle ne le peut pas.
Le problème n'est pas nécessairement Kirkpatrick
Kirkpatrick est souvent critiqué parce que les organisations ne vont que rarement au-delà des niveaux 1 et 2. Les équipes d'apprentissage collectent des enquêtes de satisfaction, rapportent des taux de complétion et administrent parfois un contrôle des connaissances. Le changement de comportement et les résultats commerciaux restent beaucoup plus difficiles à prouver.
Mais le problème n'est pas simplement que les équipes s'arrêtent trop tôt dans le modèle.
Le problème plus profond est qu'elles commencent trop tard.
Vous ne pouvez pas attendre après le lancement pour décider à quoi ressemble une performance réussie. Vous ne pouvez pas mesurer le changement de comportement si le comportement cible n'a jamais été clairement défini. Vous ne pouvez pas prouver l'impact commercial si personne n'a établi les conditions qui existaient avant l'intervention d'apprentissage.
Au moment où le plan d'évaluation est créé, l'équipe peut découvrir qu'elle n'a pas accès aux données nécessaires, que les managers ne sont pas préparés à observer le comportement, ou que la métrique commerciale est influencée par plusieurs facteurs au-delà de l'apprentissage.
Ce ne sont pas des problèmes de rapport. Ce sont des problèmes de conception.
L'évaluation devrait commencer avant que la solution n'existe
L'évaluation devrait commencer lorsque la demande arrive pour la première fois.
Quand une partie prenante dit : « Nous avons besoin d'un cours », la première question ne devrait pas porter sur le contenu, la durée ou la date de livraison.
La première question devrait être :
Que devraient faire les gens différemment en conséquence ?
Cette question commence le processus d'évaluation car elle oblige l'équipe à définir le changement de performance avant de construire le produit d'apprentissage.
À partir de là, nous devons comprendre ce que les gens font maintenant, ce qu'ils devraient faire à la place, ce qui empêche ce comportement aujourd'hui, quelles preuves montreraient que le comportement a changé, et quel résultat organisationnel devrait s'améliorer si c'est le cas.
Ces questions sont souvent considérées comme une analyse en amont. Elles sont aussi la base de l'évaluation.
L'analyse, la conception et l'évaluation ne devraient pas fonctionner comme des phases séparées. Ce sont différentes perspectives du même problème de performance.
Commencez par des preuves, puis concevez à rebours
Une approche plus solide consiste à définir les preuves de succès avant de décider quoi construire.
Si les employés doivent prendre de meilleures décisions, à quoi ressemblerait un meilleur jugement dans leur travail ?
Si les managers doivent fournir des retours plus efficaces, quels comportements observables montreraient une amélioration ?
Si un nouveau processus est censé réduire les erreurs, quel est le taux d'erreur actuel, et quel changement serait significatif ?
Une fois que les preuves sont claires, l'expérience d'apprentissage peut être conçue pour les produire.
Les activités pratiques peuvent refléter les décisions que les gens doivent prendre. Les retours peuvent aborder le raisonnement derrière ces décisions. Le soutien à la performance peut être intégré dans le flux de travail. Les managers peuvent être préparés à renforcer et à observer le nouveau comportement. La collecte de données peut commencer avant le lancement au lieu d'être improvisée par la suite.
Principe clé
L'évaluation cesse d'être un rapport attaché à la fin du projet. Elle devient partie intégrante de l'architecture du produit.
L'achèvement n'est pas une preuve de performance
Une des raisons pour lesquelles l'évaluation est souvent retardée est que nos systèmes rendent les données d'activité faciles à collecter.
Nous pouvons rapidement rapporter combien de personnes se sont inscrites, ont terminé le cours, ont réussi le quiz, ou ont évalué l'expérience positivement.
Ces chiffres peuvent nous dire si les gens ont interagi avec le produit d'apprentissage. Ils ne nous disent pas nécessairement si le produit a amélioré la performance.
Un apprenant peut terminer un cours et continuer à faire les mêmes erreurs. Il peut réussir un contrôle de connaissances et avoir du mal à appliquer ce savoir sous pression. Il peut donner à l'expérience cinq étoiles parce qu'elle était courte, soignée et facile à compléter.
Rien de tout cela ne prouve que le problème initial a été résolu.
Cela ne rend pas les données de complétion, de satisfaction ou de connaissance inutiles. Cela signifie que nous devons cesser de demander à ces mesures de porter plus de sens qu'elles n'en ont réellement.
L'apprentissage ne fonctionne pas tout seul.
Il y a une autre raison pour laquelle nous devons commencer l'évaluation plus tôt : l'apprentissage n'est qu'une partie du système de performance.
Les gens peuvent savoir quoi faire et être bloqués par des processus confus, des outils inadéquats, des priorités concurrentes, un retour d'information manquant ou des incitations qui récompensent le mauvais comportement.
Si ces conditions ne sont pas identifiées lors de l'analyse, l'équipe d'apprentissage peut être tenue responsable d'un résultat que la formation seule ne pourrait jamais produire.
Commencer par des preuves aide à révéler ces dépendances.
Voici le comportement que l'apprentissage peut aider à développer. Voici les conditions que l'organisation doit fournir. Voici les preuves que nous examinerons ensemble.
C'est une stratégie d'évaluation beaucoup plus crédible que de lancer un cours et d'espérer qu'un indicateur commercial s'améliore.
Utilisez Kirkpatrick comme une conversation de conception.
Kirkpatrick peut encore être utile, mais nous devrions cesser de le traiter comme un escalier que nous commençons à gravir après le lancement.
Ses questions devraient influencer le projet dès le début.
Avant que le développement ne commence, nous devrions déjà comprendre le résultat organisationnel que nous espérons influencer, le comportement nécessaire pour soutenir ce résultat, les capacités que les gens doivent démontrer et l'expérience nécessaire pour les aider à développer ces capacités.
En d'autres termes, nous devrions penser à rebours.
Pas parce que chaque initiative d'apprentissage peut prouver une causalité directe au Niveau 4. Beaucoup ne le peuvent pas. Les résultats commerciaux sont compliqués, et l'apprentissage fonctionne rarement en isolation.
Mais nous pouvons créer une chaîne de preuves défendable.
Nous pouvons montrer que l'expérience a développé une capacité pertinente. Nous pouvons examiner si cette capacité est apparue sur le lieu de travail. Nous pouvons déterminer si le comportement a contribué à un résultat opérationnel significatif.
C'est bien plus fort que de présenter les taux de complétion comme preuve de succès.
L'évaluation n'est pas la dernière étape.
Le changement le plus important n'est pas d'adopter un nouveau modèle d'évaluation.
C'est de changer le moment où l'évaluation commence.
L'évaluation commence lorsque nous définissons le problème. Elle devient plus précise lorsque nous identifions le comportement. Elle devient mesurable lorsque nous établissons les preuves. Elle devient utile lorsque ces preuves façonnent ce que nous concevons.
Si nous attendons le lancement pour demander comment nous allons évaluer le travail, nous ne commençons pas l'évaluation.
Nous essayons de la reconstruire.
Et d'ici là, les preuves dont nous avions besoin peuvent déjà avoir disparu.
Prouvez le travail · À l'intérieur du Lab
Planifiez les preuves avant le début du développement.
Transformez l'argument en une stratégie d'évaluation opérationnelle avant le début du développement. Définissez le problème de performance, le comportement cible, la ligne de base, la chaîne de preuves, les dépendances du système et le plan de mesure dans un flux de travail connecté.
Gardez le problème de performance, le comportement cible, la ligne de base, la chaîne de preuves et l'approche de mesure connectés au projet.
- Le problème de performance
- Comportement observable
- Preuves de base
- Dépendances du système
- Mesure crédible
Notes de source
- Donald L. Kirkpatrick et James D. Kirkpatrick, Évaluer les programmes de formation : Les quatre niveaux, troisième édition, Berrett-Koehler Publishers, 2006.
- James D. Kirkpatrick et Wendy Kayser Kirkpatrick, Les quatre niveaux d'évaluation de la formation de Kirkpatrick, ATD Press, 2016.
- Robert O. Brinkerhoff, La méthode des cas de succès : découvrez rapidement ce qui fonctionne et ce qui ne fonctionne pas, Éditions Berrett-Koehler, 2003.
- Dana Gaines Robinson et James C. Robinson, Conseil en performance : un guide pratique pour les professionnels des RH et de l'apprentissage, deuxième édition, Éditions Berrett-Koehler, 2008.
Discuté à l'origine sur LinkedIn
Vous voulez donner votre avis ?
Participez à la conversation sur le fait de déplacer l'évaluation en amont et de concevoir des preuves avant le lancement.