Perspectiva
Kirkpatrick falla cuando lo usamos demasiado tarde.
La evaluación falla cuando se convierte en un ritual de informes post-lanzamiento. La mejor evidencia comienza mientras el problema, el comportamiento y el sistema de rendimiento aún se están definiendo.
La mayoría de las organizaciones no comienzan a pensar seriamente en la evaluación hasta que la experiencia de aprendizaje está casi terminada.
El curso ha sido construido. La fecha de lanzamiento se acerca. Los interesados quieren saber qué se medirá.
Así que el equipo de aprendizaje recurre al modelo de Kirkpatrick.
Nivel 1: ¿Las personas encontraron útil la experiencia?
Nivel 2: ¿Aprendieron algo?
Nivel 3: ¿Cambió su comportamiento?
Nivel 4: ¿La organización logró mejores resultados?
El marco proporciona una estructura familiar, pero para este punto, algunas de las decisiones de evaluación más importantes ya se han tomado. Simplemente no se reconocieron como decisiones de evaluación.
El problema empresarial se definió sin establecer una línea base. El comportamiento deseado nunca se hizo observable. La solución de aprendizaje se seleccionó antes de entender las barreras de rendimiento. La organización lanzó un curso sin decidir qué evidencia demostraría que realmente había funcionado.
Se espera que la evaluación recupere lo que el proceso de diseño no logró definir. No puede.
El problema no es necesariamente Kirkpatrick
Kirkpatrick a menudo es criticado porque las organizaciones rara vez avanzan más allá de los Niveles 1 y 2. Los equipos de aprendizaje recopilan encuestas de satisfacción, informan tasas de finalización y, ocasionalmente, administran una prueba de conocimientos. El cambio de comportamiento y los resultados empresariales siguen siendo mucho más difíciles de probar.
Pero el problema no es simplemente que los equipos se detienen demasiado pronto en el modelo.
El problema más profundo es que comienzan demasiado tarde.
No puedes esperar hasta después del lanzamiento para decidir cómo se ve un rendimiento exitoso. No puedes medir el cambio de comportamiento si el comportamiento objetivo nunca se definió claramente. No puedes probar el impacto empresarial si nadie estableció las condiciones que existían antes de la intervención de aprendizaje.
Para cuando se crea el plan de evaluación, el equipo puede descubrir que no tiene acceso a los datos necesarios, que los gerentes no están preparados para observar el comportamiento, o que la métrica empresarial está influenciada por varios factores más allá del aprendizaje.
Esos no son problemas de informes. Son problemas de diseño.
La evaluación debería comenzar antes de que exista la solución
La evaluación debería comenzar cuando llega la solicitud por primera vez.
Cuando un interesado dice: “Necesitamos un curso”, la primera pregunta no debería ser sobre el contenido, la duración o la fecha de entrega.
La primera pregunta debería ser:
¿Qué deberían estar haciendo las personas de manera diferente como resultado?
Esa pregunta inicia el proceso de evaluación porque obliga al equipo a definir el cambio de rendimiento antes de construir el producto de aprendizaje.
A partir de ahí, necesitamos entender qué están haciendo las personas ahora, qué deberían estar haciendo en su lugar, qué está impidiendo ese comportamiento hoy, qué evidencia mostraría que el comportamiento ha cambiado y qué resultado organizacional debería mejorar si lo hace.
Estas preguntas a menudo se tratan como análisis inicial. También son la base de la evaluación.
El análisis, el diseño y la evaluación no deberían operar como fases separadas. Son diferentes visiones del mismo problema de rendimiento.
Comienza con evidencia, luego diseña hacia atrás
Un enfoque más sólido es definir la evidencia de éxito antes de decidir qué construir.
Si los empleados necesitan tomar mejores decisiones, ¿cómo se vería un mejor juicio en su trabajo?
Si los gerentes necesitan proporcionar retroalimentación más efectiva, ¿qué comportamientos observables demostrarían mejora?
Si un nuevo proceso se supone que reduce errores, ¿cuál es la tasa de error actual y qué cambio sería significativo?
Una vez que la evidencia es clara, la experiencia de aprendizaje puede ser diseñada para producirla.
Las actividades de práctica pueden reflejar las decisiones que las personas deben tomar. La retroalimentación puede abordar el razonamiento detrás de esas decisiones. El soporte de rendimiento puede colocarse dentro del flujo de trabajo. Los gerentes pueden estar preparados para reforzar y observar el nuevo comportamiento. La recopilación de datos puede comenzar antes del lanzamiento en lugar de improvisarse después.
Principio clave.
La evaluación deja de ser un informe adjunto al final del proyecto. Se convierte en parte de la arquitectura del producto.
La finalización no es evidencia de rendimiento
Una razón por la que la evaluación a menudo se retrasa es que nuestros sistemas facilitan la recopilación de datos de actividad.
Podemos informar rápidamente cuántas personas se inscribieron, completaron el curso, aprobaron el cuestionario o calificaron la experiencia positivamente.
Esos números pueden decirnos si las personas interactuaron con el producto de aprendizaje. No necesariamente nos dicen si el producto mejoró el rendimiento.
Un aprendiz puede completar un curso y seguir cometiendo los mismos errores. Puede aprobar una evaluación de conocimientos y aún así tener dificultades para aplicar ese conocimiento bajo presión. Puede calificar la experiencia con cinco estrellas porque fue corta, pulida y fácil de completar.
Nada de eso prueba que se haya resuelto el problema original.
Esto no hace que la finalización, la satisfacción o los datos de conocimiento sean inútiles. Significa que necesitamos dejar de pedir a esas medidas que tengan más significado del que realmente tienen.
El aprendizaje no opera por sí solo.
Hay otra razón por la que necesitamos comenzar la evaluación antes: el aprendizaje es solo una parte del sistema de rendimiento.
Las personas pueden saber qué hacer y aún así estar bloqueadas por procesos confusos, herramientas inadecuadas, prioridades en competencia, falta de retroalimentación o incentivos que recompensan el comportamiento incorrecto.
Si esas condiciones no se identifican durante el análisis, el equipo de aprendizaje puede ser considerado responsable de un resultado que la capacitación por sí sola nunca podría producir.
Comenzar con evidencia ayuda a revelar esas dependencias.
Este es el comportamiento que el aprendizaje puede ayudar a desarrollar. Estas son las condiciones que la organización debe proporcionar. Esta es la evidencia que examinaremos juntos.
Esa es una estrategia de evaluación mucho más creíble que lanzar un curso y esperar que una métrica empresarial mejore.
Usa Kirkpatrick como una conversación de diseño.
Kirkpatrick aún puede ser útil, pero deberíamos dejar de tratarlo como una escalera que comenzamos a subir después del lanzamiento.
Sus preguntas deberían influir en el proyecto desde el principio.
Antes de que comience el desarrollo, ya deberíamos entender el resultado organizacional que esperamos influir, el comportamiento requerido para apoyar ese resultado, las capacidades que las personas necesitan demostrar y la experiencia necesaria para ayudarles a construir esas capacidades.
En otras palabras, deberíamos pensar hacia atrás.
No porque cada iniciativa de aprendizaje pueda probar una causalidad directa en el Nivel 4. Muchas no pueden. Los resultados empresariales son complicados y el aprendizaje rara vez opera de forma aislada.
Pero podemos crear una cadena de evidencia defendible.
Podemos mostrar que la experiencia desarrolló una capacidad relevante. Podemos examinar si esa capacidad apareció en el lugar de trabajo. Podemos determinar si el comportamiento contribuyó a un resultado operativo significativo.
Eso es mucho más fuerte que presentar tasas de finalización como prueba de éxito.
La evaluación no es el paso final.
El cambio más importante no es adoptar un nuevo modelo de evaluación.
Es cambiar cuándo comienza la evaluación.
La evaluación comienza cuando definimos el problema. Se vuelve más precisa cuando identificamos el comportamiento. Se vuelve medible cuando establecemos la evidencia. Se vuelve útil cuando esa evidencia da forma a lo que diseñamos.
Si esperamos hasta el lanzamiento para preguntar cómo evaluaremos el trabajo, no estamos comenzando la evaluación.
Estamos tratando de reconstruirla.
Y para entonces, la evidencia que necesitábamos puede que ya se haya ido.
Demuestra el trabajo · Dentro del Lab
Planifica la evidencia antes de que comience el desarrollo.
Convierte el argumento en una estrategia de evaluación funcional antes de que comience el desarrollo. Define el problema de rendimiento, el comportamiento objetivo, la línea base, la cadena de evidencia, las dependencias del sistema y el plan de medición en un flujo de trabajo conectado.
Mantén el problema de rendimiento, el comportamiento objetivo, la línea base, la cadena de evidencia y el enfoque de medición conectados al proyecto.
- El problema de rendimiento.
- Comportamiento observable.
- Evidencia de línea base.
- Dependencias del sistema.
- Medición creíble.
Notas de origen.
- Donald L. Kirkpatrick y James D. Kirkpatrick, Evaluando Programas de Capacitación: Los Cuatro Niveles., tercera edición, Berrett-Koehler Publishers, 2006.
- James D. Kirkpatrick y Wendy Kayser Kirkpatrick, Los Cuatro Niveles de Evaluación de Capacitación de Kirkpatrick, ATD Press, 2016.
- Robert O. Brinkerhoff, El Método de Casos de Éxito: Descubre Rápidamente Qué Funciona y Qué No, Berrett-Koehler Publishers, 2003.
- Dana Gaines Robinson y James C. Robinson, Consultoría de Desempeño: Una Guía Práctica para Profesionales de RRHH y Aprendizaje, segunda edición, Berrett-Koehler Publishers, 2008.
Originalmente discutido en LinkedIn
¿Quieres añadir tu perspectiva?
Únete a la conversación sobre cómo mover la evaluación hacia arriba y diseñar evidencia antes del lanzamiento.