Perspectiva
Kirkpatrick Falha Quando Usamos Tarde Demais.
A avaliação falha quando se torna um ritual de relatório pós-lançamento. Melhor evidência começa enquanto o problema, comportamento e sistema de desempenho ainda estão sendo definidos.
A maioria das organizações não começa a pensar seriamente sobre avaliação até que a experiência de aprendizado esteja quase concluída.
O curso foi construído. A data de lançamento está se aproximando. Os stakeholders querem saber o que será medido.
Então, a equipe de aprendizado recorre ao modelo de Kirkpatrick.
Nível 1: As pessoas acharam a experiência útil?
Nível 2: Elas aprenderam algo?
Nível 3: O comportamento delas mudou?
Nível 4: A organização obteve melhores resultados?
O framework fornece uma estrutura familiar, mas, a essa altura, algumas das decisões de avaliação mais importantes já foram tomadas. Elas simplesmente não foram reconhecidas como decisões de avaliação.
O problema de negócios foi definido sem estabelecer uma linha de base. O comportamento desejado nunca foi tornado observável. A solução de aprendizado foi selecionada antes que as barreiras de desempenho fossem compreendidas. A organização lançou um curso sem decidir quais evidências demonstrariam que realmente funcionou.
Espera-se que a avaliação recupere o que o processo de design falhou em definir. Não pode.
O problema não é necessariamente o Kirkpatrick
O Kirkpatrick é frequentemente criticado porque as organizações raramente avançam além dos Níveis 1 e 2. As equipes de aprendizado coletam pesquisas de satisfação, relatam taxas de conclusão e ocasionalmente aplicam um teste de conhecimento. A mudança de comportamento e os resultados de negócios continuam muito mais difíceis de provar.
Mas o problema não é simplesmente que as equipes param muito cedo no modelo.
O problema mais profundo é que elas começam muito tarde.
Você não pode esperar até depois do lançamento para decidir como é o desempenho bem-sucedido. Você não pode medir a mudança de comportamento se o comportamento-alvo nunca foi claramente definido. Você não pode provar o impacto nos negócios se ninguém estabeleceu as condições que existiam antes da intervenção de aprendizado.
Quando o plano de avaliação é criado, a equipe pode descobrir que não tem acesso aos dados necessários, que os gerentes não estão preparados para observar o comportamento ou que a métrica de negócios é influenciada por vários fatores além do aprendizado.
Esses não são problemas de relatório. São problemas de design.
A avaliação deve começar antes que a solução exista
A avaliação deve começar quando o pedido chega pela primeira vez.
Quando um stakeholder diz: “Precisamos de um curso”, a primeira pergunta não deve ser sobre o conteúdo, a duração ou a data de entrega.
A primeira pergunta deve ser:
O que as pessoas devem estar fazendo de forma diferente como resultado?
Essa pergunta inicia o processo de avaliação porque força a equipe a definir a mudança de desempenho antes de construir o produto de aprendizado.
A partir daí, precisamos entender o que as pessoas estão fazendo agora, o que deveriam estar fazendo em vez disso, o que está impedindo esse comportamento hoje, quais evidências mostrariam que o comportamento mudou e qual resultado organizacional deve melhorar se isso acontecer.
Essas perguntas são frequentemente tratadas como análise de front-end. Elas também são a base da avaliação.
Análise, design e avaliação não devem operar como fases separadas. Elas são diferentes visões do mesmo problema de desempenho.
Comece com evidências, depois projete para trás
Uma abordagem mais forte é definir a evidência de sucesso antes de decidir o que construir.
Se os funcionários precisam tomar decisões melhores, como seria uma melhor decisão no trabalho deles?
Se os gerentes precisam fornecer feedback mais eficaz, quais comportamentos observáveis demonstrariam melhoria?
Se um novo processo deve reduzir erros, qual é a taxa de erro atual e que mudança seria significativa?
Uma vez que a evidência esteja clara, a experiência de aprendizado pode ser projetada para produzi-la.
As atividades práticas podem espelhar as decisões que as pessoas devem tomar. O feedback pode abordar o raciocínio por trás dessas decisões. O suporte ao desempenho pode ser colocado dentro do fluxo de trabalho. Os gerentes podem estar preparados para reforçar e observar o novo comportamento. A coleta de dados pode começar antes do lançamento, em vez de ser improvisada depois.
Princípio chave
A avaliação deixa de ser um relatório anexado ao final do projeto. Ela se torna parte da arquitetura do produto.
A conclusão não é evidência de desempenho
Uma razão pela qual a avaliação é frequentemente adiada é que nossos sistemas tornam os dados de atividade fáceis de coletar.
Podemos relatar rapidamente quantas pessoas se inscreveram, concluíram o curso, passaram no quiz ou avaliaram a experiência positivamente.
Esses números podem nos dizer se as pessoas interagiram com o produto de aprendizado. Eles não nos dizem necessariamente se o produto melhorou o desempenho.
Um aprendiz pode concluir um curso e continuar cometendo os mesmos erros. Ele pode passar em uma verificação de conhecimento e ainda assim ter dificuldades para aplicar esse conhecimento sob pressão. Ele pode dar cinco estrelas à experiência porque foi curta, polida e fácil de completar.
Nada disso prova que o problema original foi resolvido.
Isso não torna os dados de conclusão, satisfação ou conhecimento inúteis. Significa que precisamos parar de pedir a essas medidas que carreguem mais significado do que realmente têm.
A aprendizagem não opera sozinha.
Há outra razão pela qual precisamos começar a avaliação mais cedo: a aprendizagem é apenas uma parte do sistema de desempenho.
As pessoas podem saber o que fazer e ainda assim estar bloqueadas por processos confusos, ferramentas inadequadas, prioridades concorrentes, feedback ausente ou incentivos que recompensam o comportamento errado.
Se essas condições não forem identificadas durante a análise, a equipe de aprendizagem pode ser responsabilizada por um resultado que o treinamento sozinho nunca poderia produzir.
Começar com evidências ajuda a revelar essas dependências.
Esse é o comportamento que a aprendizagem pode ajudar a desenvolver. Essas são as condições que a organização deve fornecer. Essas são as evidências que examinaremos juntos.
Essa é uma estratégia de avaliação muito mais credível do que lançar um curso e esperar que um indicador de negócios melhore.
Use Kirkpatrick como uma conversa de design.
Kirkpatrick ainda pode ser útil, mas devemos parar de tratá-lo como uma escada que começamos a subir após o lançamento.
Suas perguntas devem influenciar o projeto desde o início.
Antes que o desenvolvimento comece, já devemos entender o resultado organizacional que esperamos influenciar, o comportamento necessário para apoiar esse resultado, as capacidades que as pessoas precisam demonstrar e a experiência necessária para ajudá-las a construir essas capacidades.
Em outras palavras, devemos pensar de trás para frente.
Não porque toda iniciativa de aprendizagem pode provar causalidade direta no Nível 4. Muitas não podem. Os resultados de negócios são complicados e a aprendizagem raramente opera isoladamente.
Mas podemos criar uma cadeia de evidências defensável.
Podemos mostrar que a experiência desenvolveu uma capacidade relevante. Podemos examinar se essa capacidade apareceu no local de trabalho. Podemos determinar se o comportamento contribuiu para um resultado operacional significativo.
Isso é muito mais forte do que apresentar taxas de conclusão como prova de sucesso.
A avaliação não é o passo final.
A mudança mais importante não é adotar um novo modelo de avaliação.
É mudar quando a avaliação começa.
A avaliação começa quando definimos o problema. Ela se torna mais precisa quando identificamos o comportamento. Ela se torna mensurável quando estabelecemos as evidências. Ela se torna útil quando essas evidências moldam o que projetamos.
Se esperarmos até o lançamento para perguntar como avaliaremos o trabalho, não estamos começando a avaliação.
Estamos tentando reconstruí-la.
E, nesse ponto, as evidências de que precisávamos podem já ter desaparecido.
Prove o trabalho · Dentro do Lab
Planeje as evidências antes que o desenvolvimento comece.
Transforme o argumento em uma estratégia de avaliação funcional antes que o desenvolvimento comece. Defina o problema de desempenho, o comportamento-alvo, a linha de base, a cadeia de evidências, as dependências do sistema e o plano de medição em um fluxo de trabalho conectado.
Mantenha o problema de desempenho, o comportamento-alvo, a linha de base, a cadeia de evidências e a abordagem de medição conectados ao projeto.
- O problema de desempenho
- Comportamento observável
- Evidência de linha de base
- Dependências do sistema
- Medição credível
Notas de fonte
- Donald L. Kirkpatrick e James D. Kirkpatrick, Avaliando Programas de Treinamento: Os Quatro Níveis, terceira edição, Berrett-Koehler Publishers, 2006.
- James D. Kirkpatrick e Wendy Kayser Kirkpatrick, Os Quatro Níveis de Avaliação de Treinamento de Kirkpatrick, ATD Press, 2016.
- Robert O. Brinkerhoff, O Método do Caso de Sucesso: Descubra Rápido o Que Está Funcionando e o Que Não, Berrett-Koehler Publishers, 2003.
- Dana Gaines Robinson e James C. Robinson, Consultoria de Desempenho: Um Guia Prático para Profissionais de RH e Aprendizagem, segunda edição, Berrett-Koehler Publishers, 2008.
Originalmente discutido no LinkedIn
Quer adicionar sua opinião?
Participe da conversa sobre como levar a avaliação para cima e projetar evidências antes do lançamento.