Perspektive
Kirkpatrick scheitert, wenn wir es zu spät verwenden.
Evaluation scheitert, wenn sie zu einem Ritual nach dem Start wird. Bessere Evidenz beginnt, während das Problem, das Verhalten und das Leistungssystem noch definiert werden.
Die meisten Organisationen beginnen erst kurz vor dem Ende der Lernerfahrung ernsthaft über die Evaluation nachzudenken.
Der Kurs wurde erstellt. Das Startdatum rückt näher. Die Stakeholder möchten wissen, was gemessen wird.
Daher greift das Lernteam auf das Kirkpatrick-Modell zurück.
Ebene 1: Fanden die Menschen die Erfahrung nützlich?
Ebene 2: Haben sie etwas gelernt?
Ebene 3: Hat sich ihr Verhalten geändert?
Ebene 4: Hat die Organisation bessere Ergebnisse erzielt?
Der Rahmen bietet eine vertraute Struktur, aber zu diesem Zeitpunkt wurden bereits einige der wichtigsten Evaluationsentscheidungen getroffen. Sie wurden nur nicht als Evaluationsentscheidungen erkannt.
Das Geschäftsproblem wurde definiert, ohne eine Basislinie festzulegen. Das gewünschte Verhalten wurde nie beobachtbar gemacht. Die Lernlösung wurde ausgewählt, bevor die Leistungsbarrieren verstanden wurden. Die Organisation startete einen Kurs, ohne zu entscheiden, welche Beweise zeigen würden, dass er tatsächlich funktioniert hat.
Die Evaluation soll das zurückgewinnen, was der Designprozess nicht definiert hat. Das kann sie nicht.
Das Problem ist nicht unbedingt Kirkpatrick.
Kirkpatrick wird oft kritisiert, weil Organisationen selten über die Ebenen 1 und 2 hinausgehen. Lernteams sammeln Zufriedenheitsumfragen, berichten über Abschlussquoten und führen gelegentlich einen Wissenscheck durch. Verhaltensänderungen und Geschäftsergebnisse sind viel schwerer nachzuweisen.
Aber das Problem ist nicht einfach, dass Teams zu früh im Modell aufhören.
Das tiefere Problem ist, dass sie zu spät anfangen.
Sie können nicht bis nach dem Start warten, um zu entscheiden, wie erfolgreiche Leistung aussieht. Sie können Verhaltensänderungen nicht messen, wenn das Zielverhalten nie klar definiert wurde. Sie können den Geschäftseinfluss nicht nachweisen, wenn niemand die Bedingungen festgelegt hat, die vor der Lernintervention bestanden.
Wenn der Evaluationsplan erstellt wird, könnte das Team feststellen, dass es keinen Zugang zu den notwendigen Daten hat, die Manager nicht bereit sind, das Verhalten zu beobachten, oder die Geschäftsmessgröße von mehreren Faktoren beeinflusst wird, die über das Lernen hinausgehen.
Das sind keine Berichtsprobleme. Das sind Designprobleme.
Evaluation sollte beginnen, bevor die Lösung existiert.
Die Evaluation sollte beginnen, wenn die Anfrage zuerst eintrifft.
Wenn ein Stakeholder sagt: „Wir brauchen einen Kurs“, sollte die erste Frage nicht über den Inhalt, die Länge oder das Lieferdatum sein.
Die erste Frage sollte sein:
Was sollten die Menschen als Ergebnis anders machen?
Diese Frage beginnt den Evaluationsprozess, weil sie das Team zwingt, die Leistungsänderung zu definieren, bevor das Lernprodukt erstellt wird.
Von dort aus müssen wir verstehen, was die Menschen jetzt tun, was sie stattdessen tun sollten, was heute dieses Verhalten verhindert, welche Beweise zeigen würden, dass sich das Verhalten geändert hat, und welches organisatorische Ergebnis sich verbessern sollte, wenn es das tut.
Diese Fragen werden oft als Front-End-Analyse behandelt. Sie sind auch die Grundlage der Evaluation.
Analyse, Design und Evaluation sollten nicht als separate Phasen funktionieren. Sie sind unterschiedliche Ansichten desselben Leistungsproblems.
Beginnen Sie mit Beweisen, dann entwerfen Sie rückwärts.
Ein stärkerer Ansatz besteht darin, die Beweise für den Erfolg zu definieren, bevor entschieden wird, was gebaut werden soll.
Wenn Mitarbeiter bessere Entscheidungen treffen müssen, wie würde besseres Urteilsvermögen in ihrer Arbeit aussehen?
Wenn Manager effektivere Rückmeldungen geben müssen, welche beobachtbaren Verhaltensweisen würden eine Verbesserung zeigen?
Wenn ein neuer Prozess Fehler reduzieren soll, wie hoch ist die aktuelle Fehlerquote und welche Veränderung wäre bedeutend?
Sobald die Beweise klar sind, kann die Lernerfahrung so gestaltet werden, dass sie diese produziert.
Übungsaktivitäten können die Entscheidungen widerspiegeln, die die Menschen treffen müssen. Feedback kann die Überlegungen hinter diesen Entscheidungen ansprechen. Leistungsunterstützung kann in den Arbeitsablauf integriert werden. Manager können darauf vorbereitet werden, das neue Verhalten zu verstärken und zu beobachten. Die Datensammlung kann vor dem Start beginnen, anstatt danach improvisiert zu werden.
Schlüsselprinzip
Evaluation hört auf, ein Bericht zu sein, der am Ende des Projekts angehängt wird. Sie wird Teil der Produktarchitektur.
Abschluss ist kein Beweis für Leistung.
Ein Grund, warum die Evaluation oft verzögert wird, ist, dass unsere Systeme es einfach machen, Aktivitätsdaten zu sammeln.
Wir können schnell berichten, wie viele Menschen sich eingeschrieben haben, den Kurs abgeschlossen haben, das Quiz bestanden haben oder die Erfahrung positiv bewertet haben.
Diese Zahlen können uns sagen, ob die Menschen mit dem Lernprodukt interagiert haben. Sie sagen uns jedoch nicht unbedingt, ob das Produkt die Leistung verbessert hat.
Ein Lernender kann einen Kurs abschließen und weiterhin die gleichen Fehler machen. Er kann einen Wissenscheck bestehen und trotzdem Schwierigkeiten haben, dieses Wissen unter Druck anzuwenden. Er kann die Erfahrung mit fünf Sternen bewerten, weil sie kurz, poliert und leicht abzuschließen war.
Das beweist nicht, dass das ursprüngliche Problem gelöst wurde.
Das macht Abschluss, Zufriedenheit oder Wissensdaten nicht nutzlos. Es bedeutet, dass wir aufhören müssen, diese Maße mit mehr Bedeutung zu belasten, als sie tatsächlich haben.
Lernen funktioniert nicht von selbst.
Es gibt einen weiteren Grund, warum wir die Bewertung früher beginnen müssen: Lernen ist nur ein Teil des Leistungssystems.
Menschen wissen möglicherweise, was zu tun ist, und sind dennoch durch verwirrende Prozesse, unzureichende Werkzeuge, konkurrierende Prioritäten, fehlendes Feedback oder Anreize, die das falsche Verhalten belohnen, blockiert.
Wenn diese Bedingungen während der Analyse nicht identifiziert werden, könnte das Lernteam für ein Ergebnis verantwortlich gemacht werden, das allein durch Training niemals erzielt werden könnte.
Mit Beweisen zu beginnen hilft, diese Abhängigkeiten offenzulegen.
Das ist das Verhalten, das Lernen entwickeln kann. Das sind die Bedingungen, die die Organisation bereitstellen muss. Das sind die Beweise, die wir gemeinsam untersuchen werden.
Das ist eine viel glaubwürdigere Bewertungsstrategie, als einen Kurs zu starten und zu hoffen, dass sich eine Geschäftskennzahl verbessert.
Verwenden Sie Kirkpatrick als Designgespräch.
Kirkpatrick kann weiterhin nützlich sein, aber wir sollten aufhören, es als Treppe zu behandeln, die wir nach dem Start hinaufsteigen.
Seine Fragen sollten das Projekt von Anfang an beeinflussen.
Bevor die Entwicklung beginnt, sollten wir bereits verstehen, welches organisatorische Ergebnis wir beeinflussen möchten, welches Verhalten erforderlich ist, um dieses Ergebnis zu unterstützen, welche Fähigkeiten die Menschen demonstrieren müssen und welche Erfahrung notwendig ist, um ihnen zu helfen, diese Fähigkeiten aufzubauen.
Mit anderen Worten, wir sollten rückwärts denken.
Nicht, weil jede Lerninitiative eine direkte Kausalität auf Ebene 4 nachweisen kann. Viele können das nicht. Geschäftsergebnisse sind kompliziert, und Lernen funktioniert selten isoliert.
Aber wir können eine verteidigbare Beweiskette erstellen.
Wir können zeigen, dass die Erfahrung eine relevante Fähigkeit entwickelt hat. Wir können untersuchen, ob diese Fähigkeit am Arbeitsplatz aufgetreten ist. Wir können feststellen, ob das Verhalten zu einem bedeutenden operationellen Ergebnis beigetragen hat.
Das ist weit stärker, als Abschlussquoten als Beweis für den Erfolg zu präsentieren.
Bewertung ist nicht der letzte Schritt.
Der wichtigste Wandel besteht nicht darin, ein neues Bewertungsmodell zu übernehmen.
Es geht darum, wann die Bewertung beginnt.
Die Bewertung beginnt, wenn wir das Problem definieren. Sie wird präziser, wenn wir das Verhalten identifizieren. Sie wird messbar, wenn wir die Beweise festlegen. Sie wird nützlich, wenn diese Beweise das, was wir entwerfen, beeinflussen.
Wenn wir bis zum Start warten, um zu fragen, wie wir die Arbeit bewerten werden, beginnen wir nicht mit der Bewertung.
Wir versuchen, sie zu rekonstruieren.
Und bis dahin könnten die Beweise, die wir benötigten, bereits verschwunden sein.
Beweisen Sie die Arbeit · Inside The Lab
Planen Sie die Beweise, bevor die Entwicklung beginnt.
Verwandeln Sie das Argument in eine funktionierende Bewertungsstrategie, bevor die Entwicklung beginnt. Definieren Sie das Leistungsproblem, das Zielverhalten, die Basislinie, die Beweiskette, die Systemabhängigkeiten und den Messplan in einem verbundenen Workflow.
Halten Sie das Leistungsproblem, das Zielverhalten, die Basislinie, die Beweiskette und den Messansatz mit dem Projekt verbunden.
- Das Leistungsproblem.
- Beobachtbares Verhalten.
- Basislinienbeweise.
- Systemabhängigkeiten.
- Glaubwürdige Messung.
Quellenhinweise
- Donald L. Kirkpatrick und James D. Kirkpatrick, Evaluating Training Programs: The Four Levels., dritte Auflage, Berrett-Koehler Publishers, 2006.
- James D. Kirkpatrick und Wendy Kayser Kirkpatrick, Kirkpatricks vier Ebenen der Ausbildungsevaluation, ATD Press, 2016.
- Robert O. Brinkerhoff, Die Success Case Methode: Finden Sie schnell heraus, was funktioniert und was nicht, Berrett-Koehler Publishers, 2003.
- Dana Gaines Robinson und James C. Robinson, Performance Consulting: Ein praktischer Leitfaden für HR- und Lernprofis, zweite Auflage, Berrett-Koehler Publishers, 2008.
Ursprünglich auf LinkedIn diskutiert
Möchten Sie Ihre Meinung hinzufügen?
Beteiligen Sie sich an der Diskussion über die Verlagerung der Evaluation nach oben und das Entwerfen von Beweisen vor dem Start.