Perspektif
Kirkpatrick Gagal Apabila Kita Menggunakannya Terlalu Lewat.
Penilaian gagal apabila ia menjadi ritual laporan selepas pelancaran. Bukti yang lebih baik bermula semasa masalah, tingkah laku, dan sistem prestasi masih sedang ditakrifkan.
Kebanyakan organisasi tidak mula berfikir secara serius tentang penilaian sehingga pengalaman pembelajaran hampir selesai.
Kursus telah dibina. Tarikh pelancaran semakin hampir. Pihak berkepentingan ingin tahu apa yang akan diukur.
Jadi, pasukan pembelajaran mencapai model Kirkpatrick.
Tahap 1: Adakah orang mendapati pengalaman itu berguna?
Tahap 2: Adakah mereka belajar sesuatu?
Tahap 3: Adakah tingkah laku mereka berubah?
Tahap 4: Adakah organisasi mencapai hasil yang lebih baik?
Rangka kerja ini menyediakan struktur yang biasa, tetapi pada ketika ini, beberapa keputusan penilaian yang paling penting telah pun dibuat. Mereka hanya tidak diakui sebagai keputusan penilaian.
Masalah perniagaan telah ditakrifkan tanpa menetapkan garis dasar. Tingkah laku yang diingini tidak pernah dibuat boleh diperhatikan. Penyelesaian pembelajaran dipilih sebelum halangan prestasi difahami. Organisasi melancarkan kursus tanpa memutuskan bukti apa yang akan menunjukkan bahawa ia benar-benar berfungsi.
Penilaian diharapkan dapat memulihkan apa yang gagal ditakrifkan oleh proses reka bentuk. Ia tidak boleh.
Masalahnya bukan semestinya Kirkpatrick
Kirkpatrick sering dikritik kerana organisasi jarang bergerak melepasi Tahap 1 dan 2. Pasukan pembelajaran mengumpul tinjauan kepuasan, melaporkan kadar penyelesaian, dan kadang-kadang menjalankan pemeriksaan pengetahuan. Perubahan tingkah laku dan hasil perniagaan tetap jauh lebih sukar untuk dibuktikan.
Tetapi masalahnya bukan sekadar pasukan berhenti terlalu awal dalam model.
Masalah yang lebih mendalam adalah mereka mula terlalu lewat.
Anda tidak boleh menunggu sehingga selepas pelancaran untuk memutuskan apa yang kelihatan seperti prestasi yang berjaya. Anda tidak boleh mengukur perubahan tingkah laku jika tingkah laku sasaran tidak pernah ditakrifkan dengan jelas. Anda tidak boleh membuktikan impak perniagaan jika tiada siapa yang menetapkan syarat yang wujud sebelum intervensi pembelajaran.
Pada ketika pelan penilaian dibuat, pasukan mungkin mendapati bahawa mereka tidak mempunyai akses kepada data yang diperlukan, pengurus tidak bersedia untuk memerhatikan tingkah laku, atau metrik perniagaan dipengaruhi oleh beberapa faktor di luar pembelajaran.
Itu bukan masalah pelaporan. Itu adalah masalah reka bentuk.
Penilaian harus bermula sebelum penyelesaian wujud
Penilaian harus bermula apabila permintaan pertama tiba.
Apabila seorang pihak berkepentingan berkata, “Kami memerlukan kursus,” soalan pertama tidak seharusnya tentang kandungan, panjang, atau tarikh penghantaran.
Soalan pertama seharusnya:
Apa yang seharusnya orang lakukan dengan cara yang berbeza sebagai hasilnya?
Soalan itu memulakan proses penilaian kerana ia memaksa pasukan untuk mentakrifkan perubahan prestasi sebelum membina produk pembelajaran.
Dari situ, kita perlu memahami apa yang orang lakukan sekarang, apa yang seharusnya mereka lakukan sebaliknya, apa yang menghalang tingkah laku itu hari ini, bukti apa yang akan menunjukkan bahawa tingkah laku telah berubah, dan hasil organisasi apa yang seharusnya meningkat jika ia berlaku.
Soalan-soalan ini sering dianggap sebagai analisis awal. Mereka juga merupakan asas penilaian.
Analisis, reka bentuk, dan penilaian tidak seharusnya beroperasi sebagai fasa yang berasingan. Mereka adalah pandangan yang berbeza terhadap masalah prestasi yang sama.
Mulakan dengan bukti, kemudian reka bentuk ke belakang
Pendekatan yang lebih kukuh adalah untuk mentakrifkan bukti kejayaan sebelum memutuskan apa yang akan dibina.
Jika pekerja perlu membuat keputusan yang lebih baik, apa yang akan kelihatan seperti keputusan yang lebih baik dalam kerja mereka?
Jika pengurus perlu memberikan maklum balas yang lebih berkesan, tingkah laku boleh diperhatikan apa yang akan menunjukkan peningkatan?
Jika proses baru sepatutnya mengurangkan kesilapan, apakah kadar kesilapan semasa, dan perubahan apa yang akan bermakna?
Setelah bukti jelas, pengalaman pembelajaran boleh direka untuk menghasilkannya.
Aktiviti latihan boleh mencerminkan keputusan yang perlu dibuat oleh orang. Maklum balas boleh menangani alasan di sebalik keputusan tersebut. Sokongan prestasi boleh diletakkan dalam aliran kerja. Pengurus boleh bersedia untuk menguatkan dan memerhatikan tingkah laku baru. Pengumpulan data boleh bermula sebelum pelancaran sebaliknya diadakan secara improvisasi selepas itu.
Prinsip utama
Penilaian berhenti menjadi laporan yang dilampirkan pada akhir projek. Ia menjadi sebahagian daripada seni bina produk.
Penyelesaian bukan bukti prestasi
Salah satu sebab penilaian sering ditangguhkan adalah kerana sistem kita memudahkan pengumpulan data aktiviti.
Kita boleh dengan cepat melaporkan berapa ramai orang yang mendaftar, menyelesaikan kursus, lulus kuiz, atau menilai pengalaman secara positif.
Nombor-nombor itu mungkin memberitahu kita sama ada orang berinteraksi dengan produk pembelajaran. Mereka tidak semestinya memberitahu kita sama ada produk itu meningkatkan prestasi.
Seorang pelajar boleh menamatkan kursus dan terus melakukan kesilapan yang sama. Mereka boleh lulus pemeriksaan pengetahuan dan masih bergelut untuk menerapkan pengetahuan itu di bawah tekanan. Mereka boleh memberikan pengalaman itu lima bintang kerana ia pendek, kemas, dan mudah diselesaikan.
Semua itu tidak membuktikan masalah asal telah diselesaikan.
Ini tidak menjadikan data penyelesaian, kepuasan, atau pengetahuan tidak berguna. Ini bermakna kita perlu berhenti meminta ukuran tersebut untuk membawa makna yang lebih daripada yang sebenarnya mereka pegang.
Pembelajaran tidak beroperasi dengan sendirinya.
Ada satu lagi sebab kita perlu memulakan penilaian lebih awal: pembelajaran hanyalah satu bahagian daripada sistem prestasi.
Orang mungkin tahu apa yang perlu dilakukan dan masih terhalang oleh proses yang membingungkan, alat yang tidak mencukupi, keutamaan yang bersaing, maklum balas yang hilang, atau insentif yang memberi ganjaran kepada tingkah laku yang salah.
Jika syarat-syarat tersebut tidak dikenalpasti semasa analisis, pasukan pembelajaran mungkin akan dipertanggungjawabkan atas hasil yang hanya latihan tidak dapat hasilkan.
Memulakan dengan bukti membantu mendedahkan kebergantungan tersebut.
Ini adalah tingkah laku yang pembelajaran boleh bantu kembangkan. Ini adalah syarat yang organisasi mesti sediakan. Ini adalah bukti yang akan kita periksa bersama.
Itu adalah strategi penilaian yang jauh lebih kredibel daripada melancarkan kursus dan berharap metrik perniagaan meningkat.
Gunakan Kirkpatrick sebagai perbincangan reka bentuk.
Kirkpatrick masih boleh berguna, tetapi kita harus berhenti menganggapnya sebagai tangga yang kita mula panjat selepas pelancaran.
Soalan-soalannya harus mempengaruhi projek dari awal.
Sebelum pembangunan bermula, kita harus sudah memahami hasil organisasi yang kita harap untuk pengaruhi, tingkah laku yang diperlukan untuk menyokong hasil itu, keupayaan yang perlu ditunjukkan oleh orang, dan pengalaman yang diperlukan untuk membantu mereka membina keupayaan tersebut.
Dalam erti kata lain, kita harus berfikir ke belakang.
Bukan kerana setiap inisiatif pembelajaran boleh membuktikan sebab langsung pada Tahap 4. Banyak yang tidak boleh. Hasil perniagaan adalah rumit, dan pembelajaran jarang beroperasi secara terasing.
Tetapi kita boleh mencipta rangkaian bukti yang boleh dipertahankan.
Kita boleh menunjukkan bahawa pengalaman itu membangunkan keupayaan yang relevan. Kita boleh memeriksa sama ada keupayaan itu muncul di tempat kerja. Kita boleh menentukan sama ada tingkah laku itu menyumbang kepada hasil operasi yang bermakna.
Itu jauh lebih kuat daripada membentangkan kadar penyelesaian sebagai bukti kejayaan.
Penilaian bukan langkah terakhir.
Perubahan yang paling penting bukanlah mengadopsi model penilaian baru.
Ia adalah mengubah bila penilaian bermula.
Penilaian bermula apabila kita mendefinisikan masalah. Ia menjadi lebih tepat apabila kita mengenal pasti tingkah laku. Ia menjadi boleh diukur apabila kita menetapkan bukti. Ia menjadi berguna apabila bukti itu membentuk apa yang kita reka.
Jika kita menunggu sehingga pelancaran untuk bertanya bagaimana kita akan menilai kerja itu, kita tidak memulakan penilaian.
Kita sedang cuba membina semula ia.
Dan pada ketika itu, bukti yang kita perlukan mungkin sudah hilang.
Buktikan kerja · Di Dalam The Lab
Rancang bukti sebelum pembangunan bermula.
Tukar hujah menjadi strategi penilaian yang berfungsi sebelum pembangunan bermula. Definisikan masalah prestasi, tingkah laku sasaran, garis dasar, rangkaian bukti, kebergantungan sistem, dan pelan pengukuran dalam satu aliran kerja yang terhubung.
Kekalkan masalah prestasi, tingkah laku sasaran, garis dasar, rangkaian bukti, dan pendekatan pengukuran yang terhubung dengan projek.
- Masalah prestasi.
- Tingkah laku yang boleh diperhatikan.
- Bukti garis dasar.
- Kebergantungan sistem.
- Pengukuran yang kredibel.
Nota sumber
- Donald L. Kirkpatrick dan James D. Kirkpatrick, Menilai Program Latihan: Empat Tahap., edisi ketiga, Berrett-Koehler Publishers, 2006.
- James D. Kirkpatrick dan Wendy Kayser Kirkpatrick, Empat Tahap Penilaian Latihan Kirkpatrick, ATD Press, 2016.
- Robert O. Brinkerhoff, Kaedah Kes Kejayaan: Ketahui Dengan Cepat Apa Yang Berfungsi dan Apa Yang Tidak, Penerbit Berrett-Koehler, 2003.
- Dana Gaines Robinson dan James C. Robinson, Perundingan Prestasi: Panduan Praktikal untuk Profesional HR dan Pembelajaran, edisi kedua, Penerbit Berrett-Koehler, 2008.
Pada asalnya dibincangkan di LinkedIn
Mahu menambah pandangan anda?
Sertai perbincangan tentang memindahkan penilaian ke hulu dan merancang bukti sebelum pelancaran.