stdsquare²
🎓 Kelas
stdsquare / materi / slides / pertemuan-13
Tema
Japan
Arcade
Dark Retro
Font
‹ Daftar slide Pertemuan 13: Praktik Evaluasi Program: Kirkpatrick Level 1 dan Level 2
RPS minggu 14-15 · 2x50 menit

Praktik Evaluasi Program: Kirkpatrick Level 1 dan Level 2

Mengukur reaksi peserta dan hasil belajar dari program pelatihan

Pertemuan 13 · Mata Kuliah Manajemen Pelatihan dan Pengembangan · Program Studi Manajemen FEB UNDIP

Bagian I dari III
Model Evaluasi Kirkpatrick: Peta Empat Level

Memahami di mana Level 1 dan Level 2 duduk dalam kerangka evaluasi program pelatihan yang lebih luas.

Model Evaluasi Kirkpatrick: Empat Level Berjenjang

Donald Kirkpatrick (1959) merancang model evaluasi pelatihan yang berjenjang dari mudah ke sulit diukur — tiap level menjadi fondasi bagi level berikutnya.

Level 1 — Reaction (Reaksi)Apakah peserta puas dengan pelatihan?Level 2 — Learning (Pembelajaran)Apakah pengetahuan/keterampilan meningkat?Level 3 — Behavior (Perilaku)Apakah perilaku di tempat kerja berubah?Level 4 — Results (Hasil)Apakah berdampak pada kinerja organisasi?
Fokus Pertemuan Hari Ini
  • Level 1 dan Level 2 = tahap paling sering dipraktikkan langsung setelah pelatihan selesai
  • Level 3 dan 4 butuh waktu observasi lebih lama (minggu-bulan) — dibahas di P14 lewat tindak lanjut
  • Semakin tinggi level, semakin sulit diukur tapi semakin bernilai bagi manajemen puncak
  • Data Level 1-2 yang lemah membuat klaim di Level 3-4 tidak kredibel

Mengapa Level 1 dan Level 2 Menjadi Prioritas Praktik

Kedua level ini paling langsung dan murah dieksekusi setelah program selesai, sekaligus jadi sinyal awal keberhasilan desain pelatihan.

Level 1 — Reaction
  • Diukur segera setelah sesi selesai (same-day survey)
  • Fokus: kepuasan terhadap materi, fasilitator, fasilitas
  • Murah dan cepat, tapi tidak membuktikan belajar terjadi
Level 2 — Learning
  • Diukur lewat pre-test dan post-test atau demonstrasi keterampilan
  • Fokus: perubahan pengetahuan, keterampilan, atau sikap
  • Butuh instrumen yang valid & reliabel, bukan sekadar kuesioner puas-tidak-puas
Kaitan dengan ADDIE (P4): Level 1-2 sebenarnya menutup siklus tahap Evaluation untuk desain (Design) dan pengembangan (Development) program — hasilnya menjadi umpan balik ke need assessment (NAT, P5) periode berikutnya.
Bagian II dari III
Praktik Level 1: Mengukur Reaksi Peserta

Menyusun instrumen kuesioner reaksi dan menghitung skor kepuasan peserta pelatihan.

Menyusun Instrumen Kuesioner Reaksi (Level 1)

Kuesioner reaksi yang baik mencakup empat dimensi standar, bukan hanya pertanyaan umum "apakah Anda puas".

4 Dimensi Wajib
  • Materi/konten — relevansi dengan kebutuhan kerja
  • Fasilitator/trainer — penguasaan materi & cara mengajar
  • Metode & fasilitas — durasi, ruang, alat bantu, konsumsi
  • Kepuasan keseluruhan — item ringkasan (overall satisfaction)
Contoh Item (Skala Likert 1-5)
  • "Materi pelatihan relevan dengan pekerjaan saya" — 1 (sangat tidak setuju) s.d. 5 (sangat setuju)
  • "Fasilitator menguasai materi dengan baik" — 1-5
  • "Secara keseluruhan saya puas dengan pelatihan ini" — 1-5
Hindari jebakan: kuesioner yang hanya berisi 1 pertanyaan umum tidak bisa menunjukkan bagian mana yang perlu diperbaiki — selalu pecah per dimensi.

Hitung dari Nol: Skor Rata-Rata Kepuasan Peserta

Kasus: 25 peserta pelatihan "Analisis Kredit Dasar" di sebuah bank BUKU III mengisi kuesioner reaksi untuk item kepuasan keseluruhan (skala 1-5). Total skor yang terkumpul = 105.

LangkahPerhitunganNilai
1. Total skor kepuasan (25 peserta, skala 1-5)Dijumlahkan dari seluruh kuesioner
105
2. Skor rata-rata peserta105 / 25 peserta
4,2
3. Persentase tingkat kepuasan(4,2 / skor maks 5) x 100
84%
4. Gap terhadap target minimal 75%84% - 75%
+9 poin (di atas target)
Kesimpulan: skor 84% melampaui target minimal 75% yang biasa dipakai sebagai ambang batas keberhasilan Level 1 di banyak organisasi.

Interpretasi Hasil Level 1 dan Tindak Lanjutnya

Skor Level 1 yang tinggi bukan jaminan pembelajaran terjadi — ia hanya mengukur persepsi kenyamanan peserta terhadap proses pelatihan.

Yang Bisa Disimpulkan
  • Peserta merasa materi relevan & fasilitator kompeten
  • Logistik (ruang, konsumsi, durasi) dirasa memadai
  • Sinyal awal desain pelatihan diterima baik oleh peserta
Yang TIDAK Bisa Disimpulkan
  • Peserta benar-benar menguasai materi baru (perlu Level 2)
  • Perilaku kerja akan berubah (perlu Level 3)
  • Pelatihan menguntungkan organisasi secara finansial (Level 4)
Fenomena "happy sheet": peserta bisa memberi skor tinggi karena trainer menghibur, meski substansi materi tidak tersampaikan — inilah alasan Level 2 tetap wajib dilakukan.
Bagian III dari III
Praktik Level 2: Mengukur Hasil Belajar

Merancang pre-test dan post-test, menghitung gain score, serta melatih kemampuan mendeteksi kesalahan umum evaluasi.

Level 2 — Learning: Apa yang Sebenarnya Diukur

Level 2 mengukur perubahan pada tiga ranah: pengetahuan, keterampilan, dan sikap — sebelum vs sesudah pelatihan.

Pre-testBaseline sebelumIntervensiProgrampelatihanPost-testSetelah
Pengetahuan
Tes tertulis pilihan ganda/esai tentang konsep yang diajarkan
Keterampilan
Demonstrasi/simulasi praktik dinilai dengan rubrik
Sikap
Skala sikap sebelum-sesudah terhadap topik/perubahan kerja

Merancang Pre-Test dan Post-Test yang Adil

Instrumen Level 2 harus setara secara kesulitan antara pre-test dan post-test agar kenaikan skor benar-benar mencerminkan hasil belajar.

Kaidah Perancangan
  • Soal pre-test & post-test setara isi/kesulitan (boleh diacak urutan, bukan diganti substansi)
  • Waktu pengerjaan & kondisi ruang dibuat konsisten
  • Kriteria kelulusan individu ditetapkan di awal (mis. skor ≥70)
  • Jumlah peserta pre-test = jumlah peserta post-test (hindari drop-out yang bias)
Kesalahan yang Harus Dihindari
  • Post-test jauh lebih mudah dari pre-test — gain score jadi palsu
  • Hanya melaporkan rata-rata kelas tanpa melihat sebaran individu
  • Tidak ada kelompok pembanding sama sekali untuk program berisiko tinggi

Menilai Keterampilan dengan Rubrik: Dua Walkthrough

Untuk ranah keterampilan (bukan pengetahuan tertulis), Level 2 diukur lewat demonstrasi yang dinilai bertahap memakai rubrik — bukan skor tes.

Walkthrough A — Simulasi Negosiasi Kredit
  • Langkah 1: Peserta melakukan role-play negosiasi dengan calon debitur UMKM selama 10 menit
  • Langkah 2: Dua penilai independen mengisi rubrik 4 kriteria (pembukaan, penggalian kebutuhan, penanganan keberatan, penutupan)
  • Langkah 3: Tiap kriteria diberi skor 1-4 (belum kompeten s.d. mahir)
  • Langkah 4: Skor dua penilai dirata-rata; skor akhir ≥3 = kompeten
Walkthrough B — Praktik Layanan Frontliner
  • Langkah 1: Peserta mempraktikkan skrip layanan ke "nasabah bayangan" (mystery customer internal)
  • Langkah 2: Penilai mengamati langsung menggunakan checklist observasi terstandar
  • Langkah 3: Setiap perilaku kunci ditandai muncul/tidak muncul (bukan skala, tapi ya/tidak)
  • Langkah 4: Persentase perilaku kunci yang muncul = skor keterampilan peserta
Prinsip yang sama di kedua walkthrough: penilaian keterampilan butuh rubrik/checklist eksplisit dan idealnya >1 penilai agar hasilnya reliabel (lihat slide reliabilitas berikutnya).

Hitung dari Nol: Gain Score Pre-Test dan Post-Test

Kasus: pelatihan "Analisis Laporan Keuangan Dasar" untuk 20 staf finance UMKM binaan bank. Rata-rata pre-test kelas = 58 (skala 0-100); rata-rata post-test = 79. Passing grade individu ditetapkan 70.

LangkahPerhitunganNilai
1. Gain score rata-rata kelas79 (post) - 58 (pre)
21 poin
2. Persentase peningkatan relatif(21 / 58) x 100
~36,2%
3. Normalized gain / Hake's g21 / (100 - 58)
0,50 (kategori sedang)
4. % peserta capai passing grade ≥70 (16 dari 20 peserta)(16 / 20) x 100
80%
Interpretasi: normalized gain 0,50 masuk kategori "sedang" (Hake, 1998: rendah <0,3 · sedang 0,3-0,7 · tinggi >0,7); 80% peserta lulus individu menunjukkan mayoritas mencapai standar kompetensi minimum.

Coba Sendiri: Kalkulator Evaluasi Kirkpatrick Level 1 & 2

Toggle antara Level 1 (skor reaksi dari kuesioner) dan Level 2 (gain score pre-test/post-test) untuk kelas Anda sendiri.

Reliabilitas dan Validitas Instrumen Evaluasi

Instrumen Level 1 dan Level 2 hanya bermakna kalau valid (mengukur yang seharusnya diukur) dan reliabel (konsisten bila diulang).

Validitas
  • Item tes benar-benar mencerminkan tujuan pembelajaran (learning objectives)
  • Direview oleh subject matter expert sebelum digunakan
  • Contoh gagal: soal analisis kredit tapi isinya trivia perbankan umum
Reliabilitas
  • Hasil konsisten jika diberikan pada kelompok/waktu berbeda
  • Instruksi pengisian jelas & tidak ambigu bagi semua peserta
  • Contoh gagal: rubrik penilaian keterampilan ditafsirkan beda oleh tiap penilai
Praktik cepat: sebelum dipakai massal, uji coba (pilot) instrumen pada 5-10 peserta dari batch sebelumnya untuk menangkap pertanyaan yang membingungkan.

Studi Kasus: Kombinasi Level 1 dan Level 2 di Praktik Nyata

Kasus: program pelatihan "Layanan Prima" untuk 40 frontliner sebuah bank daerah — bagaimana kedua level dibaca bersama untuk mengambil keputusan.

IndikatorHasilMakna
Level 1 — Skor reaksi keseluruhan4,5 / 5 (90%)Peserta sangat puas dengan sesi
Level 2 — Rata-rata post-test68 / 100 (naik dari 55)Belum capai passing grade 70
Kesimpulan gabunganReaksi tinggi, hasil belajar belum tuntasMateri terlalu padat untuk durasi yang tersedia
Rekomendasi tindak lanjutTambah sesi refreshment 2 jam + modul e-learningPerbaikan desain sebelum ke Level 3
Pelajaran kunci: keputusan tindak lanjut harus berdasarkan kombinasi kedua level, bukan hanya salah satunya — reaksi bagus saja tidak cukup untuk menyatakan pelatihan berhasil.

Latihan 1: Menyusun Kuesioner Reaksi (Level 1)

Instruksi kerja kelompok (15 menit) — siapkan instrumen reaksi untuk kasus berikut.

Kasus: Anda adalah tim L&D di sebuah perusahaan retail modern yang baru menyelenggarakan pelatihan "Teknik Cross-Selling di Kasir" untuk 30 kasir toko.

Tugas Kelompok
  • Susun 8 item kuesioner reaksi mencakup 4 dimensi (materi, fasilitator, metode/fasilitas, kepuasan keseluruhan)
  • Gunakan skala Likert 1-5 dengan label yang jelas di tiap ujung skala
  • Tentukan target skor minimal keberhasilan (dalam %) untuk program ini beserta alasannya
  • Presentasikan hasil dalam 3 menit per kelompok

Latihan 2: Menghitung Gain Score (Level 2)

Instruksi kerja individu (10 menit) — olah data berikut menjadi kesimpulan evaluasi.

Data: Pelatihan "Dasar-Dasar Ekspor bagi UMKM" diikuti 15 pelaku UMKM. Rata-rata pre-test = 45 (skala 0-100). Rata-rata post-test = 72. Passing grade individu ditetapkan 65, dan 11 dari 15 peserta mencapainya.

Tugas Individu
  • Hitung gain score, persentase peningkatan relatif, dan normalized gain (Hake's g)
  • Hitung persentase peserta yang mencapai passing grade individu
  • Tuliskan satu kesimpulan (2-3 kalimat) untuk dilaporkan ke pemilik program pelatihan
  • Siapkan jawaban untuk dibahas bersama di 5 menit terakhir sesi

Kesalahan Umum dalam Praktik Evaluasi Level 1-2

Sebelum melangkah ke tindak lanjut, kenali jebakan paling sering terjadi di lapangan agar evaluasi Anda kredibel.

Kesalahan Desain
  • Kuesioner reaksi diisi terburu-buru di akhir sesi tanpa waktu cukup
  • Pre-test/post-test tidak setara tingkat kesulitan
  • Tidak ada baseline pre-test sama sekali (hanya post-test)
Kesalahan Analisis & Pelaporan
  • Hanya melaporkan rata-rata, mengabaikan sebaran/peserta tertinggal
  • Menyimpulkan "pelatihan berhasil" hanya dari Level 1 saja
  • Response rate rendah (<70%) tapi tetap digeneralisasi ke semua peserta

Checklist Praktik Evaluasi & Jembatan ke Level 3-4

Sebelum menutup pertemuan, pastikan Anda menguasai checklist praktik evaluasi Level 1-2 berikut sebagai bekal pertemuan berikutnya.

Checklist Sebelum Melapor ke Manajemen
  • Instrumen sudah divalidasi & diuji coba (pilot) sebelum digunakan massal
  • Response rate kuesioner reaksi terdokumentasi (idealnya >80%)
  • Gain score/normalized gain dihitung, bukan hanya rata-rata post-test
  • Kesimpulan menggabungkan Level 1 dan Level 2, bukan berdiri sendiri
  • Rekomendasi tindak lanjut konkret (bukan sekadar "perlu diperbaiki")
Jembatan ke P14: hasil Level 1-2 yang sudah diolah menjadi dasar analisis lanjutan — mengaitkan skor evaluasi dengan tindak lanjut program dan fungsi MSDM lain (rekrutmen, kompensasi, jenjang karier).

Ringkasan Pertemuan 13

Hari ini Anda telah berlatih dua level dasar model evaluasi Kirkpatrick secara konkret dan terukur.

Yang Sudah Dikuasai
  • Empat level model Kirkpatrick & posisi Level 1-2 di dalamnya
  • Menyusun kuesioner reaksi 4 dimensi & menghitung skor kepuasan
  • Merancang pre-test/post-test & menghitung gain score serta normalized gain
  • Mengenali kesalahan umum & menjaga validitas-reliabilitas instrumen
Persiapan Pertemuan 14
  • Bawa hasil Latihan 1 & 2 hari ini untuk dianalisis lebih lanjut
  • Baca ulang materi ADDIE (P4) & fungsi-fungsi MSDM (P2) sebagai penghubung
  • Siapkan pertanyaan tentang keterkaitan evaluasi dengan keputusan SDM lain

📖 Baca juga: Dcf Valuation — penjelasan mendalam dan contoh numerik.