RPS minggu 14 · 2x50 menit

Refleksi Kritis dan Evaluasi Metodologi

Kekuatan-Kelemahan Riset serta Rekomendasi Pengembangan Lanjutan — Pertemuan 14 | Proyek Riset, Magister Manajemen FEB UNDIP

Selamat datang di pertemuan penutup Proyek Riset, Bapak/Ibu. Setelah tiga belas pertemuan menyusun proposal, mengumpulkan data, menganalisis, dan menulis draf laporan akhir, hari ini kita mengambil jarak dan menilai riset Anda sendiri secara jujur — bukan untuk mencari kesalahan, melainkan untuk menunjukkan kedewasaan metodologis yang justru dihargai penguji dan reviewer jurnal. Kemampuan mengakui limitasi riset sendiri secara spesifik, bukan generik, adalah salah satu penanda paling jelas pembeda peneliti pemula dari peneliti matang. Kita akan memakai kerangka evaluasi metodologi terstruktur, lalu menuntun Anda menulis bagian "Limitations and Future Research" yang akan menjadi bagian penutup laporan/tesis Anda. Siapkan draf laporan Bab 4 dan 5 Anda karena sesi ini akan langsung diterapkan pada riset masing-masing.

Bagian 1 dari 3

Mengapa Refleksi Kritis Metodologi Itu Wajib, Bukan Formalitas

Diskusi: Ketika Anda mempresentasikan hasil riset ke direksi atau komite investasi, apakah Anda cenderung menonjolkan kekuatan riset saja, atau juga secara proaktif menyampaikan batasannya?

Bagian ini mengasumsikan Anda sudah menguasai desain metode dari pertemuan enam dan proses analisis data dari pertemuan sebelas, sehingga kita langsung masuk ke pertanyaan yang lebih tinggi tingkatannya: bagaimana menilai riset yang sudah dijalankan secara kritis dan jujur. Lempar pertanyaan di atas ke kelas dan minta dua atau tiga peserta membagikan pengalaman profesional mereka menyampaikan atau menyembunyikan limitasi analisis di hadapan atasan atau klien. Tekankan bahwa dalam riset akademik, menyembunyikan limitasi bukan hanya etis bermasalah tetapi juga taktis buruk — penguji dan reviewer akan menemukannya sendiri, dan riset yang tidak menyebutkannya terlihat naif, bukan kuat. Sampaikan bahwa hari ini kita membangun kerangka evaluasi lima dimensi yang dapat langsung diterapkan pada riset masing-masing peserta.

Self-Critique sebagai Sinyal Kematangan Metodologis

Reviewer jurnal Q1/ABDC dan penguji tesis menilai bukan hanya apa yang Anda temukan, tapi juga seberapa jujur Anda tentang apa yang tidak bisa disimpulkan dari desain riset Anda.

Riset Naif

Limitasi ditulis generik: "keterbatasan waktu dan sampel"
Klaim kausalitas dari desain cross-sectional/deskriptif
Tidak membedakan limitasi metodologis vs limitasi praktis pengumpulan data

Riset Matang

Limitasi spesifik: ancaman validitas internal/eksternal yang teridentifikasi jelas
Klaim dibatasi sesuai kekuatan desain — asosiasi, bukan sebab-akibat, jika memang begitu adanya
Setiap limitasi diikuti implikasi konkret untuk interpretasi temuan

Implikasi manajerial: laporan riset internal yang mengaku batasannya justru lebih dipercaya direksi untuk pengambilan keputusan, dibanding laporan yang terlihat "sempurna" tanpa celah.

Rubrik Analisis: Lima Dimensi Evaluasi Metodologi

Gunakan lima dimensi ini secara berurutan untuk mengaudit riset Anda sendiri sebelum menuliskan bagian refleksi kritis di laporan akhir.

Langkah	Dimensi & Pertanyaan Kunci	Output yang Diminta
1. Validitas konstruk	Apakah variabel benar-benar mengukur konsep teoritis yang dimaksud?	Gap pengukuran teridentifikasi
2. Validitas internal	Ancaman apa terhadap klaim sebab-akibat (confounding, reverse causality)?	Ancaman spesifik + arah bias
3. Validitas eksternal	Sejauh mana temuan bisa digeneralisasi di luar sampel/konteks ini?	Batas generalisasi eksplisit
4. Reliabilitas & robustness	Apakah temuan stabil terhadap spesifikasi/sampel/metode alternatif?	Uji robustness yang sudah/belum dilakukan
5. Relevansi praktis	Apakah temuan cukup kuat untuk mendasari keputusan manajerial nyata?	Rekomendasi + syarat kehati-hatian

Rubrik ini adalah kerangka yang akan Anda pakai dua slide berikutnya untuk mengaudit satu kasus riset secara langkah demi langkah.

Ancaman Validitas Internal: Confounding dan Reverse Causality

Campbell & Stanley (1963) — kerangka klasik ancaman validitas internal tetap relevan untuk riset manajemen kontemporer yang jarang memakai eksperimen murni.

Kesalahan umum: mengklaim "pelatihan meningkatkan kinerja" dari data cross-sectional, padahal karyawan bermotivasi tinggi (confounder Z) bisa jadi lebih mungkin ikut pelatihan DAN berkinerja baik — korelasi X-Y bukan bukti sebab-akibat.

Mini Kasus: Evaluasi Kritis Riset Adopsi Fintech UMKM

Keputusan manajerial: apakah temuan riset survei 150 UMKM di Semarang tentang adopsi QRIS cukup kuat untuk mendasari rekomendasi kebijakan diseminasi ke seluruh Jawa Tengah?

Kekuatan Riset (Ilustrasi)

Instrumen adaptasi UTAUT (Venkatesh et al., 2003) — konstruk teruji lintas konteks teknologi
Reliabilitas Cronbach's alpha seluruh konstruk >0,70 — konsisten internal memadai
Triangulasi dengan wawancara 8 pemilik UMKM — memperkaya interpretasi angka

Kelemahan Riset (Ilustrasi)

Sampel convenience di satu kota — generalisasi ke Jawa Tengah tidak terjustifikasi secara statistik
Desain cross-sectional — tidak menangkap dinamika adopsi dari waktu ke waktu
Self-reported usage — berisiko social desirability bias, bukan data transaksi aktual

Rekomendasi kebijakan yang tepat: hasil ini layak menjadi basis hipotesis untuk pilot program regional, bukan basis tunggal keputusan diseminasi berskala provinsi.

Robustness Check: Menguji Ketahanan Temuan Anda Sendiri

Temuan yang hanya muncul pada satu spesifikasi model, satu ukuran variabel, atau satu subsample adalah temuan yang rapuh — bukan temuan yang kuat.

Spesifikasi Alternatif

Ulangi model dengan kontrol variabel berbeda atau model non-linear — apakah arah & signifikansi bertahan?

Ukuran Alternatif

Ganti proxy variabel kunci dengan indikator lain yang mengukur konsep serupa — hasil konsisten?

Subsample

Pecah sampel (mis. UMKM kecil vs menengah) — apakah efek homogen atau hanya didorong subkelompok tertentu?

Standar Q1/ABDC: reviewer hampir selalu meminta minimal satu robustness check sebelum menerima klaim utama — siapkan ini sebelum submission, bukan sesudah diminta.

Validitas Eksternal: Batas Generalisasi Temuan Anda

Shadish, Cook & Campbell (2002) — temuan valid secara internal belum tentu berlaku di luar konteks, populasi, atau waktu pengumpulan data Anda.

Dimensi Generalisasi yang Wajib Diuji

Populasi: apakah sampel mewakili populasi target (mis. UMKM vs korporasi besar)?
Konteks: apakah temuan bergantung pada budaya organisasi/regulasi setempat?
Waktu: apakah kondisi ekonomi/teknologi saat pengumpulan data masih relevan?

Kalimat yang Membatasi Klaim secara Tepat

"Temuan ini berlaku pada konteks [X] dan belum tentu berlaku pada [Y]"
Hindari kata "membuktikan" — gunakan "mengindikasikan" atau "mendukung dugaan bahwa"
Bedakan generalisasi statistik (sampling acak) vs generalisasi analitik (kekuatan teori)

Bagian 2 dari 3

Menulis Bagian Limitasi & Rekomendasi Pengembangan Lanjutan

Diskusi: Pernahkah Anda membaca laporan riset yang bagian "keterbatasan"-nya terasa seperti tempelan wajib di akhir, bukan bagian yang benar-benar dipikirkan?

Bagian kedua ini berfokus pada keterampilan menulis yang sangat konkret: bagaimana menyusun bagian limitasi dan rekomendasi riset selanjutnya agar terbaca sebagai analisis yang matang, bukan formalitas penutup laporan. Lempar pertanyaan di atas ke kelas — hampir semua peserta profesional pernah membaca laporan konsultan atau riset internal dengan bagian keterbatasan yang generik dan tidak informatif. Jelaskan bahwa kita akan memakai kerangka menulis terstruktur yang menghubungkan tiap limitasi secara langsung dengan rekomendasi riset lanjutan yang spesifik, bukan daftar keterbatasan dan daftar rekomendasi yang terpisah tanpa keterkaitan logis. Ingatkan bahwa bagian ini sering menjadi kesan terakhir yang dibaca penguji sebelum sidang, sehingga kualitasnya berpengaruh besar pada penilaian keseluruhan.

Hitung dari Nol: Menilai Kekuatan Ukuran Sampel Riset Anda

Ilustrasi: menilai apakah ukuran sampel riset survei yang sudah dikumpulkan cukup untuk mendeteksi efek berukuran sedang, memakai power analysis retrospektif sederhana.

Langkah	Perhitungan	Nilai
1. Ukuran sampel terkumpul (n)	diberikan (ilustrasi survei UMKM)	150 responden
2. Jumlah prediktor dalam model regresi	diberikan	6 variabel
3. Rule of thumb Green (1991): n ≥ 50 + 8m	50 + 8 × 6	98 responden
4. Selisih terhadap sampel aktual	150 − 98	+52 responden
5. Rasio kecukupan sampel	150 / 98 × 100%	~153%
6. Kesimpulan kecukupan untuk efek utama	rasio >100% → memadai untuk efek sedang	Memadai (bukan untuk efek kecil)

Kesimpulan Metodologis

Rasio ~153%

Sampel cukup untuk mendeteksi efek sedang-besar, tapi tidak memadai untuk efek kecil atau analisis subgroup — batasan ini wajib disebut eksplisit di Bab 5

Kerangka Menulis: Menghubungkan Limitasi ke Rekomendasi Riset Lanjutan

Kesalahan paling umum: menulis daftar limitasi dan daftar rekomendasi secara terpisah tanpa keterkaitan logis. Kerangka ini memaksa keterkaitan eksplisit.

Template kalimat: "Karena [limitasi spesifik], temuan ini tidak dapat [klaim yang dihindari]. Riset selanjutnya disarankan menggunakan [desain/metode spesifik] untuk mengatasi keterbatasan ini."

Rekomendasi Metode Lanjutan: Dari Cross-Sectional ke Longitudinal/Eksperimental

Jika Riset Anda Cross-Sectional

Rekomendasikan desain longitudinal (panel 2-3 gelombang) untuk menguji arah kausalitas
Atau desain quasi-eksperimen jika ada kebijakan/perubahan yang bisa dieksploitasi sebagai shock
Sebutkan variabel instrumen potensial jika endogenitas menjadi kekhawatiran utama

Jika Riset Anda Kualitatif/Studi Kasus

Rekomendasikan mixed-methods lanjutan untuk menguji generalisasi temuan kualitatif secara kuantitatif
Perluas jumlah kasus/organisasi untuk memperkuat transferability (Lincoln & Guba, 1985)
Tambahkan perspektif informan lain (mis. bawahan, klien) untuk triangulasi sumber

Rekomendasi yang kredibel bersifat spesifik dan dapat dieksekusi peneliti lain — bukan sekadar "riset selanjutnya sebaiknya memperbesar sampel".

Common Method Bias dan Ancaman Pengukuran Lain

Podsakoff et al. (2003) — ketika prediktor dan kriteria diukur dari sumber & metode yang sama, korelasi bisa terinflasi oleh varians metode, bukan hubungan substantif.

Sumber Sama

Satu responden mengisi variabel independen & dependen sekaligus — risiko konsistensi jawaban artifisial.

Waktu Sama

Semua variabel diukur dalam satu waktu survei — mood/konteks sesaat memengaruhi seluruh jawaban serupa.

Format Sama

Skala Likert identik untuk semua konstruk — pola respons (mis. selalu memilih tengah) ikut terbawa ke semua variabel.

Mitigasi yang wajib disebut: uji Harman's single-factor test yang sudah/belum dilakukan, atau desain pengukuran temporal terpisah untuk riset lanjutan.

Etika Pelaporan: Membedakan Kelemahan Riset dari Manipulasi Data

Batas tegas antara mengakui limitasi riset yang jujur dengan praktik questionable research practices (QRP) yang merusak integritas — keduanya kadang bercampur tanpa disadari.

Praktik yang Etis (Refleksi Jujur)

Melaporkan semua variabel & model yang diuji, termasuk yang tidak signifikan
Mengakui data outlier yang dibuang beserta kriteria & justifikasinya
Menyebut hipotesis yang tidak terdukung data secara terbuka

Praktik Bermasalah (QRP)

HARKing — menyusun hipotesis setelah melihat hasil, seolah direncanakan sejak awal
P-hacking — mencoba banyak spesifikasi sampai signifikan, lalu hanya melaporkan yang "berhasil"
Menyembunyikan robustness check yang gagal mendukung temuan utama

Refleksi kritis metodologi yang jujur di Bab 5 justru menjadi bukti Anda TIDAK melakukan QRP — sebaliknya, laporan yang terlihat "sempurna" tanpa satu pun keterbatasan justru mengundang kecurigaan.

Bagian 3 dari 3

Persiapan Sidang: Menjawab Pertanyaan Kritis Penguji

Diskusi: Pertanyaan penguji seperti apa yang paling Anda khawatirkan akan sulit dijawab tentang riset Anda sendiri?

Rubrik Latihan: Menjawab Tiga Jenis Pertanyaan Kritis Sidang

Jenis Pertanyaan

"Mengapa Anda memilih metode ini dan bukan metode X?"
"Bagaimana Anda tahu hasilnya bukan karena bias Y?"
"Apa yang akan berbeda jika sampel Anda dua kali lebih besar?"

Struktur Jawaban yang Kredibel

Akui trade-off metode secara langsung, jangan berdebat bahwa metode Anda "paling benar"
Rujuk mitigasi konkret yang sudah dilakukan (robustness check, triangulasi)
Jika belum dimitigasi, akui sebagai limitasi & arahkan ke rekomendasi riset lanjutan

Prinsip inti: penguji menilai kesadaran metodologis Anda, bukan mengharapkan riset tanpa cela — jawaban defensif tanpa pengakuan trade-off justru menurunkan nilai.

Rekomendasi Pengembangan Lanjutan: Dari Tesis ke Agenda Riset

Riset yang baik tidak berhenti sebagai laporan tunggal — ia membuka agenda riset yang bisa dilanjutkan peneliti lain atau Anda sendiri di masa depan.

Perluasan Sampel

Replikasi di konteks/sektor/wilayah berbeda untuk menguji generalisasi temuan.

Perluasan Metode

Desain longitudinal, eksperimen, atau mixed-methods untuk memperkuat klaim kausal.

Perluasan Konstruk

Uji moderator/mediator baru yang belum tercakup kerangka konseptual awal.

Bagian "future research" yang kuat memberi peta jalan konkret — bukan sekadar penutup formal laporan.

Latihan Kelas: Susun Bagian Refleksi Kritis Riset Anda

Instruksi Latihan (20 menit)

Terapkan rubrik lima dimensi pada riset Anda sendiri secara tertulis
Identifikasi minimal 2 limitasi spesifik (bukan generik) beserta implikasinya
Tulis 1 rekomendasi riset lanjutan yang konkret & dapat dieksekusi

Format Output

Gunakan template kalimat limitasi-implikasi-rekomendasi dari slide sebelumnya
Siapkan untuk dibacakan singkat & menerima umpan balik teman sekelas
Bagian ini langsung menjadi draf subbab "Limitations and Future Research"

Hasil latihan ini menjadi bagian penutup Bab 5 laporan/tesis akhir Anda yang akan diserahkan sesuai jadwal program studi.

Coba Sendiri: Simulasi Kekuatan Statistik & Ukuran Sampel

Ubah ukuran sampel, ukuran efek yang diharapkan, dan tingkat signifikansi, lalu amati bagaimana kekuatan statistik (power) riset Anda berubah.

Penutup: Sintesis Mata Kuliah Proyek Riset

Dari scoping topik di pertemuan satu hingga refleksi kritis metodologi hari ini — satu benang merah yang menyatukan seluruh proses riset mandiri Anda.

Riset yang matang bukan riset tanpa cela — ia adalah riset yang penulisnya memahami persis di mana kekuatan dan batasnya, serta jujur menyampaikan keduanya kepada pembaca.

Fondasi (P1–P5)

Scoping, rumusan masalah, tinjauan pustaka, kerangka konseptual

Eksekusi (P6–P12)

Desain metode, etika riset, proposal lengkap, pengumpulan & analisis data, draf laporan

Penutup (P13–P14)

Penulisan laporan/tesis akhir, refleksi kritis & rekomendasi pengembangan lanjutan

Gunakan penutup ini untuk menegaskan bahwa empat belas pertemuan Proyek Riset bukan sekadar rangkaian tugas administratif, melainkan pembentukan kapasitas berpikir kritis-metodologis yang akan terus Anda pakai jauh melampaui mata kuliah ini. Ingatkan peserta bahwa kemampuan mengevaluasi kekuatan dan kelemahan bukti secara jujur adalah keterampilan yang sama persis dibutuhkan saat mengevaluasi laporan riset pasar, studi kelayakan, atau data internal di tempat kerja mereka masing-masing. Sampaikan apresiasi atas kerja keras sepanjang semester dan ingatkan tenggat pengumpulan laporan/tesis akhir sesuai jadwal program studi. Tutup dengan menegaskan bahwa kesadaran metodologis yang dibangun hari ini adalah modal paling berharga yang dibawa dari mata kuliah ini, lebih dari sekadar nilai atau gelar.

📖 Baca juga: Dcf Valuation — penjelasan mendalam dan contoh numerik.