Weak Instruments (Threshold Lee 2022)

Selama hampir dua dekade, ahli ekonometrika hidup dengan satu aturan praktis yang nyaman: kalau angka F di tahap pertama lebih besar dari 10, instrumen Anda cukup kuat, lanjutkan saja. Aturan Staiger dan Stock dari 1997 itu masuk ke hampir setiap buku teks, dan ribuan paper dibangun di atasnya.

Lalu pada 2022, sebuah artikel di American Economic Review menunjukkan bahwa aturan emas itu jauh terlalu longgar. Saat empat ekonom memeriksa ulang puluhan paper terbit, mereka menemukan: kalau inferensi dikoreksi dengan benar, separuh hasil yang tadinya tampak “signifikan secara statistik” berubah menjadi tidak signifikan. Banyak temuan yang lolos dengan F = 15 atau F = 30 ternyata berpijak di pasir.

Inti masalahnya bernama instrumen lemah (weak instrument). Memahaminya — dan tahu ambang baru yang benar — adalah salah satu pembeda riset kausal modern dari yang ketinggalan zaman.

Intuisi: Instrumen yang Hampir Tidak Berbunyi

Bayangkan IV sebagai tuas. Anda tidak bisa menyentuh variabel yang ingin diukur efeknya ($X$) secara bersih, jadi Anda mendorongnya dari jauh lewat sebuah tuas — instrumen $Z$. Estimator IV pada dasarnya bertanya: “kalau saya tarik tuas $Z$ sekian, hasil $Y$ bergeser sekian, dan $X$ bergeser sekian — maka efek $X$ pada $Y$ adalah perbandingan kedua geseran itu.”

Sekarang bayangkan tuasnya longgar: Anda menariknya kuat-kuat, tapi $X$ nyaris tidak bergerak. Itulah instrumen lemah — korelasi antara $Z$ dan $X$ sangat kecil. Dua bencana muncul sekaligus:

1. Pembagian dengan angka mungil. Estimator IV membagi “gerak $Y$” dengan “gerak $X$”. Saat gerak $X$ nyaris nol, kita membagi dengan bilangan amat kecil — hasilnya melonjak liar dan amat peka terhadap gangguan terkecil pada data. Sedikit derau (noise) di $Y$ bisa membuat estimasi melompat jauh.
2. Tarikan kembali ke OLS yang bias. Justru saat instrumen lemah, estimasi IV tertarik mendekati estimasi OLS — padahal OLS yang bias itulah yang sejak awal ingin kita hindari. Instrumen lemah memberi ilusi “sudah membetulkan”, padahal nyaris tidak.

Akibat lanjutannya: distribusi estimator IV tidak lagi berbentuk lonceng normal. Maka standard error dan p-value baku — yang seluruhnya bersandar pada asumsi normal — menyesatkan. Selang kepercayaan yang dilaporkan terlihat sempit dan meyakinkan, padahal sebetulnya jauh lebih lebar.

F Tahap Pertama: Mengukur Kekuatan Tuas

Karena bahayanya bersumber dari lemahnya panah $Z \to X$, kita perlu mengukur kekuatan panah itu. Ukuran bakunya adalah F-statistik tahap pertama: uji apakah koefisien instrumen pada regresi tahap pertama (regresi $X$ atas $Z$) berbeda nyata dari nol. Untuk satu instrumen, F sama dengan kuadrat statistik-t koefisien itu:

$$F = t_{\pi_1}^2$$

Tiap lambang:

• $\pi_1$ (dibaca “pi-satu”) = slope tahap pertama, yaitu seberapa banyak $X$ bergerak tiap $Z$ naik satu satuan. Instrumen kuat punya $\pi_1$ yang besar dan tertaksir presisi.
• $t_{\pi_1}$ = statistik-t untuk $\pi_1$ = $\pi_1$ dibagi standard error-nya. Polos: berapa kali lipat slope dibanding ketidakpastiannya.
• $F$ = kuadrat dari $t_{\pi_1}$. Karena dikuadratkan, F selalu positif; makin besar F, makin yakin kita bahwa $Z$ benar-benar menggerakkan $X$.

Makin besar F, makin kuat instrumen, makin tepercaya inferensi IV. Pertanyaan sejutanya: berapa F yang cukup?

Dari Staiger-Stock ke Lee dkk 2022

Temuan Lee dkk: supaya sebuah uji-t pada taraf 5% benar-benar punya ukuran 5% (peluang salah-tolak yang sesungguhnya 5%, bukan diam-diam membengkak jadi 15–20%), F tahap pertama harus jauh lebih tinggi dari 10. Untuk kasus satu instrumen–satu variabel endogen, ambangnya $F > 104{,}7$.

Angka itu mengejutkan karena begitu jauh dari 10. Artinya: instrumen yang selama ini disebut “kuat” di banyak paper sebenarnya hanya cukup untuk menaksir, tetapi belum cukup untuk berinferensi dengan uji-t baku. Saat Lee dkk memeriksa ulang puluhan paper AER, koreksi inferensi membuat separuh hasil yang semula signifikan menjadi tak signifikan.

Prosedur tF: Koreksi, Bukan Sekadar Vonis

Lee dkk tidak berhenti pada ambang baru; mereka memberi jalan keluar praktis bernama prosedur tF. Idenya sederhana dan elegan: jangan pakai nilai kritis tetap 1,96 untuk semua kasus — sesuaikan nilai kritis itu dengan F yang teramati.

$$t_{\text{koreksi}} = c(F) \times \widehat{\text{SE}}$$

Maksudnya: lebar selang kepercayaan dikalikan sebuah faktor $c(F)$ yang besarnya bergantung pada F tahap pertama Anda.

• $c(F)$ = faktor koreksi dari tabel Lee dkk, mengecil saat F membesar.
• $\widehat{\text{SE}}$ = standard error 2SLS baku (yang biasa keluar dari perangkat lunak).
• $t_{\text{koreksi}}$ = setengah-lebar selang kepercayaan setelah dikoreksi.

Beberapa titik acuan yang menerangkan:

• Kalau $F \ge 104{,}7$: instrumen cukup kuat, faktor koreksi $\approx 1$, pakai nilai kritis standar 1,96 seperti biasa.
• Kalau Anda memaksa tetap memakai ambang lama $F = 10$: nilai kritis yang benar bukan 1,96 melainkan sekitar 3,43. Artinya selang kepercayaan harus jauh lebih lebar dari yang dilaporkan secara naif.
• Untuk $F$ di antara 10 dan 104,7: nilai kritis berada di antara 3,43 dan 1,96, dibaca dari tabel tF.

Hasilnya: inferensi yang tetap sah bahkan saat instrumen tidak amat kuat — asalkan dikoreksi dengan benar, bukan dipura-purakan kuat.

Contoh dari Nol: Dua Instrumen, Satu Data Hasil

Cara terbaik merasakan bahaya instrumen lemah adalah membandingkan dua instrumen pada data hasil $Y$ yang sama. Misalkan kita ingin mengukur efek $X$ pada $Y$, dengan data hasil dan delapan pengamatan:

$$Y = 4,\ 6,\ 7,\ 9,\ 10,\ 12,\ 13,\ 15 \qquad (\bar{y} = 9{,}5)$$

dan instrumen $Z = 1, 2, 3, 4, 5, 6, 7, 8$ ($\bar{z} = 4{,}5$). Bedanya hanya pada variabel endogen $X$: satu kali $Z$ menggerakkannya dengan kuat, satu kali nyaris tidak.

Hitung F tahap pertama untuk instrumen LEMAH

Ambil $X = 5, 4, 6, 5, 7, 6, 8, 7$ ($\bar{x} = 6$). Lihat: saat $Z$ menanjak rapi dari 1 ke 8, $X$ hanya naik-turun pelan. Tahap pertama meregresikan $X$ atas $Z$ — kita butuh kolom simpangan persis seperti pada regresi biasa.

Slope tahap pertama:

$$\pi_1 = \frac{\sum(Z_i-\bar{z})(X_i-\bar{x})}{\sum(Z_i-\bar{z})^2} = \frac{18}{42} = 0{,}4286$$

Slope kecil — tiap satu satuan $Z$, $X$ hanya bergerak 0,43. Intercept $\pi_0 = \bar{x} - \pi_1\bar{z} = 6 - 0{,}4286 \times 4{,}5 = 4{,}0714$, jadi persamaan tahap pertama $\hat{X} = 4{,}07 + 0{,}43\,Z$.

Untuk F, kita butuh seberapa banyak variasi $X$ yang dijelaskan garis ini. Jumlah kuadrat residual tahap pertama $\text{SSE} = \sum(X_i - \hat{X}_i)^2 = 4{,}2857$, sementara total variasi $X$ adalah $\sum(X_i-\bar{x})^2 = 12$. Maka $R^2$ tahap pertama hanya $1 - 4{,}2857/12 = 0{,}643$. Standard error slope:

$$\widehat{\text{SE}}(\pi_1) = \sqrt{\frac{\text{SSE}/(n-2)}{\sum(Z_i-\bar{z})^2}} = \sqrt{\frac{4{,}2857/6}{42}} = 0{,}1304$$

Sehingga statistik-t dan F-nya:

$$t_{\pi_1} = \frac{0{,}4286}{0{,}1304} = 3{,}286 \qquad F = t_{\pi_1}^2 = 3{,}286^2 = 10{,}8$$

F = 10,8. Perhatikan jebakannya: angka ini lulus ambang lama ($F > 10$), jadi buku teks 1997 akan bilang “instrumen cukup kuat, lanjutkan”. Tetapi 10,8 ada jauh di bawah ambang modern 104,7 — kira-kira hanya sepersepuluhnya. Menurut Lee dkk, uji-t standar pada data ini sama sekali tak bisa dipercaya.

Bandingkan dengan instrumen KUAT

Sekarang ganti variabel endogennya dengan $X = 2, 3, 5, 6, 7, 9, 10, 12$ — yang menanjak seirama dengan $Z$. Dengan hitungan yang sama persis, $\pi_1 = 1{,}40$ dan F = 803. Tuasnya rapat: $Z$ benar-benar menggerakkan $X$.

Inilah bahayanya: estimasi yang rapuh

Estimator IV untuk satu instrumen adalah rasio Wald — perbandingan gerak $Y$ terhadap gerak $X$ yang dipicu $Z$:

$$\hat{\beta}_{IV} = \frac{\sum(Z_i-\bar{z})(Y_i-\bar{y})}{\sum(Z_i-\bar{z})(X_i-\bar{x})}$$

Penyebutnya adalah angka 18,00 (lemah) atau yang jauh lebih besar (kuat) dari tabel di atas. Sekarang lakukan satu eksperimen pikiran: ubah satu titik data $Y$ sebesar 3 satuan — gangguan kecil yang wajar terjadi karena derau pengukuran — lalu lihat bagaimana estimasi bergeser.

Gangguan yang persis sama membuat estimasi instrumen lemah bergoyang lebih dari tiga kali lebih lebar daripada instrumen kuat. Itulah arti konkret “membagi dengan angka mungil”: penyebut kecil membuat estimasi peka terhadap derau terkecil. Inferensi yang dibangun di atas estimasi serapuh ini tak layak dipercaya.

Solusi Lengkap untuk Instrumen Lemah

Begitu Anda tahu instrumennya lemah, ada beberapa jalan keluar — dari yang termudah hingga yang paling mendasar.

Catatan penting: menambah banyak instrumen lemah bukan solusi. Menumpuk instrumen yang sama-sama lemah justru memperparah bias 2SLS ke arah OLS, bukan memperbaikinya. Kualitas instrumen mengalahkan kuantitas.

Bereksperimen Sendiri

Geser pengatur kekuatan instrumen dan amati: saat instrumen melemah, F turun, sebaran estimasi 2SLS melebar liar, dan estimasi tertarik kembali ke arah OLS yang bias. Bandingkan pula seberapa sering F benar-benar melewati ambang lama (10) versus ambang baru (104,7).

Cek Pemahaman

1. Pada sebuah data tahap pertama, regresi $X$ atas $Z$ menghasilkan slope $\pi_1 = 0{,}30$ dengan standard error 0,12. (a) Hitung F tahap pertama. (b) Apakah instrumen ini lulus ambang lama? Lulus ambang modern? (c) Uji-t mana yang boleh dipakai?

Lihat jawaban

(a) $t_{\pi_1} = 0{,}30 / 0{,}12 = 2{,}5$, maka $F = 2{,}5^2 = 6{,}25$.

(b) Tidak lulus keduanya. F = 6,25 ada di bawah ambang lama (10) maupun ambang modern (104,7). Bahkan menurut aturan 1997 yang longgar pun instrumen ini sudah dianggap lemah.

(c) Jangan pakai uji-t standar dengan 1,96. Karena F sangat rendah, prosedur tF pun mungkin tak cukup; pilihan teraman adalah uji yang tahan-instrumen-lemah seperti Anderson–Rubin, yang sah berapa pun kekuatan instrumen.

2. (Soal transfer.) Seorang peneliti mengukur efek konsumsi kopi ($X$) pada kualitas tidur ($Y$), dengan instrumen harga kopi di kafe terdekat ($Z$). Regresi tahap pertama memberi F = 28, dan estimasi IV-nya “signifikan” memakai uji-t standar ($t = 2{,}3 > 1{,}96$). (a) Menurut ambang modern, apakah instrumen ini cukup kuat untuk uji-t baku? (b) Apa yang harus dilakukan peneliti sebelum mengklaim signifikansi? (c) Kalau setelah dikoreksi tF hasilnya tak lagi signifikan, apa pelajarannya?

Lihat jawaban

(a) Belum cukup. F = 28 lulus ambang lama (>10), tetapi jauh di bawah ambang modern Lee dkk (>104,7). Untuk uji-t baku dengan nilai kritis 1,96, instrumen ini masih tergolong lemah.

(b) Peneliti harus mengoreksi inferensinya: pakai prosedur tF (nilai kritis t diperbesar sesuai F = 28, jadi lebih besar dari 1,96) atau laporkan selang kepercayaan Anderson–Rubin. Statistik $t = 2{,}3$ yang tadinya “lewat” 1,96 bisa jadi tidak lewat nilai kritis yang sudah dikoreksi.

(c) Pelajarannya: signifikansi yang tampak nyata bisa lahir semata dari memakai nilai kritis yang terlalu kecil untuk instrumen yang sebenarnya tidak cukup kuat. Inilah persis pola yang ditemukan Lee dkk pada separuh paper yang mereka periksa ulang — temuan yang benar secara metodologis tidak boleh bergantung pada ambang yang sudah usang.

Kesalahan Umum

Mengandalkan $F > 10$ sebagai tanda aman. Ambang Staiger–Stock 1997 sudah usang untuk inferensi. F = 15 sering memberi uji-t yang ukuran sebenarnya 15–20%, bukan 5%. Untuk uji-t baku, ambang yang benar adalah 104,7 — atau pakai tF/Anderson–Rubin di bawah itu.

Melaporkan SE 2SLS baku saat instrumen lemah. Distribusi estimator menyimpang dari normal, sehingga standard error baku dan selang kepercayaan yang menyertainya menyesatkan — biasanya tampak terlalu sempit. Pakai koreksi tF atau Anderson–Rubin.

Menumpuk banyak instrumen lemah. Menambah instrumen yang sama-sama lemah memperburuk bias 2SLS ke arah OLS, bukan memperbaikinya. Lebih baik satu instrumen kuat daripada sepuluh yang lemah.

Tidak melaporkan F tahap pertama. Penelaah jurnal modern wajib melihat F tahap pertama. Tanpa angka itu, kekuatan instrumen — dan kelayakan seluruh strategi identifikasi — tak bisa dinilai.

Menyamakan “relevan” dengan “cukup kuat”. Instrumen bisa secara statistik signifikan di tahap pertama (relevan) tetapi tetap lemah untuk inferensi 2SLS. Lolos uji relevansi bukan jaminan F melewati 104,7. Dua hal yang berbeda.

Dipakai di Dunia Nyata

Imbalan dari sekolah. Instrumen klasik seperti jarak ke sekolah atau kuartal kelahiran (Angrist–Krueger 1991) terkenal lemah. Ambang modern mengungkap bahwa banyak taksiran imbalan sekolah dari instrumen lemah sebenarnya jauh lebih tidak pasti daripada yang dilaporkan.

Institusi dan pertumbuhan. Instrumen historis untuk kualitas institusi sering punya F sedang, bukan tinggi. Prosedur tF dan Anderson–Rubin memberi inferensi yang lebih jujur tentang ketidakpastiannya.

Evaluasi kebijakan di Indonesia. Saat instrumen alami — jarak administratif, aturan kelayakan program, guncangan cuaca — dipakai untuk menaksir efek bantuan sosial atau infrastruktur, kekuatannya sering pas-pasan. Koreksi weak-IV menjadi syarat agar klaim kausal layak dipercaya pembuat kebijakan.

Keuangan korporat. Efek tata kelola, struktur modal, atau kepemilikan institusional pada kinerja perusahaan kerap diestimasi dengan IV. Karena instrumen di bidang ini jarang sangat kuat, melaporkan F tahap pertama dan inferensi terkoreksi kini menjadi standar di jurnal terbaik.

Lanjutan

Instrumen lemah adalah sisi gelap dari metode variabel instrumen: alat yang ampuh saat instrumennya kuat, tetapi menipu saat instrumennya lemah. Kuncinya selalu sama — periksa F, lalu koreksi inferensinya.

• Sebelumnya: Variabel instrumen — logika IV/2SLS, dua syarat instrumen, dan F tahap pertama, tempat semua ini bermula.
• Pendalaman solusi: Anderson-Rubin Test — inferensi yang tetap sah berapa pun kekuatan instrumen, jaring pengaman saat F rendah.
• Cara lain melawan endogenitas: Hausman Test untuk menilai apakah endogenitas benar-benar perlu dikhawatirkan, dan Apa itu endogeneity untuk penyakit yang melatarbelakangi seluruh diskusi ini.

Reference

• Staiger, D., & Stock, J. H. (1997). “Instrumental variables regression with weak instruments.” Econometrica, 65(3), 557–586.
• Stock, J. H., & Yogo, M. (2005). “Testing for weak instruments in linear IV regression.” Dalam Identification and Inference for Econometric Models. Cambridge University Press.
• Lee, D. S., McCrary, J., Moreira, M. J., & Porter, J. (2022). “Valid t-ratio inference for IV.” American Economic Review, 112(10), 3260–3290.
• Andrews, I., Stock, J. H., & Sun, L. (2019). “Weak instruments in instrumental variables regression: Theory and practice.” Annual Review of Economics, 11, 727–753.