Diagnostik Regresi

Bayangkan Anda menimbang tujuh karung beras dengan timbangan digital baru. Setiap karung Anda catat berat sebenarnya, lalu Anda catat juga angka yang muncul di layar timbangan. Idealnya kedua angka selalu sama. Kenyataannya selalu ada selisih kecil: kadang layar lebih tinggi, kadang lebih rendah.

Selama selisih itu kecil dan acak — kadang lebih, kadang kurang, tanpa pola — timbangan Anda baik-baik saja. Tetapi kalau Anda perhatikan selisihnya makin besar untuk karung yang makin berat, ada yang salah pada timbangan. Pola pada selisih membongkar masalah yang tidak terlihat dari angka rata-rata mana pun.

Regresi bekerja persis seperti itu. Garis regresi adalah “timbangan” yang menebak nilai $y$ dari nilai $x$. Selisih antara nilai sebenarnya dan tebakan garis itulah yang kita periksa. Memeriksa selisih ini disebut diagnostik regresi — dan ia sering membongkar masalah yang angka $R^2$ sebesar apa pun tidak akan pernah menunjukkannya.

Intuisi: Periksa Sisa, Bukan Garisnya

Garis regresi yang kelihatan “bagus” belum tentu benar. Angka $R^2$ tinggi dan koefisien yang signifikan hanya menjawab pertanyaan “seberapa rapat titik mengikuti garis?” — bukan “apakah garis lurus memang bentuk yang tepat?” atau “apakah semua titik diperlakukan adil?”.

Cara memeriksanya bukan dengan menatap garis, melainkan dengan menatap sisa (residual): selisih antara nilai sebenarnya dan tebakan garis. Kalau garis sudah menangkap semua pola, yang tersisa hanyalah kebisingan acak — tanpa bentuk, tanpa kecenderungan. Kalau masih ada pola pada sisa, berarti masih ada cerita yang belum tertangkap garis.

Tiga masalah paling sering tampak justru di sisa, bukan di garis:

1. Pola non-linear — hubungan sebenarnya melengkung, tetapi kita memaksanya lurus.
2. Heteroskedastisitas — sebaran sisa melebar atau menyempit; tebakan tidak sama tepatnya di semua wilayah.
3. Pencilan dan titik berpengaruh — satu-dua titik ekstrem yang menarik garis ke arahnya.

Sisa (Residual): Selisih Aktual dengan Prediksi

Pondasi semua diagnostik adalah satu besaran sederhana. Untuk tiap titik data, sisa adalah nilai sebenarnya dikurangi nilai yang ditebak garis:

$$e_i = y_i - \hat{y}_i = (\text{nilai aktual} - \text{nilai prediksi})$$

Penjelasan tiap lambang:

• $y_i$ = nilai $y$ yang sebenarnya untuk titik ke-$i$ (data yang Anda amati). Contoh: berat karung yang sebenarnya, 6 kg.
• $\hat{y}_i$ (dibaca “y-topi”) = nilai $y$ yang ditebak garis untuk titik ke-$i$ (hasil memasukkan $x_i$ ke persamaan garis). Contoh: timbangan menebak 5,3 kg.
• $e_i$ = sisa titik ke-$i$, yaitu jaraknya. Pada contoh tadi $e = 6 - 5{,}3 = +0{,}7$ — titik berada di atas garis sejauh 0,7.

Tandanya bermakna: titik di atas garis memberi sisa positif (garis menebak terlalu rendah); titik di bawah garis memberi sisa negatif (garis menebak terlalu tinggi). Secara geometris, sisa adalah jarak tegak (vertikal) dari titik ke garis, diukur pada nilai $x$ yang sama:

Satu sifat penting: untuk regresi dengan konstanta, jumlah seluruh sisa selalu nol. Sisa positif dan negatif saling membatalkan persis — itulah yang membuat garis “seimbang”. Karena itu kita tidak pernah memeriksa jumlah sisa (selalu nol, tidak informatif); kita memeriksa polanya.

Contoh hitung sisa dari nol

Pakai tujuh titik pada gambar di atas. Nilai $x$: 1, 2, 3, 4, 5, 6, 7. Nilai $y$: 3, 4, 4, 6, 5, 7, 8.

Garis regresi untuk data ini (cara mendapatkannya dibahas di Regresi Linear Sederhana) adalah:

$$\hat{y} = 2{,}142857 + 0{,}785714\,x$$

Sekarang kita hitung tebakan $\hat{y}$ tiap titik, lalu sisanya. Untuk $x = 1$: $\hat{y} = 2{,}142857 + 0{,}785714 \times 1 = 2{,}9286$, jadi $e = 3 - 2{,}9286 = +0{,}0714$. Lakukan untuk ketujuh titik:

Perhatikan kolom $e_i$: jumlahnya persis nol — bukti garis sudah seimbang. Sisa terbesar (dalam nilai mutlak) ada pada $x = 5$: nilainya $-1{,}0714$, artinya titik itu berada 1,07 satuan di bawah garis. Inilah titik yang diberi label pada gambar.

Kolom paling kanan, $e_i^2$, menjumlah menjadi 2,1429. Bilangan ini disebut jumlah kuadrat sisa (sering ditulis $SSE$) dan menjadi bahan baku untuk mengukur ketepatan garis serta untuk diagnostik lanjutan.

Plot Sisa terhadap Prediksi: Satu Gambar, Tiga Pemeriksaan

Diagnostik paling penting hanya butuh satu grafik: plot sisa terhadap nilai prediksi. Sumbu mendatar diisi $\hat{y}_i$ (tebakan garis), sumbu tegak diisi $e_i$ (sisa). Sebuah garis mendatar di sisa $= 0$ menjadi acuan.

Kalau model benar, titik-titik harus berserak acak di sekitar garis nol — seperti taburan garam di atas meja, tanpa bentuk. Tiga penyimpangan yang dicari:

1. Pola melengkung → hubungan non-linear. Kalau sisa membentuk lengkungan (mula-mula di bawah nol, lalu di atas, lalu di bawah lagi — bentuk U atau U-terbalik), berarti hubungan sebenarnya melengkung tetapi kita memaksanya lurus. Garis lurus tidak akan pernah pas; obatnya menambah suku kuadrat ($x^2$) atau mengubah skala (mis. logaritma).

2. Bentuk corong → heteroskedastisitas. Idealnya lebar sebaran sisa sama di seluruh rentang prediksi (disebut homoskedastisitas — ragam sisa seragam). Kalau sebaran melebar seperti corong (sisa rapat di kiri, makin lebar ke kanan), berarti tebakan model jauh lebih meleset di sebagian wilayah daripada di wilayah lain. Ini heteroskedastisitas: ragam sisa tidak seragam. Akibatnya, galat baku koefisien menjadi tidak tepat sehingga uji signifikansi bisa menyesatkan.

3. Titik menyendiri jauh → pencilan. Satu-dua titik dengan sisa jauh lebih besar dari yang lain (jauh di atas atau di bawah kawanan) adalah pencilan — nilai yang menyimpang tajam dari pola umum. Pencilan perlu diselidiki, bukan langsung dibuang.

Pencilan vs Titik Berpengaruh: Tidak Semua Pencilan Sama Bahaya

Mudah mengira semua titik aneh sama berbahayanya. Tidak. Dua sifat berbeda menentukan seberapa besar sebuah titik dapat merusak garis: seberapa jauh sisanya dan seberapa jauh letak $x$-nya.

Leverage mengukur seberapa jauh nilai $x$ sebuah titik dari rata-rata $x$. Titik dengan $x$ ekstrem (jauh dari pusat) punya leverage tinggi: ia seperti orang yang duduk di ujung jungkat-jungkit — gerakan kecil di sana mengayun seluruh papan. Lambangnya $h_i$:

$$h_i = \frac{1}{n} + \frac{(x_i - \bar{x})^2}{\sum (x_i - \bar{x})^2}$$

Penjelasan tiap lambang:

• $n$ = banyak data. Contoh di sini $n = 7$.
• $\bar{x}$ = rata-rata nilai $x$. Untuk data kita $\bar{x} = (1+2+\dots+7)/7 = 4$.
• $(x_i - \bar{x})^2$ = kuadrat jarak $x$ titik itu dari pusat; makin jauh, makin besar leverage.
• $\sum (x_i - \bar{x})^2$ = jumlah kuadrat jarak itu untuk semua titik (untuk data kita = 28).

Untuk $x = 1$: $h = \tfrac{1}{7} + \tfrac{(1-4)^2}{28} = 0{,}1429 + \tfrac{9}{28} = 0{,}4643$. Untuk $x = 4$ (tepat di pusat): $h = \tfrac{1}{7} + \tfrac{0}{28} = 0{,}1429$ — leverage terendah. Titik di tepi ($x = 1$ dan $x = 7$) punya leverage tertinggi (0,4643), titik di tengah terendah. Pegangan kasar: leverage di atas $2p/n$ tergolong tinggi ($p$ = jumlah parameter, di sini $p = 2$, jadi $2p/n = 4/7 \approx 0{,}57$).

Gabungan keduanya — sisa besar dan leverage tinggi — itulah yang berbahaya. Titik seperti ini disebut titik berpengaruh (influential): ia sungguh-sungguh menggeser garis. Ukuran bakunya adalah jarak Cook ($D_i$):

$$D_i = \frac{e_i^2}{p \cdot MSE} \cdot \frac{h_i}{(1 - h_i)^2}$$

Penjelasan tiap lambang:

• $e_i$ = sisa titik itu (sudah kita hitung di tabel).
• $p$ = jumlah parameter model (intersep + kemiringan = 2).
• $MSE$ = rata-rata kuadrat sisa $= SSE / (n - p) = 2{,}1429 / (7 - 2) = 0{,}4286$.
• $h_i$ = leverage titik itu.

Bacaan praktisnya: nilai $D_i$ yang jauh lebih besar dari titik lain, atau melampaui $4/n$ ($= 0{,}571$ untuk data kita), patut diselidiki; $D_i > 1$ menandakan titik yang sangat berpengaruh. Untuk tujuh titik kita, jarak Cook terbesar ada pada $x = 5$ ($D \approx 0{,}35$) — masih di bawah ambang, jadi belum mengkhawatirkan, tetapi ia titik yang paling pantas dilihat lebih dulu kalau ada kecurigaan.

Kenapa satu titik bisa membelokkan garis

Untuk merasakan bahaya leverage, ganti satu titik. Misalkan titik di ujung kanan ($x = 7$) yang aslinya $y = 8$ ternyata salah catat menjadi $y = 2$ — sebuah pencilan di posisi leverage tinggi. Hitung ulang garisnya:

Kemiringan anjlok dari 0,786 menjadi 0,143 — garis yang tadinya naik tegas kini nyaris mendatar, hanya karena satu titik. Itulah leverage tinggi: titik di tepi rentang $x$ memegang kendali besar atas arah garis. Pencilan yang sama di tengah rentang ($x = 4$) akan jauh lebih jinak karena leverage-nya rendah.

Bereksperimen Sendiri

Geser titik data, ubah sebarannya, dan amati bagaimana plot sisa serta garis regresi ikut berubah. Cobalah menyeret satu titik ke posisi ekstrem dan perhatikan garis terbelokkan.

Menafsirkan: Apa Artinya bagi Keputusan

Diagnostik bukan sekadar ritual statistik — tiap temuan mengubah cara Anda memperlakukan hasil:

• Sisa serak acak. Garis lurus adalah bentuk yang tepat, ragam sisa seragam, tidak ada titik dominan. Anda boleh menafsirkan koefisien apa adanya.
• Pola melengkung. Jangan percaya koefisien linear — hubungan sebenarnya tidak lurus. Tambahkan suku $x^2$ atau ubah skala variabel, lalu diagnostik ulang.
• Bentuk corong. Koefisien masih bisa dipakai, tetapi galat baku (dan karenanya nilai-$p$) tidak andal. Gunakan galat baku yang tahan-heteroskedastisitas (robust) sebelum menarik kesimpulan signifikansi.
• Titik berpengaruh. Jalankan regresi dua kali: dengan dan tanpa titik itu. Kalau kesimpulan berubah drastis, hasil Anda rapuh dan wajib dilaporkan apa adanya — bukan disembunyikan dengan diam-diam membuang titiknya.

Inti diagnostik: ia mengubah “model saya kelihatan bagus” menjadi “saya tahu persis di mana model saya bisa dipercaya dan di mana tidak”.

Cek Pemahaman

1. Sebuah titik data punya nilai aktual $y = 10$, sedangkan garis regresi menebak $\hat{y} = 12$. Berapa sisanya, dan titik itu berada di atas atau di bawah garis?

Lihat jawaban

Sisa $e = y - \hat{y} = 10 - 12 = -2$. Karena sisanya negatif, titik berada di bawah garis (garis menebak terlalu tinggi sebesar 2 satuan).

2. Hitung sisa ketiga titik berikut dari nol. Data: $x = 1, 2, 3$ dengan $y = 2, 2, 5$. Garis regresinya $\hat{y} = 0 + 1{,}5\,x$. Lalu tunjukkan jumlah sisanya nol.

Lihat jawaban

Hitung tebakan tiap titik lalu sisanya:

$x$	$y$	$\hat{y} = 1{,}5x$	$e = y - \hat{y}$
1	2	1,5	+0,5
2	2	3,0	−1,0
3	5	4,5	+0,5

Jumlah sisa $= 0{,}5 - 1{,}0 + 0{,}5 = 0$ — sesuai sifat bahwa sisa selalu berjumlah nol untuk regresi dengan konstanta.

3. (Transfer) Anda meregresikan biaya listrik bulanan ($y$) terhadap jumlah penghuni rumah ($x$). Plot sisa terhadap prediksi menunjukkan sebaran yang sempit untuk rumah kecil dan makin melebar seperti corong untuk rumah besar. Masalah apa ini, dan kenapa nilai-$p$ koefisien menjadi tidak bisa dipercaya?

Lihat jawaban

Bentuk corong menandakan heteroskedastisitas — ragam sisa tidak seragam, makin besar untuk prediksi yang besar. Koefisien kemiringannya sendiri masih boleh ditafsirkan, tetapi rumus galat baku OLS biasa mengandaikan ragam sisa seragam. Karena asumsi itu dilanggar, galat baku terhitung salah, sehingga nilai-$t$ dan nilai-$p$ ikut salah — Anda bisa menyimpulkan suatu koefisien signifikan padahal tidak, atau sebaliknya. Penyelesaiannya: pakai galat baku robust (tahan-heteroskedastisitas) atau transformasi variabel $y$ (mis. logaritma biaya).

Kesalahan Umum

Langsung menafsirkan tanpa diagnostik. Angka $R^2$ tinggi dan koefisien signifikan tidak menjamin model benar. Bentuk non-linear atau heteroskedastisitas bisa bersembunyi di balik $R^2$ yang bagus. Selalu lihat plot sisa lebih dulu.

Mengira $R^2$ tinggi berarti model bagus. $R^2$ hanya mengukur kerapatan titik ke garis, bukan ketepatan bentuk garis. Garis lurus bisa punya $R^2$ tinggi padahal hubungan sebenarnya melengkung.

Membuang pencilan tanpa alasan. Pencilan kadang justru titik paling informatif (kesalahan input data, kejadian langka yang nyata). Selidiki dulu: salah catat? kasus istimewa? Kalau dibuang, catat alasannya dan laporkan hasil dengan dan tanpa titik itu.

Menyamakan pencilan dengan titik berpengaruh. Sisa besar di tengah rentang $x$ (leverage rendah) hampir tidak menggeser garis. Yang berbahaya adalah sisa besar plus leverage tinggi — periksa jarak Cook, bukan hanya besar sisa.

Memeriksa jumlah sisa. Jumlah sisa selalu nol untuk regresi berkonstanta, jadi tidak ada gunanya dicek. Yang informatif adalah pola sisa, bukan jumlahnya.

Dipakai di Dunia Nyata

• Penelitian akademik (Q1/ABDC). Banyak naskah ditolak penelaah karena melompati diagnostik. Lampiran “robustness” yang memuat plot sisa, uji heteroskedastisitas, dan pemeriksaan titik berpengaruh kini menjadi standar di jurnal keuangan dan akuntansi peringkat atas.
• Pemodelan keuangan dan valuasi. Saat meregresikan imbal hasil saham atau memproyeksikan arus kas, heteroskedastisitas hampir selalu muncul (volatilitas tidak konstan). Mengenalinya menentukan apakah galat baku perlu dikoreksi sebelum menyimpulkan signifikansi suatu faktor.
• Penilaian kelayakan proyek. Pada model permintaan (mis. proyeksi lalu lintas tol), satu tahun anomali bisa menjadi titik berpengaruh yang membelokkan proyeksi jangka panjang. Diagnostik leverage menyaring tahun-tahun semacam itu sebelum angka dipakai untuk keputusan investasi.
• Kendali mutu. Pola pada sisa pengukuran alat menyingkap bias sistematis (mis. alat makin meleset pada beban besar) yang tak terlihat dari rata-rata kesalahan saja.

Lanjutan

Diagnostik menutup lingkaran: dari membangun garis, memeriksa asumsinya, sampai memutuskan seberapa jauh hasilnya layak dipercaya.

• Balik ke Asumsi OLS — tujuh asumsi yang diagnostik ini periksa satu per satu.
• Lanjut ke Korelasi — ukuran keeratan hubungan, sepupu dekat regresi, lengkap dengan jebakan “korelasi bukan sebab-akibat”.
• Untuk model dengan banyak prediktor, lihat Regresi Linear Berganda — di sanalah pemeriksaan multikolinearitas (lewat variance inflation factor) menjadi penting.