Influential Observations & Outlier Diagnostics

Seorang analis meregresikan laba terhadap ukuran delapan perusahaan. Tujuh di antaranya perusahaan menengah; satu lagi konglomerat raksasa yang ukurannya berkali lipat sisanya. Ketika garis regresi ditarik, kemiringannya nyaris datar — seolah-olah ukuran perusahaan hampir tidak ada hubungannya dengan laba.

Padahal kalau konglomerat itu disingkirkan sejenak, tujuh perusahaan sisanya membentuk pola menanjak yang tegas dan rapi: makin besar perusahaan, makin tinggi labanya. Satu titik — satu perusahaan dari delapan — telah membajak seluruh kesimpulan. Angka yang dilaporkan analis itu bukan cerita tentang pola umum, melainkan cerita tentang satu raksasa yang kebetulan duduk jauh di pojok.

Titik semacam itu disebut pengamatan berpengaruh (influential observation): bukan sekadar nilai aneh, melainkan titik yang punya kekuatan menggeser hasil. Mengenalinya, membedakannya dari pencilan biasa, dan tahu kapan boleh bertindak — itulah keterampilan diagnostik yang memisahkan analisis berhati-hati dari analisis ceroboh.

Intuisi: Satu Titik Bisa Menarik Garis

Garis regresi mencari posisi yang membuat total kuadrat residual sekecil mungkin (lihat regresi linear sederhana). Karena residual dikuadratkan, titik yang menyimpang jauh dihukum berat — garis pun “tertarik” ke arahnya agar simpangannya tidak terlalu besar.

Seberapa kuat tarikan itu bergantung pada letak titik di sumbu $X$. Titik yang nilai $X$-nya dekat pusat data hanya bisa menggoyang garis sedikit, seperti orang yang berdiri di tengah jungkat-jungkit: berat badannya hampir tak mengubah keseimbangan. Tetapi titik yang nilai $X$-nya jauh di ujung punya lengan ungkit panjang — sedikit saja ia bergerak, garis ikut berputar. Inilah yang membuat satu konglomerat di ujung kanan bisa membajak garis seluruh sampel.

Awan titik di bawah ini adalah situasi yang ingin kita kuasai: tujuh titik membentuk pola rapi, lalu garis ditarik melewati semuanya.

Tiga Konsep yang Sering Dicampuradukkan

Tiga istilah berikut tampak mirip, tetapi bahayanya berbeda. Membedakannya adalah inti seluruh materi ini.

Kuncinya: titik yang berbahaya adalah yang sekaligus menyimpang di $Y$ dan jauh di $X$. Pencilan yang duduk di tengah sebaran $X$ tidak terlalu mengganggu — lengan ungkitnya pendek. Titik leverage tinggi yang kebetulan pas di garis juga aman — ia tidak menyimpang. Yang merusak adalah gabungan keduanya: jauh di $X$ sekaligus menyimpang di $Y$.

Ada satu kejutan yang akan kita lihat di contoh nanti: titik paling berpengaruh justru bisa punya residual yang kecil, sementara titik dengan residual terbesar bisa sama sekali tidak berbahaya. Itu sebabnya melihat residual saja tidak cukup.

Leverage: Seberapa Jauh di Sumbu X

Leverage (daya ungkit), dilambangkan $h_i$, mengukur seberapa jauh nilai $X$ pengamatan ke-$i$ dari pusat data. Pada regresi satu prediktor, rumusnya:

Penjelasan tiap lambang:

• $h_i$ = leverage pengamatan ke-$i$, selalu antara $0$ dan $1$. Makin besar, makin kuat titik itu bisa menarik garis.
• $n$ = banyak pengamatan. Suku $\tfrac{1}{n}$ adalah leverage dasar yang dimiliki setiap titik.
• $(x_i - \bar{x})^2$ = kuadrat simpangan nilai $X$ titik itu dari rata-rata $\bar{x}$ — sama persis dengan gagasan simpangan di variabilitas. Makin jauh dari pusat, makin besar.
• $\sum_{j=1}^{n}(x_j - \bar{x})^2$ = total kuadrat simpangan $X$ seluruh data; ini hanya penyebut penskala agar pecahannya tetap antara 0 dan 1.

Bacalah rumus ini polos: leverage = sumbangan dasar $\tfrac{1}{n}$ ditambah porsi titik itu dalam total persebaran $X$. Titik yang $X$-nya tepat di rata-rata punya pembilang nol, jadi leverage-nya minimum ($\tfrac{1}{n}$). Titik yang $X$-nya jauh di ujung mendominasi penjumlahan, jadi leverage-nya melonjak mendekati 1.

Rata-rata leverage selalu $\tfrac{k+1}{n}$, dengan $k$ = jumlah prediktor (regresi sederhana $k=1$). Aturan praktis: leverage tinggi kalau

yakni lebih dari dua kali rata-ratanya.

Residual Terstandar: Seberapa Menyimpang di Sumbu Y

Residual mentah $e_i = y_i - \hat{y}_i$ sulit dibandingkan antartitik, karena titik dengan leverage tinggi cenderung punya residual mentah yang artifisial kecil — garis “terseret” mendekatinya. Residual terstandar (standardized residual, memakai $\hat{\sigma}$ seluruh model — disebut juga internally studentized residual) mengoreksi ini dengan membagi residual oleh penaksir simpangan bakunya:

Penjelasan tiap lambang:

• $e_i = y_i - \hat{y}_i$ = residual mentah, yakni nilai aktual dikurangi nilai prediksi garis. Kalau aktualnya 13 dan garis memprediksi 9,2, maka $e = 13 - 9{,}2 = 3{,}8$.
• $\hat{\sigma}$ = simpangan baku residual model (akar dari rata-rata kuadrat residual) — ukuran sebaran tipikal residual di seluruh data.
• $\sqrt{1 - h_i}$ = faktor koreksi leverage. Titik berleverage tinggi punya $1 - h_i$ kecil, sehingga pembaginya mengecil dan residual terstandarnya membesar — justru menonjolkan titik yang residual mentahnya sempat tersamarkan.

Aturan praktis: $|r_i| > 2$ (sebagian memakai $3$) patut dicurigai sebagai pencilan. Residual terstandar menjawab “seberapa menyimpang di $Y$”, sementara leverage menjawab “seberapa jauh di $X$”. Untuk menilai pengaruh, kita perlu menggabungkan keduanya — di situlah jarak Cook masuk.

Jarak Cook: Menggabungkan Leverage dan Residual

Jarak Cook (Cook’s distance), $D_i$, adalah ukuran pengaruh paling populer. Ia menjawab satu pertanyaan langsung: seberapa besar semua prediksi (dan koefisien) bergeser kalau pengamatan ke-$i$ dibuang?

Penjelasan tiap lambang:

• $r_i^{\,2}$ = kuadrat residual terstandar — komponen “seberapa menyimpang di $Y$”.
• $k+1$ = jumlah parameter yang ditaksir (slope + intercept); pada regresi sederhana $= 2$.
• $\dfrac{h_i}{1 - h_i}$ = rasio ungkit — komponen “seberapa jauh di $X$”. Saat $h_i$ mendekati 1, rasio ini meledak; saat $h_i$ kecil, rasio ini nyaris nol.

Bacalah polos: jarak Cook = (seberapa menyimpang di $Y$) $\times$ (seberapa kuat lengan ungkitnya di $X$). Sebuah titik berbahaya hanya kalau kedua faktor sama-sama besar. Residual besar tetapi leverage kecil → $D_i$ kecil (aman). Leverage besar tetapi residual nol → $D_i$ nol (aman). Inilah yang membuat jarak Cook lebih tajam daripada melihat residual atau leverage sendiri-sendiri.

Aturan praktis untuk menafsirkan $D_i$:

Ambang lain yang umum dipakai (terutama pada $n$ besar): $D_i > \tfrac{4}{n}$.

DFBETA: Berpengaruh ke Koefisien yang Mana

Jarak Cook menyatu — ia memberi satu angka “seberapa berpengaruh”, tetapi tidak menunjukkan koefisien mana yang tergeser. DFBETA menjawab itu. Untuk tiap koefisien $j$ (intercept, slope, …), DFBETA mengukur perubahan koefisien itu ketika pengamatan ke-$i$ dibuang:

dengan $b_j$ = koefisien dari seluruh data dan $b_{j(-i)}$ = koefisien yang sama setelah pengamatan ke-$i$ dikeluarkan. Versi yang sudah diskalakan oleh galat baku disebut DFBETAS; aturan praktisnya $|\text{DFBETAS}| > \tfrac{2}{\sqrt{n}}$ patut diperhatikan. Kalau jarak Cook berkata “ada yang berpengaruh”, DFBETA berkata “ia menyeret koefisien $x$ sebanyak sekian”.

Contoh Hitung dari Nol

Mari kerjakan kasus pembuka sampai tuntas. Delapan perusahaan, $X$ = ukuran (skala terstandar), $Y$ = laba. Tujuh perusahaan menengah, satu konglomerat ($X = 20$).

Langkah 1 — data dan garis dengan semua titik.

Dengan kedelapan titik, OLS memberi $\hat{y} = 5{,}98 + 0{,}40\,x$ dengan $R^2 = 0{,}49$. Kemiringannya landai — seolah ukuran nyaris tak berhubungan dengan laba.

Langkah 2 — leverage tiap titik. Rata-rata $\bar{x} = 6{,}875$ dan total kuadrat simpangan $\sum(x_j - \bar{x})^2 = 224{,}875$. Untuk konglomerat ($x_8 = 20$):

Ambang leverage tinggi $= \tfrac{2(1+1)}{8} = 0{,}5$. Leverage konglomerat 0,891 jauh melampauinya — titik ini punya lengan ungkit yang sangat panjang. Tujuh titik lainnya berleverage 0,12–0,23 (semua di bawah ambang).

Langkah 3 — residual, residual terstandar, jarak Cook. Tabel diagnostik lengkap (semua angka diverifikasi dengan statsmodels):

Berhentilah sejenak pada dua baris yang dicetak tebal — di sinilah seluruh pelajaran terkandung:

• Titik 7 punya residual mentah terbesar (+3,80), tetapi leverage-nya biasa (0,131). Jarak Cook-nya cuma 0,19 — jauh di bawah 0,5. Ia pencilan ringan, tetapi tidak berpengaruh: lengan ungkitnya pendek.
• Titik 8 punya residual mentah yang justru sedang (−2,05, lebih kecil daripada titik 1 dan 7), sehingga tidak terlihat seperti pencilan kalau kita cuma melihat residual. Namun leverage-nya raksasa (0,891), sehingga jarak Cook-nya 24,27 — lebih dari 100 kali ambang. Inilah pengamatan yang membajak garis.

Verifikasi jarak Cook titik 8 dari rumus, memakai $r_8 = -2{,}44$ dan $h_8 = 0{,}891$:

Langkah 4 — sensitivitas: jalankan tanpa konglomerat. Buang titik 8, regresikan tujuh perusahaan sisanya:

Slope melonjak dari 0,40 menjadi 1,50 — hampir empat kali lipat — dan $R^2$ naik dari 0,49 menjadi 0,99. Pola sebenarnya tegas dan rapi; konglomerat-lah yang menyamarkannya. DFBETA untuk slope menegaskan ini secara angka: $\text{DFBETA} = b_1 - b_{1(-8)} = 0{,}40 - 1{,}50 = -1{,}10$. Satu titik menggeser slope sebesar 1,10 satuan.

Interpretasi

Angka-angka tadi menceritakan satu hal: kesimpulan analis bergantung pada satu pengamatan. Kalau ia melaporkan “ukuran perusahaan nyaris tak memengaruhi laba (slope 0,40)”, itu sesungguhnya artefak dari satu konglomerat. Cerita yang benar untuk tujuh perusahaan menengah adalah hubungan yang kuat (slope 1,50).

Perhatikan juga pelajaran metodologis: kalau analis hanya memeriksa residual, ia akan menuding titik 7 (residual terbesar) sebagai tersangka dan membiarkan titik 8 lolos — persis terbalik dari yang benar. Pencilan di $Y$ bukan ukuran pengaruh; pengaruh butuh leverage. Itu sebabnya jarak Cook, yang menggabungkan keduanya, jauh lebih informatif daripada salah satu metrik sendirian.

Apa yang Harus Dilakukan

Menemukan pengamatan berpengaruh bukan izin untuk membuangnya. Urutan tindakan yang benar:

1. Periksa datanya. Apakah salah ketik? Konglomerat dengan laba “12” terasa janggal — perusahaan sebesar itu mestinya labanya jauh lebih tinggi. Mungkin ada digit yang hilang, atau salah satuan (miliar vs triliun). Kalau terbukti salah entri, perbaiki — itu justru temuan berharga.
2. Apakah pengamatan sah tetapi ekstrem? Konglomerat itu nyata. Membuangnya berarti mengubah populasi yang Anda pelajari — kesimpulan jadi hanya berlaku untuk perusahaan menengah, dan itu harus dinyatakan terang-terangan.
3. Laporkan sensitivitas. Jalankan regresi dengan dan tanpa pengamatan itu (persis seperti tabel di Langkah 4). Kalau kesimpulan berubah, laporkan keduanya secara jujur, jangan diam-diam memilih yang Anda sukai.
4. Pertimbangkan estimasi yang tahan-pencilan (robust regression) — misalnya penaksir-M (M-estimator) atau regresi kuantil — yang memberi bobot lebih kecil pada pengamatan ekstrem alih-alih membuangnya keras-keras.

Jangan pernah membuang data diam-diam hanya karena mengganggu hasil yang diinginkan. Itu pelanggaran integritas penelitian, dan kalau ketahuan, seluruh studi kehilangan kredibilitas.

Bereksperimen Sendiri

Geser titik merah dan amati: tarik ia ke pojok (leverage tinggi + residual besar) dan lihat garis tertarik serta jarak Cook melonjak; lalu geser ia naik-turun di tengah sebaran $X$ — residual besar, tetapi garis nyaris diam.

Cek Pemahaman

1. Sebuah pengamatan punya residual terstandar $r_i = 2{,}5$, leverage $h_i = 0{,}6$, pada regresi satu prediktor ($k = 1$). Hitung jarak Cook-nya dan putuskan tindakannya.

2. (Soal transfer.) Dua pengamatan dilaporkan: pengamatan A punya residual mentah sangat besar tetapi leverage $h_A = 0{,}05$; pengamatan B punya residual mentah kecil tetapi leverage $h_B = 0{,}85$. Mana yang lebih berpotensi membajak garis regresi, dan kenapa?

3. (Soal transfer.) Pada regresi dengan $n = 50$ pengamatan dan $k = 3$ prediktor, berapa ambang leverage tinggi $\tfrac{2(k+1)}{n}$, dan berapa rata-rata leverage seluruh data?

Cara Cek di Perangkat Lunak

# R
m <- lm(y ~ x, data = dat)
hatvalues(m)            # leverage h_i
rstandard(m)            # residual terstandar (internal, dipakai di artikel ini)
rstudent(m)             # versi studentized-deleted (leave-one-out), pelengkap
cooks.distance(m)       # jarak Cook
dfbeta(m)               # DFBETA per koefisien
plot(m, which = 4)      # diagram batang jarak Cook
influence.measures(m)   # ringkasan lengkap semua metrik

* Stata
reg y x
predict lev, leverage
predict cd, cooksd
predict rs, rstudent

# Python (statsmodels)
import statsmodels.api as sm
m = sm.OLS(y, sm.add_constant(x)).fit()
infl = m.get_influence()
infl.hat_matrix_diag            # leverage
infl.resid_studentized_external # residual studentized
infl.cooks_distance[0]          # jarak Cook
infl.dfbetas                    # DFBETAS

Rumus di Excel

Excel tidak punya fungsi diagnostik bawaan, tetapi semua metrik bisa dibangun dari kolom bantu setelah LINEST memberi slope dan intercept:

=SLOPE(Y; X), =INTERCEPT(Y; X)              → koefisien garis
ŷ per baris: =INTERCEPT + SLOPE*x           → prediksi
e per baris: =y - ŷ                          → residual mentah
h per baris: =1/n + (x-AVERAGE(X))^2 / DEVSQ(X)   → leverage
D per baris: =(r^2/2) * (h/(1-h))            → jarak Cook (r = residual terstandar)

⬇ Unduh influential-observations.xlsx

Berkas pendamping menyusun tabel diagnostik delapan perusahaan di contoh ini dengan formula hidup: kolom $\hat{y}$, $e$, $h_i$, $r_i$, dan $D_i$ semua dihitung dari data mentah, plus baris perbandingan slope “dengan” dan “tanpa” konglomerat agar sensitivitasnya terlihat langsung.

Kesalahan Umum

Menyamakan pencilan dengan pengamatan berpengaruh. Seperti titik 7 di contoh: residual terbesar, tetapi jarak Cook kecil. Pencilan di tengah sebaran $X$ sering tak berpengaruh. Selalu cek leverage juga.

Hanya melihat residual, melewatkan leverage tinggi. Justru kebalikan dari kesalahan di atas: pengamatan berpengaruh (titik 8) bisa punya residual mentah yang sedang sehingga lolos dari pemeriksaan residual. Jarak Cook menangkapnya; residual mentah tidak.

Membuang pengamatan karena jarak Cook tinggi. Jarak Cook adalah alat deteksi, bukan kriteria penghapusan. Periksa dulu apakah datanya sah; baru pertimbangkan tindakan, dan laporkan sensitivitasnya.

Tidak melaporkan analisis sensitivitas. Kalau kesimpulan bergantung pada satu-dua pengamatan, pembaca berhak tahu. Sajikan hasil dengan dan tanpa pengamatan itu — jangan diam-diam memilih versi yang menguntungkan.

Mengandalkan satu metrik saja. Leverage, residual terstandar, jarak Cook, dan DFBETA saling melengkapi: leverage menunjuk potensi, residual menunjuk simpangan, jarak Cook menggabungkan, DFBETA memerinci koefisien mana. Lihat keseluruhannya.

Lupa bahwa pengamatan ekstrem bisa jadi temuan penting. Kadang titik ekstrem justru fenomena yang menarik — krisis, anomali pasar, perusahaan unik — bukan gangguan untuk dibuang. Pengaruh besar adalah sinyal untuk menyelidiki, bukan otomatis menghapus.

Dipakai di Dunia Nyata

• Data keuangan perusahaan. Sampel saham IDX bercampur perusahaan kecil dan raksasa (BBCA, ASII). Tanpa diagnostik pengaruh, satu konglomerat bisa membuat hasil regresi sekadar bercerita tentang segelintir emiten besar, bukan tentang pola pasar secara umum.
• Survei rumah tangga. Salah entri pendapatan (mis. digit terlewat atau salah satuan) menciptakan pengamatan ekstrem. Diagnostik pengaruh membantu menemukan kesalahan input sebelum hasil dipublikasikan.
• Estimasi makro lintas negara. Sampel kecil negara: satu negara dengan karakteristik unik (mis. negara pengekspor minyak) bisa mendominasi estimasi. Pemeriksaan leverage menjadi wajib sebelum menarik kesimpulan kebijakan.

Lanjutan

• Sebelumnya: Diagnostik regresi — peta lengkap pemeriksaan setelah regresi, tempat materi ini menjadi salah satu cabang.
• Pondasi: Regresi linear sederhana dan Asumsi klasik Gauss-Markov (BLUE) — kenapa garis dicari dengan kuadrat terkecil dan asumsi apa yang menopangnya.
• Berikutnya: Heteroskedastisitas dan Bentuk fungsional — gangguan lain yang juga ditangkap lewat pemeriksaan residual.

Reference

• Cook, R.D. (1977), “Detection of Influential Observation in Linear Regression”, Technometrics.
• Belsley, D.A., Kuh, E., & Welsch, R.E. (1980), Regression Diagnostics: Identifying Influential Data and Sources of Collinearity.
• Wooldridge, J.M. (2019), Introductory Econometrics: A Modern Approach, Bab 9.