Outlier dan Missing Data

Anda memasukkan data gaji sepuluh karyawan ke Excel. Sembilan orang bergaji di kisaran yang masuk akal, lalu satu sel tertulis jauh lebih tinggi dari yang lain — 95, padahal yang lain berkisar 45 sampai 60. Apakah orang itu memang direktur? Atau jari Anda salah tekan, 95 yang seharusnya 9,5? Satu angka itu, kalau dibiarkan, bisa menyeret rata-rata naik dan merusak korelasi serta regresi yang Anda hitung sesudahnya.

Di tabel yang sama, beberapa responden mengosongkan satu-dua pertanyaan. Sel-sel kosong itu juga bukan masalah sepele: kalau ditangani sembarangan, kesimpulan Anda bisa melenceng tanpa Anda sadari.

Dua hal inilah — nilai yang menyimpang jauh dan sel yang kosong — yang harus Anda bereskan sebelum satu pun uji statistik dijalankan. Materi ini menunjukkan caranya, lengkap dengan hitungan yang bisa Anda ikuti di atas kertas.

Apa Itu Pencilan

Pencilan (outlier) adalah nilai yang jauh berbeda dari mayoritas data — satu titik yang berdiri sendiri, terpisah dari gumpalan utama. Pencilan bisa muncul karena tiga sebab yang sangat berbeda:

1. Salah input. Angka 95 yang seharusnya 9,5; satuan tertukar; koma hilang. Ini galat (error) yang harus diperbaiki.
2. Kasus ekstrem yang nyata. Memang ada satu karyawan bergaji jauh di atas rekan-rekannya. Nilainya benar, bukan salah ketik.
3. Berasal dari populasi lain. Misalnya satu kuesioner ternyata diisi oleh orang di luar kriteria responden Anda.

Pesan pentingnya: pencilan tidak otomatis salah. Tugas Anda bukan langsung membuangnya, melainkan menandainya lalu memeriksa dari mana asalnya. Mengapa repot? Karena satu pencilan bisa membiaskan rata-rata, menggembungkan standar deviasi, memutar arah korelasi, dan menggeser garis regresi.

Sekarang mari kita lihat tiga cara menandai pencilan, dari yang paling sederhana sampai yang paling canggih.

Cara 1: Pagar IQR (Boxplot)

Cara pertama memakai kuartil — angka yang membagi data terurut menjadi empat bagian sama banyak. Karena kuartil hanya bergantung pada urutan data, bukan pada besar tiap nilai, satu nilai ekstrem nyaris tidak menggesernya. Itu sebabnya cara ini tahan terhadap pencilan.

Sebelum melihat rumusnya, lihat dulu gambarnya. Boxplot adalah ringkasan visual lima angka: minimum, Q1, median, Q3, dan maksimum.

Idenya: data yang normal akan terkurung rapi di dalam pagar (fence) di kiri-kanan kotak. Apa pun yang melompat keluar pagar, kita curigai sebagai pencilan. Langkahnya empat:

1. Urutkan data, cari Q1 (kuartil-1, batas 25% terbawah) dan Q3 (kuartil-3, batas 75% terbawah).
2. Hitung jarak antarkuartil: $\text{IQR} = Q_3 - Q_1$.
3. Tetapkan pagar:

$$\text{batas bawah} = Q_1 - 1{,}5 \times \text{IQR}, \qquad \text{batas atas} = Q_3 + 1{,}5 \times \text{IQR}$$

4. Nilai di luar $[\text{batas bawah};\ \text{batas atas}]$ ditandai pencilan.

Penjelasan tiap lambang:

• $Q_1$ = nilai yang memisahkan 25% data terbawah dari sisanya; $Q_3$ = nilai yang memisahkan 75% terbawah (atau 25% teratas).
• $\text{IQR}$ = lebar 50% data tengah; makin kecil IQR, makin rapat datanya.
• Angka 1,5 adalah pengali baku dari Tukey (1977). Pengali yang lebih besar (mis. 3) hanya menandai pencilan yang sangat ekstrem.

Contoh hitung pagar dari nol

Pakai data gaji tadi (satuan ratusan ribu rupiah), sudah diurutkan dari kecil ke besar ($n = 10$):

$$45,\ 48,\ 50,\ 52,\ 53,\ 55,\ 56,\ 58,\ 60,\ 95$$

Kita cari kuartil dengan metode posisi yang sama persis dengan Excel (QUARTILE.INC): $\text{posisi} = 1 + (n-1)\,p$, lalu interpolasi. (Rinciannya ada di Persentil dan Kuartil.)

• Q1 ($p = 0{,}25$): posisi $= 1 + 9 \times 0{,}25 = 3{,}25$ → di antara data ke-3 (50) dan ke-4 (52):

$$Q_1 = 50 + 0{,}25\,(52 - 50) = 50{,}5$$

• Q3 ($p = 0{,}75$): posisi $= 1 + 9 \times 0{,}75 = 7{,}75$ → di antara data ke-7 (56) dan ke-8 (58):

$$Q_3 = 56 + 0{,}75\,(58 - 56) = 57{,}5$$

Sekarang IQR dan pagarnya:

$$\text{IQR} = Q_3 - Q_1 = 57{,}5 - 50{,}5 = 7{,}0$$$$\text{batas atas} = 57{,}5 + 1{,}5 \times 7{,}0 = 57{,}5 + 10{,}5 = 68{,}0$$$$\text{batas bawah} = 50{,}5 - 1{,}5 \times 7{,}0 = 50{,}5 - 10{,}5 = 40{,}0$$

Nilai 95 jauh di atas 68, jadi 95 ditandai sebagai pencilan. Semua nilai lain (45 sampai 60) berada di dalam pagar [40; 68]. Tahan dulu angka ini — sebentar lagi kita bandingkan dengan z-score, dan hasilnya akan mengejutkan.

Cara 2: Z-Score

Cara kedua mengukur jarak sebuah nilai dari rata-rata, dalam satuan standar deviasi. Inilah z-score:

$$z = \frac{x - \bar{x}}{s}$$

Penjelasan tiap lambang:

• $x$ = nilai yang sedang diperiksa (misalnya gaji 95).
• $\bar{x}$ (dibaca “x-bar”) = rata-rata seluruh data.
• $s$ = standar deviasi sampel (jarak khas tiap data dari rata-rata; lihat Variabilitas).
• Pembilang $x - \bar{x}$ adalah simpangan: selisih nilai dari rata-rata. Kalau $\bar{x} = 57{,}2$ dan $x = 45$, simpangannya $45 - 57{,}2 = -12{,}2$ (dua belas koma dua di bawah rata-rata).

Jadi $z$ menjawab: “nilai ini berjarak berapa standar deviasi dari rata-rata?” Aturan praktisnya: $|z| > 3$ ditandai pencilan (sebagian peneliti memakai ambang 2,5).

Contoh hitung z-score dari nol

Pakai data gaji yang sama. Pertama rata-ratanya:

$$\bar{x} = \frac{45+48+50+52+53+55+56+58+60+95}{10} = \frac{572}{10} = 57{,}2$$

Lalu standar deviasi sampel. Jumlahkan kuadrat tiap simpangan $(x_i - \bar{x})^2$ — totalnya 1.773,6 — lalu bagi $n - 1 = 9$ dan akarkan:

$$s = \sqrt{\frac{1.773{,}6}{9}} = \sqrt{197{,}07} \approx 14{,}04$$

Z-score untuk nilai 95:

$$z = \frac{95 - 57{,}2}{14{,}04} = \frac{37{,}8}{14{,}04} \approx 2{,}69$$

Hasilnya 2,69 — belum melewati 3. Menurut z-score, 95 bukan pencilan. Padahal pagar IQR jelas-jelas menandainya. Mengapa berbeda?

Karena pencilan itu sendiri menggembungkan standar deviasi. Nilai 95 yang jauh dari rata-rata membuat $s$ membesar (jadi 14,04), dan $s$ yang besar duduk di penyebut rumus z, sehingga z-nya justru menyusut. Pencilan menyamarkan dirinya sendiri. Inilah kelemahan fatal z-score saat ada pencilan ekstrem — dan inilah alasan pagar IQR sering lebih dipercaya.

Cara 3: Jarak Mahalanobis (Pencilan Multivariat)

Dua cara di atas memeriksa satu variabel pada satu waktu (gaji saja, tinggi saja). Tapi ada jenis pencilan yang lolos dari keduanya: nilai yang wajar di tiap variabel sendiri-sendiri, tetapi kombinasinya aneh.

Bayangkan data tinggi dan berat badan. Tinggi 170 cm itu biasa. Berat 50 kg itu biasa. Tetapi orang setinggi 170 cm dengan berat hanya 50 kg adalah kombinasi yang tidak lazim — terlalu kurus untuk tingginya. Periksa tinggi saja: lolos. Periksa berat saja: lolos. Yang menangkapnya hanya cara yang melihat dua variabel sekaligus.

Jarak Mahalanobis mengukur jarak sebuah titik dari pusat data dengan ikut memperhitungkan korelasi antarvariabel. Untuk satu titik dengan vektor nilai $\mathbf{x}$:

$$D^2 = (\mathbf{x} - \bar{\mathbf{x}})^{\top}\, \mathbf{S}^{-1}\, (\mathbf{x} - \bar{\mathbf{x}})$$

Penjelasan tiap lambang, dalam bahasa polos:

• $\mathbf{x}$ = daftar nilai satu responden untuk semua variabel sekaligus (mis. [tinggi, berat]).
• $\bar{\mathbf{x}}$ = daftar rata-rata tiap variabel — yaitu titik pusat awan data.
• $\mathbf{x} - \bar{\mathbf{x}}$ = simpangan titik itu dari pusat, untuk tiap variabel.
• $\mathbf{S}^{-1}$ = kebalikan (invers) matriks kovarians; inilah bagian yang “memperhitungkan bentuk awan” — ia merentangkan jarak ke arah yang datanya rapat dan memendekkan ke arah yang datanya lebar.
• $D^2$ = kuadrat jarak; makin besar, makin jauh titik itu dari pusat relatif terhadap pola data.

Anda tidak perlu menghitung invers matriks dengan tangan — SPSS, R, atau Python yang melakukannya. Yang penting Anda pahami: $D^2$ tiap titik dibandingkan dengan ambang dari distribusi khi-kuadrat dengan derajat kebebasan sebanyak jumlah variabel. Titik dengan $D^2$ melewati ambang (lazimnya pada taraf $p < 0{,}001$) ditandai pencilan multivariat. Dalam analisis SEM-PLS dan regresi berganda, pemeriksaan Mahalanobis ini hampir selalu wajib (Hair et al., 2019), justru karena pencilan kombinasi tak akan tertangkap oleh boxplot atau z-score per variabel.

Apa yang Dilakukan dengan Pencilan

Menemukan pencilan bukan izin langsung membuangnya. Membuang data hanya karena mengganggu hasil adalah pelanggaran integritas. Urutannya begini:

1. Periksa sumbernya. Salah input? (95 mestinya 9,5) → perbaiki angkanya, jangan dibuang.
2. Nilai sah tapi ekstrem? → pertimbangkan tetap dipakai. Praktik yang baik: laporkan analisis dengan dan tanpa pencilan, lalu tunjukkan apakah kesimpulan berubah.
3. Buang hanya dengan justifikasi tertulis — misalnya jelas galat, atau responden ternyata di luar populasi target. Jangan pernah membuang diam-diam.
4. Alternatif tanpa membuang: ganti nilai ekstrem dengan batas pagar (winsorizing), atau pakai metode yang tahan pencilan (median, regresi robust).

Apa pun yang Anda pilih, tulis di bagian metodologi: berapa pencilan ditemukan, bagaimana ditangani, dan alasannya.

Data Hilang: Tiga Mekanisme

Beralih ke masalah kedua. Data hilang (missing data) adalah sel kosong — responden melewati pertanyaan, alat ukur gagal merekam, atau satu kuesioner tak lengkap. Sebelum memutuskan cara menanganinya, Anda harus tahu mengapa data itu hilang. Little dan Rubin (2019) membedakan tiga mekanisme — istilahnya sering disingkat, jadi mari diurai polos:

Mengapa pembedaan ini penting? Karena MCAR paling jinak: penghapusan baris aman. MAR masih bisa ditangani dengan imputasi yang baik. MNAR adalah yang berbahaya — kekosongannya membawa informasi, sehingga mengisi atau membuang begitu saja akan membiaskan hasil. MNAR menandakan masalah pada desain instrumen, bukan sekadar urusan teknis.

Menangani Data Hilang

Setelah menduga mekanismenya, pilih penanganan. Ada dua keluarga besar: menghapus atau mengisi (imputasi).

Mari lihat dua imputasi yang paling sering Anda hitung sendiri.

Imputasi rata-rata dari nol

Sebuah item dijawab enam responden; satu mengosongkan:

$$4,\ 3,\ 5,\ \square,\ 4,\ 3$$

Hitung rata-rata dari nilai yang teramati saja (lima nilai), lalu isikan ke sel kosong:

$$\text{rata-rata} = \frac{4 + 3 + 5 + 4 + 3}{5} = \frac{19}{5} = 3{,}8$$

Sel kosong diisi 3,8. Sederhana, tetapi ada harganya: semua nilai terisi jadi sama persis di tengah, sehingga varians item menyusut dan korelasinya melemah. Karena itu imputasi rata-rata hanya layak saat data hilang sangat sedikit.

Imputasi regresi dari nol

Lebih cerdas: tebak nilai kosong dari variabel lain yang berkorelasi. Misalkan pendapatan (juta) berkaitan dengan lama kerja (tahun). Dari responden yang lengkap, kita peroleh persamaan regresi:

$$\widehat{\text{pendapatan}} = 3 + 0{,}5 \times \text{lama kerja}$$

Lambang $\widehat{\text{pendapatan}}$ (dibaca “pendapatan-topi”) adalah nilai prediksi, bukan nilai aktual. Selisih keduanya adalah residual: $e = y - \hat{y} = (\text{nilai aktual} - \text{prediksi})$ — tetapi pada sel yang kosong kita memang tak punya $y$ aktual, jadi kita pakai $\hat{y}$ sebagai pengisi.

Seorang responden mengosongkan pendapatan, tetapi lama kerjanya tercatat 8 tahun. Masukkan:

$$\widehat{\text{pendapatan}} = 3 + 0{,}5 \times 8 = 3 + 4 = 7$$

Sel kosong diisi 7 juta. Imputasi regresi mempertahankan hubungan antarvariabel jauh lebih baik daripada imputasi rata-rata, tetapi tetap meremehkan ketidakpastian — itu sebabnya imputasi ganda (yang menambahkan derau acak terkontrol) dianggap standar emas.

Visualisasi Interaktif

Geser titik data dan amati langsung bagaimana pagar IQR dan z-score bereaksi berbeda terhadap pencilan.

Yang patut Anda coba:

1. Geser satu titik menjauh dan lihat boxplot menandainya sebagai pencilan begitu melewati pagar IQR.
2. Bandingkan z-score dan pagar IQR — perhatikan IQR lebih cepat menangkap pencilan ekstrem, persis seperti hitungan tadi (95 lolos z-score, tertangkap IQR).
3. Amati rata-rata bergeser tajam karena satu pencilan, sementara median nyaris tak bergerak.

Cek Pemahaman

1. Sebuah data terurut: 10, 12, 14, 15, 18, 60 ($n = 6$). Dengan metode QUARTILE.INC, diperoleh $Q_1 = 12{,}5$ dan $Q_3 = 17{,}25$. Apakah nilai 60 pencilan menurut pagar IQR?

Lihat jawaban

$\text{IQR} = 17{,}25 - 12{,}5 = 4{,}75$. Batas atas $= 17{,}25 + 1{,}5 \times 4{,}75 = 17{,}25 + 7{,}125 = 24{,}375$. Karena $60 > 24{,}375$, ya, nilai 60 adalah pencilan. (Sebagai latihan, batas bawah $= 12{,}5 - 7{,}125 = 5{,}375$; tak ada nilai di bawahnya.)

2. (Transfer) Dalam survei kepuasan kerja, kolom “gaji” banyak dikosongkan, dan setelah ditelusuri ternyata justru karyawan bergaji tinggi yang enggan mengisinya. Mekanisme data hilang yang mana ini, dan kenapa imputasi rata-rata berbahaya di sini?

Lihat jawaban

Ini MNAR (Missing Not At Random) — kekosongan bergantung pada nilai yang hilang itu sendiri (gaji tinggi). Imputasi rata-rata berbahaya karena ia mengisi sel kosong dengan rata-rata gaji yang teramati, padahal yang hilang justru yang di atas rata-rata. Hasilnya rata-rata gaji jadi terlalu rendah dan biasnya sistematis — bukan sekadar kehilangan presisi. Penanganan MNAR menuntut pembahasan terbuka, mungkin pemodelan khusus, bukan tambal cepat.

3. (Transfer) Seorang responden tercatat berusia 19 tahun tetapi memiliki masa kerja 25 tahun. Tiap angka wajar sendiri-sendiri. Cara deteksi pencilan mana yang paling mungkin menangkap keganjilan ini, dan kenapa z-score gagal?

Lihat jawaban

Jarak Mahalanobis — karena keganjilannya ada pada kombinasi dua variabel (usia 19 vs masa kerja 25), bukan pada salah satu variabel saja. Z-score (dan pagar IQR) memeriksa satu variabel pada satu waktu: usia 19 tidak ekstrem, masa kerja 25 tidak ekstrem, jadi keduanya lolos. Hanya cara yang melihat dua variabel sekaligus yang menyadari bahwa masa kerja melebihi usia adalah kombinasi mustahil.

Kesalahan Umum

Hanya pakai z-score. Saat ada pencilan ekstrem, z-score-nya bisa tetap di bawah 3 karena pencilan itu menggembungkan standar deviasi (penyebut). Selalu lengkapi dengan pagar IQR atau boxplot.

Membuang pencilan tanpa periksa. Pencilan bisa data sah, bisa galat input. Periksa sumbernya dulu; buang hanya dengan justifikasi tertulis.

Memeriksa pencilan satu variabel saja. Pada analisis berganda (regresi, SEM-PLS), pencilan multivariat lolos dari z-score per variabel. Tambahkan pemeriksaan Mahalanobis.

Mengisi semua sel kosong dengan nol. Kosong bukan nol. Mengisi 0 mengubah makna data dan menyeret rata-rata. Pakai imputasi rata-rata, regresi, atau penghapusan baris.

Mengabaikan mekanisme data hilang. Memperlakukan MNAR seperti MCAR (langsung hapus atau isi rata-rata) menghasilkan bias sistematis. Telusuri dulu kenapa data hilang.

Tidak melaporkan penanganan. Sebutkan di metodologi berapa pencilan dan sel kosong ditemukan, bagaimana ditangani, dan alasannya — demi transparansi dan keterulangan.

Dipakai di Dunia Nyata

Tahap pembersihan data skripsi. Sebelum uji validitas, reliabilitas, dan analisis utama, pencilan dan data hilang wajib dibereskan. Inilah langkah pertama bab analisis yang sering terlewat mahasiswa.

Audit data survei. Lembaga survei memeriksa kualitas data — pencilan dan pola kekosongan — sebelum hasil dilaporkan ke klien.

Analisis keuangan dan deteksi anomali. Transaksi atau observasi yang menyimpang jauh bisa menandai galat pencatatan atau bahkan kecurangan; pagar IQR dan Mahalanobis dipakai untuk menyaringnya.

Riset klinis dan epidemiologi. Penanganan data hilang yang keliru (terutama MNAR pada uji obat) dapat membalik kesimpulan — di sini imputasi ganda menjadi standar wajib.

Lanjutan

Setelah data bersih dari pencilan dan kekosongan, langkah berikutnya adalah mengenal sebaran responden lalu menguji asumsi sebelum analisis utama.

• Statistik Deskriptif dan Karakteristik Responden — meringkas data yang sudah bersih.
• Uji Asumsi Klasik: Normalitas — pencilan kerap merusak normalitas, jadi dua topik ini bersaudara.
• Observasi Berpengaruh dan Pencilan (lanjutan) — leverage, jarak Cook, dan pencilan dalam konteks regresi.

Fondasi yang dipakai di sini:

• Persentil dan Kuartil — sumber Q1, Q3, dan pagar IQR.
• Variabilitas (Varians, SD, IQR) — sumber standar deviasi untuk z-score.

Excel Companion

⬇ Unduh outlier-missing-data.xlsx

Berkas pendamping berisi: data mentah, perhitungan rata-rata dan standar deviasi manual, kolom z-score tiap nilai, perhitungan Q1/Q3/IQR beserta batas atas-bawah dengan formula hidup, penandaan pencilan otomatis, plus contoh penanganan data hilang (penghapusan baris vs imputasi rata-rata). Rumus kuncinya: =QUARTILE.INC(range;1), =QUARTILE.INC(range;3), dan =STDEV.S(range) — sama persis dengan metode hitung tangan di atas.

Reference

• Tukey, J. W. (1977). Exploratory Data Analysis. Addison-Wesley. (Aturan pagar 1,5×IQR.)
• Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2019). Multivariate Data Analysis (8th ed.). Cengage. (Jarak Mahalanobis untuk pencilan multivariat.)
• Little, R. J. A., & Rubin, D. B. (2019). Statistical Analysis with Missing Data (3rd ed.). Wiley. (Mekanisme MCAR/MAR/MNAR.)