Statistika Deskriptif & Eksplorasi Data (EDA)

Pertemuan 4 · Data Science · Program Bisnis Digital

Data Science P4 CPMK-2 150 menit

Agenda Pertemuan

Blok 1 — Statistika Deskriptif

Ukuran tendensi sentral: mean, median, modus
Ukuran dispersi: varians & standar deviasi
Bentuk distribusi: skewness & kurtosis

Blok 2 — Visualisasi EDA

Histogram: distribusi frekuensi
Boxplot: ringkasan 5 angka & outlier
Scatter plot & heatmap korelasi

Blok 3 — Outlier & Missing Values

Deteksi: metode IQR & Z-score
Strategi penanganan outlier
Tipe missing: MCAR, MAR, MNAR

Blok 4 — Sintesis & Tindak Lanjut

Pipeline EDA end-to-end
Rangkuman & key takeaway
Tugas, diskusi, & preview P5

Tujuan Pembelajaran

Menghitung dan menginterpretasikan mean, median, modus, varians, std dev, skewness, serta kurtosis dari dataset bisnis nyata

Memilih visualisasi yang tepat (histogram, boxplot, scatter plot, heatmap) untuk mengungkap pola, distribusi, dan hubungan antar variabel

Mendeteksi outlier dengan metode IQR dan Z-score serta memilih strategi penanganan (drop, impute, cap) yang sesuai konteks bisnis

Bagian 1

Statistika Deskriptif

Meringkas data menjadi angka yang bermakna

Ukuran Tendensi Sentral

Mean (Rata-rata)

x̄ = (Σxᵢ) / n

Pakai ketika data terdistribusi simetris dan tidak ada outlier ekstrem
Contoh: rata-rata nilai transaksi harian toko
Sensitif terhadap outlier

Median (Nilai Tengah)

Nilai tengah data terurut

Pakai ketika distribusi skewed atau ada outlier (mis. data pendapatan, harga properti)
Contoh: median gaji karyawan lebih representatif dari mean jika ada CEO bergaji sangat tinggi

Modus (Nilai Terbanyak)

Nilai dengan frekuensi tertinggi

Pakai untuk data kategorikal atau distribusi multimodal
Contoh: produk paling sering dibeli di platform e-commerce
Bisa lebih dari satu modus (bimodal, multimodal)

Aturan praktis: Jika mean > median → distribusi right-skewed (ekor kanan panjang). Jika mean < median → distribusi left-skewed.

Coba Sendiri: Bandingkan Mean, Median & Modus

Tambahkan satu nilai ekstrem ke dataset dan amati mana dari tiga ukuran tendensi sentral yang paling terpengaruh.

Ukuran Dispersi: Varians & Standar Deviasi

Varians (s²)

s² = Σ(xᵢ − x̄)² / (n − 1)

Rata-rata kuadrat penyimpangan dari mean. Satuannya adalah kuadrat satuan data (mis. Rp²)—sulit diinterpretasi langsung.

Standar Deviasi (s)

s = √s²

Akar kuadrat varians. Satuannya sama dengan data asli, sehingga dapat langsung dibandingkan dengan mean. Jika s besar relatif terhadap mean → data sangat heterogen.

Ukuran	Nilai	Interpretasi
Mean penjualan (Rp juta)	8,2	Rata-rata
Std Dev (Rp juta)	3,5	Fluktuasi tipikal
Coefficient of Variation	~43%	Variasi tinggi
Min	1,0	Hari terlemah
Max	25,0	Puncak promo

Coefficient of Variation (CV) = s / x̄ × 100%
Bandingkan dispersi antar variabel yang berbeda satuan.

Coba Sendiri: Hitung Statistik Deskriptif Lengkap

Masukkan angka data lalu bandingkan hasil mean, median, standar deviasi, dan coefficient of variation yang dihitung otomatis.

Bentuk Distribusi: Skewness & Kurtosis

Skewness — Kemiringan Distribusi

g₁ = [Σ(xᵢ − x̄)³ / n] / s³

g₁ ≈ 0: distribusi simetris (normal)
g₁ > 0: right-skewed — ekor panjang ke kanan (mis. data pendapatan, transaksi dengan flash sale)
g₁ < 0: left-skewed — ekor panjang ke kiri (mis. data skor kepuasan dengan ceiling effect)

Kurtosis — Ketinggian Puncak Distribusi

g₂ = [Σ(xᵢ − x̄)⁴ / n] / s⁴ − 3

g₂ = 0: mesokurtik (normal)
g₂ > 0: leptokurtik — puncak runcing, ekor tebal (outlier sering muncul)
g₂ < 0: platikurtik — puncak datar, ekor tipis

Konteks bisnis: Data penjualan harian di Indonesia sering right-skewed akibat hari raya (Lebaran, Harbolnas). Skewness tinggi = pertimbangkan transformasi log sebelum modeling.

Bagian 2

Visualisasi EDA

Melihat yang tidak bisa diceritakan angka

Histogram: Membaca Distribusi Data

Apa yang dijawab histogram?

Di mana nilai paling banyak terkonsentrasi?
Apakah distribusi simetris, skewed, atau multimodal?
Ada nilai ekstrem di ujung kiri/kanan?

Pemilihan Jumlah Bins

Aturan Sturges: k = 1 + 3,322 × log₁₀(n)
Aturan Scott: lebar bin = 3,5s / n^(1/3)
Bins terlalu sedikit → detail hilang; terlalu banyak → noise mendominasi
Mulai dengan bins default, lalu sesuaikan berdasarkan cerita data

Cara membaca shape histogram:

Bell-shaped (normal) → mean ≈ median ≈ modus
Right-skewed → puncak kiri, ekor panjang ke kanan (mis. pendapatan, durasi kunjungan web)
Left-skewed → puncak kanan, ekor panjang ke kiri
Bimodal → dua puncak → kemungkinan ada dua subpopulasi (mis. segmen produk berbeda)
Uniform → frekuensi merata di semua nilai (mis. data acak)

Python: dfkolom.hist(bins=30) atau sns.histplot(dfkolom, kde=True)

Boxplot: Ringkasan 5 Angka & Deteksi Outlier Visual

Komponen Boxplot

Q1 (P25) — batas bawah box (persentil ke-25)
Q2 / Median (P50) — garis tengah box
Q3 (P75) — batas atas box (persentil ke-75)
IQR = Q3 − Q1 — lebar box = 50% data tengah
Whisker bawah = Q1 − 1,5 × IQR
Whisker atas = Q3 + 1,5 × IQR
Titik di luar whisker = outlier potensial

Contoh: Nilai Transaksi Pelanggan (Rp ribu)

Ukuran	Nilai (Rp ribu)
Min (dalam whisker)	~85
Q1	150
Median	280
Q3	520
Max (dalam whisker)	~1.055
IQR	370
Outlier atas (>1.055)	Beberapa titik

Python: sns.boxplot(x='kategori', y='nilai', data=df)

Coba Sendiri: Baca Boxplot & Hitung IQR

Ubah nilai data, amati bagaimana Q1/Q3/IQR dan posisi whisker pada boxplot berubah mengikuti sebaran data.

Scatter Plot & Heatmap Korelasi

Scatter Plot — Hubungan Dua Variabel

Visualisasi hubungan antara dua variabel numerik
Korelasi Pearson (r): mengukur kekuatan & arah hubungan linear

r = Σ[(xᵢ−x̄)(yᵢ−ȳ)] / [(n−1)·sₓ·sᵧ]

|r| = 0,8–1,0: korelasi kuat
|r| = 0,5–0,8: korelasi sedang
|r| < 0,3: korelasi lemah
r hanya menangkap hubungan linear — selalu lihat scatter plot!

Heatmap Korelasi — Semua Pasang Variabel

Matriks korelasi Pearson untuk semua variabel numerik sekaligus
Warna: biru tua = korelasi positif kuat; merah = negatif kuat; putih ≈ 0
Identifikasi multikolinearitas sebelum regresi (|r| > 0,8 antar prediktor = masalah)

Contoh bisnis: Heatmap antara anggaran iklan, jumlah pengunjung toko, & pendapatan. Korelasi kuat anggaran↔pengunjung dan pengunjung↔pendapatan mengkonfirmasi jalur kausal yang masuk akal untuk model.

Python: sns.heatmap(df.corr(), annot=True, cmap='coolwarm')

Coba Sendiri: Jelajahi Korelasi Pearson pada Scatter Plot

Geser titik data atau ubah pola sebaran, amati bagaimana nilai r berubah dan bagaimana heatmap merefleksikan kekuatan hubungan antar variabel.

Bagian 3

Outlier & Missing Values

Mendeteksi dan menangani data yang bermasalah

Outlier: Definisi & Sumber

Apa itu Outlier?

Observasi yang nilainya sangat berbeda dari sebagian besar data—jauh dari pusat distribusi. Outlier bukan selalu kesalahan: bisa berupa informasi berharga atau sinyal anomali.

Tipe	Contoh Bisnis
Error pengukuran	Transaksi Rp 0 karena sistem error
Error entri data	Usia pelanggan = 999 tahun
Variabilitas alami	Penjualan harbolnas 10× hari biasa
Fraud / anomali	Transaksi kartu kredit di luar negeri malam hari
Segmen berbeda	Pelanggan korporat vs ritel dalam satu dataset

Dampak outlier pada analisis:

Mean dan std dev tertarik kuat oleh outlier ekstrem
Koefisien regresi linear dapat berubah drastis (leverage point)
Algoritma berbasis jarak (k-NN, k-Means) sangat sensitif
Namun—menghapus outlier valid = kehilangan informasi penting

Prinsip Utama

Sebelum membuang outlier, selalu tanya: "Apakah ini error, atau ini justru yang paling penting untuk dipahami?" Outlier fraud detection adalah sinyal—bukan noise.

Deteksi Outlier: Metode IQR & Z-score

Metode IQR (Interquartile Range)

IQR = Q3 − Q1
Batas bawah = Q1 − 1,5 × IQR
Batas atas = Q3 + 1,5 × IQR

Observasi di luar batas = outlier potensial
Keunggulan: robust terhadap outlier itu sendiri (berbasis median & persentil)
Kapan pakai: distribusi non-normal, skewed, atau terdapat outlier yang sudah diketahui
Untuk outlier ekstrem: gunakan faktor 3,0 × IQR

Metode Z-score (Modified)

Z = (xᵢ − x̄) / s
|Z| > 3 → outlier (threshold standar)

Mengukur berapa standar deviasi suatu nilai menyimpang dari mean
Keunggulan: interpretasi intuitif, berlaku universal
Kelemahan: mean dan s sendiri dipengaruhi outlier → pakai Modified Z-score berbasis MAD (Median Absolute Deviation) untuk data sangat skewed
Kapan pakai: data mendekati distribusi normal

Rekomendasi praktis: Mulai dengan IQR (lebih aman). Gunakan Z-score sebagai validasi silang. Selalu plot hasil deteksi sebelum memutuskan tindakan.

Coba Sendiri: Uji Ambang Z-score pada Data Anda

Masukkan atau ubah nilai data, geser threshold Z, dan amati titik mana yang berpindah status jadi outlier.

Coba Sendiri: Deteksi Outlier dengan Metode IQR

Ubah nilai data dan lihat bagaimana Q1, Q3, IQR, dan batas whisker menentukan titik mana yang ditandai sebagai outlier.

Strategi Penanganan Outlier

1. Drop (Hapus)

Kapan: outlier adalah error yang jelas (entri data salah, sensor rusak)
Cara: hapus baris yang melebihi threshold
Risiko: mengurangi n, bisa bias jika outlier adalah segmen valid
Contoh: hapus transaksi dengan nilai Rp 0 atau negatif

2. Impute (Isi Ulang)

Kapan: outlier mungkin error tapi nilai "benar" bisa diperkirakan
Cara: ganti dengan mean, median, atau nilai prediksi model
Rekomendasi: gunakan median (lebih robust dari mean) untuk data skewed
Contoh: usia pelanggan 999 → ganti median usia segmen yang sama

3. Cap / Winsorize

Kapan: outlier mungkin valid tapi terlalu ekstrem untuk model
Cara: batasi nilai pada persentil tertentu (mis. P1–P99 atau P5–P95)
Keunggulan: mempertahankan semua observasi, mengurangi pengaruh ekstrem
Contoh: cap penjualan harian pada P99 untuk model forecasting

Langkah wajib sebelum memilih strategi: (1) Visualisasikan outlier, (2) Periksa apakah ada pola (mis. semua dari satu toko/tanggal tertentu?), (3) Konsultasikan dengan domain expert, (4) Dokumentasikan keputusan Anda.

Missing Values: Tipe & Strategi

Tipe	Definisi	Contoh	Strategi
MCAR Missing Completely At Random	Kekosongan tidak berkaitan dengan nilai apapun (variabel lain maupun variabel itu sendiri)	Responden survey lupa mengisi satu kolom secara acak	Listwise deletion (hapus baris) atau imputation sederhana — OK karena tidak bias
MAR Missing At Random	Kekosongan berkaitan dengan variabel lain yang terobservasi, tapi bukan dengan nilai variabel itu sendiri	Laki-laki lebih sering skip kolom pendapatan daripada perempuan	Multiple imputation berbasis variabel lain (mis. mice, KNN imputer)
MNAR Missing Not At Random	Kekosongan berkaitan dengan nilai yang hilang itu sendiri	Responden berpendapatan sangat tinggi enggan melaporkan pendapatannya	Paling sulit—butuh model khusus atau pengumpulan data tambahan; imputation bias

Strategi Umum Penanganan Missing

Deletion: hapus baris (listwise) atau kolom jika >50% missing
Mean/Median/Modus imputation: cepat, tapi underestimates variance
KNN imputation: isi berdasarkan k tetangga terdekat
Model-based imputation: prediksi nilai missing dengan regresi/random forest
Tambahkan flag kolom missing: buat variabel dummy apakah nilai missing (informasi MNAR)

Aturan praktis: Jika <5% missing → imputation sederhana OK. Jika 5–30% → pertimbangkan multiple imputation. Jika >30% → pertimbangkan drop kolom.

Pipeline EDA End-to-End

Pipeline ini bersifat iteratif: temuan di STEP 3 (visualisasi) atau STEP 4 (outlier) sering membuat Anda kembali ke STEP 2 (recalculate statistics setelah pembersihan). EDA bukan proses linear—ini proses investigasi.

Rangkuman: Key Takeaway

1. Selalu mulai dengan statistika deskriptif sebelum modeling. Mean, median, std dev, skewness, dan kurtosis memberi "sidik jari" distribusi data Anda—dan menentukan apakah asumsi normalitas terpenuhi.

2. Pilih ukuran tendensi sentral sesuai konteks. Mean untuk data simetris tanpa outlier ekstrem; median untuk data skewed atau ada outlier (pendapatan, harga, durasi); modus untuk data kategorikal.

3. Visualisasi wajib—angka saja bisa menipu (Quartet Anscombe). Histogram untuk distribusi, boxplot untuk outlier & perbandingan kelompok, scatter plot untuk hubungan dua variabel, heatmap untuk semua pasang korelasi sekaligus.

4. Investigasi outlier sebelum memutuskan tindakan. IQR robust untuk distribusi non-normal; Z-score untuk data mendekati normal. Outlier bisa berupa error, variasi valid, atau sinyal penting (fraud).

5. Pahami mekanisme missing sebelum memilih strategi. MCAR aman untuk deletion sederhana; MAR butuh imputation berbasis variabel lain; MNAR adalah masalah desain pengumpulan data yang tidak bisa diselesaikan hanya dengan imputation.

Tugas & Diskusi

Tugas Individu (Dikumpulkan P5)

Unduh dataset publik bertema bisnis Indonesia (mis. data transaksi e-commerce Tokopedia/Shopee dari Kaggle, data BPS, atau dataset pilihan dosen)
Lakukan EDA lengkap menggunakan Python (Pandas + Matplotlib/Seaborn): statistika deskriptif, 4 jenis visualisasi, deteksi outlier dengan IQR dan Z-score, identifikasi missing values
Tulis narasi singkat (300–500 kata) menjelaskan temuan utama dan implikasinya untuk keputusan bisnis
Format: Jupyter Notebook (.ipynb) + ringkasan PDF satu halaman

Pertanyaan Diskusi Kelas

Skenario 1: Anda menemukan bahwa 35% kolom "pendapatan bulanan" kosong dalam survei kepuasan pelanggan. Apa tipe missing yang paling mungkin? Strategi apa yang Anda rekomendasikan?
Skenario 2: Mean transaksi harian = Rp 8,2 juta, median = Rp 3,1 juta. Apa yang ini ceritakan tentang distribusi? Ukuran mana yang lebih tepat dilaporkan ke manajemen?
Skenario 3: Heatmap menunjukkan korelasi r = 0,92 antara anggaran iklan dan penjualan. Apakah ini berarti iklan menyebabkan penjualan naik? Apa yang perlu Anda periksa selanjutnya?

Tanya Jawab

Ada pertanyaan tentang EDA, statistika deskriptif, outlier, atau missing values?

Preview Pertemuan 5: Preprocessing & Feature Engineering

Normalisasi & standardisasi: Min-Max Scaling vs Z-score Standardization
Encoding variabel kategorikal: One-Hot Encoding, Label Encoding, Target Encoding
Feature creation: interaksi, transformasi log, binning
Train-test split: strategi dan penghindaran data leakage

Persiapkan: bawa dataset tugas individu Anda ke P5 — kita akan melanjutkan pipeline EDA ke tahap preprocessing.