Exploratory Data Analysis dan Visualisasi Data

Big Data Analysis · Pertemuan 5 · Program Bisnis Digital

CPMK 1 CPMK 2 CPMK 3 150 menit

Agenda Pertemuan

Sesi Teori (60 menit)

Konsep dan framework EDA
Statistik deskriptif dalam Big Data
Prinsip desain visualisasi data
Jenis-jenis chart dan use case
Arsitektur dashboard interaktif

Sesi Praktik (90 menit)

EDA dengan Python (Pandas + Seaborn)
Visualisasi interaktif dengan Plotly
Membangun dashboard sederhana (Streamlit / Looker Studio)
Studi kasus data transaksi e-commerce Indonesia
Diskusi & presentasi insight

Tujuan Pembelajaran

Menjelaskan tahapan EDA dan memilih statistik deskriptif yang tepat untuk dataset Big Data

Mengoperasikan tools visualisasi (Python Seaborn/Plotly, Looker Studio) untuk menghasilkan chart yang informatif

Merancang dan membangun dashboard interaktif yang mendukung insight bisnis bagi pemangku kepentingan

Topik 1

Exploratory Data Analysis (EDA)

Apa Itu EDA?

EDA adalah proses menjelajahi dataset secara sistematis untuk memahami karakteristiknya sebelum pemodelan formal dilakukan. Diperkenalkan oleh John W. Tukey (1977).

Tujuan utama EDA:

Memahami distribusi dan rentang variabel
Mendeteksi outlier dan anomali
Menemukan pola tersembunyi dan korelasi
Mengidentifikasi missing values
Memvalidasi asumsi analisis lanjutan

EDA Pipeline (umum)
1. Load & inspect data
2. Summary statistics
3. Distribusi univariat
4. Analisis bivariat & multivariat
5. Deteksi outlier & missing values
6. Dokumentasi temuan

Di konteks Big Data, EDA sering dilakukan pada sampel representatif terlebih dahulu (misal: 10% data) sebelum dijalankan penuh di cluster.

Statistik Deskriptif untuk Big Data

Kelompok	Metrik	Fungsi	Contoh Kasus
Tendensi Sentral	Mean, Median, Mode	Nilai "tipikal" data	Rata-rata nilai transaksi GoPay per hari
Dispersi	Std Dev, IQR, Range	Sebaran nilai	Variabilitas harga produk Tokopedia per kategori
Bentuk Distribusi	Skewness, Kurtosis	Asimetri & ekor distribusi	Distribusi skor kredit nasabah BRI
Posisi	Persentil, Kuartil	Pembagian data ke segmen	Segmentasi pelanggan BRImo berdasarkan frekuensi login
Hubungan	Korelasi Pearson/Spearman	Kekuatan asosiasi antar variabel	Korelasi frekuensi pembelian vs. churn rate Shopee

Pada dataset >1 juta baris, gunakan approximate statistics (HyperLogLog untuk cardinality, t-digest untuk persentil) agar efisien secara komputasi.

Coba Sendiri: Hitung Mean, Median, dan Sebaran Data

Masukkan sekumpulan angka lalu amati bagaimana mean, median, standar deviasi, dan kuartil berubah seketika.

Coba Sendiri: Baca Kekuatan Korelasi Pearson dan Spearman

Ubah pola titik data lalu amati bagaimana koefisien korelasi dan warna heatmap berubah mengikuti kekuatan hubungannya.

Mendeteksi Masalah Data dalam EDA

Missing Values

MCAR (Missing Completely at Random): acak murni, bisa di-drop
MAR (Missing at Random): tergantung variabel lain, perlu imputation
MNAR (Missing Not at Random): sistematis, hati-hati bias

Outlier Detection

IQR Method: outlier jika < Q1 - 1.5×IQR atau > Q3 + 1.5×IQR
Z-score: |z| > 3 dianggap outlier (distribusi normal)
Isolation Forest: untuk multivariate outlier di data besar

Pada data transaksi Gojek atau BCA, outlier bisa bermakna (fraud, peak event) atau kesalahan input — EDA yang baik membedakan keduanya sebelum keputusan imputasi atau penghapusan data diambil.

Topik 2

Teknik Visualisasi Data

Prinsip Desain Visualisasi Data

Akurasi

Skala sumbu dimulai dari nol (bar chart)
Hindari dual Y-axis yang menyesatkan
Label satuan selalu dicantumkan

Kejelasan

Satu chart = satu pesan utama
Minimisasi chart junk (gridline berlebih, 3D palsu)
Gunakan hierarki visual (size, color, position)

Efisiensi

Data-ink ratio tinggi (Tufte)
Highlight elemen penting dengan warna aksen
Sesuaikan kompleksitas dengan audiens

Edward Tufte: "Above all else show the data." — Desain yang baik membiarkan data berbicara, bukan mendistraksi dengan ornamen.

Memilih Jenis Chart yang Tepat

Tujuan Analisis	Chart yang Tepat	Hindari	Contoh Bisnis
Distribusi satu variabel	Histogram, Box Plot, Violin Plot	Pie chart untuk >5 kategori	Distribusi durasi perjalanan GoRide
Perbandingan antar kategori	Bar Chart (horizontal), Lollipop	3D bar chart	Revenue per kategori produk Tokopedia Q1 2025
Tren waktu	Line Chart, Area Chart	Bar chart untuk time series padat	Volume transaksi BRImo per hari 2024
Hubungan dua variabel	Scatter Plot, Bubble Chart	Line chart untuk data non-ordinal	Korelasi harga vs. rating produk Shopee
Komposisi bagian-keseluruhan	Treemap, Stacked Bar, Pie (maks 5)	Donut chart berlapis	Porsi segmen pengguna Telkom IndiHome
Distribusi geografis	Choropleth Map, Bubble Map	Bar chart untuk data spasial	Density merchant GoPay per provinsi Indonesia

Tools Visualisasi: Ekosistem Python

Matplotlib & Seaborn — Eksplorasi

Matplotlib: kontrol penuh, level rendah
Seaborn: statistikal, sintaks ringkas, integrasi Pandas
Cocok untuk: heatmap korelasi, pairplot, distribusi
Output: gambar statis (PNG/SVG)

Plotly & Altair — Presentasi

Plotly: interaktif, zoom/hover/filter built-in
Altair: deklaratif berbasis Vega-Lite, reproducible
Cocok untuk: dashboard web, laporan eksekutif
Output: HTML interaktif

Alur kerja rekomendasi: EDA awal → Seaborn (cepat, statistikal) → temuan kunci → Plotly (interaktif, untuk stakeholder) → embed di dashboard Streamlit atau Looker Studio.

Topik 3

Dashboard Interaktif & Aplikasi Bisnis

Arsitektur Dashboard Interaktif

Komponen Utama Dashboard

KPI Cards: metrik ringkas (revenue, DAU, conversion rate)
Trend Charts: pergerakan waktu (line/area)
Breakdown Views: dekomposisi per segmen (bar, treemap)
Detail Tables: data mentah yang dapat di-drill
Filters & Controls: date range, region, kategori

Prinsip UX Dashboard

F-pattern reading: metrik terpenting di kiri atas
Progressive disclosure: ringkasan dulu, detail on-demand
Konsistensi warna: satu warna = satu makna (hijau = positif)
Mobile-first: eksekutif sering akses via smartphone
Refresh cadence: real-time vs daily vs weekly sesuai kebutuhan

Tools Dashboard: Perbandingan

Tools	Kelebihan	Keterbatasan	Cocok Untuk
Streamlit (Python)	Kode Python murni, deploy cepat, open-source	Styling terbatas tanpa CSS custom	Prototype cepat, tim data science
Looker Studio (Google)	No-code, integrasi Google ecosystem, share mudah	Kustomisasi terbatas, perlu koneksi GCP/Sheets	Dashboard bisnis non-teknis, UMKM
Tableau Public	Drag-drop powerful, komunitas besar	Versi gratis data di-publish publik	Portofolio, edukasi, data publik
Power BI	Integrasi Office 365, DAX formula powerful	Ekosistem Microsoft, lisensi berbayar	Perusahaan dengan infrastruktur Microsoft
Apache Superset	Open-source, self-hosted, SQL-native	Perlu setup infrastruktur	Startup teknis, data warehouse besar

Studi Kasus: Dashboard Operasional GoPay

Konteks Bisnis

GoPay memproses jutaan transaksi harian. Tim analitik perlu memantau kesehatan platform secara real-time untuk deteksi fraud, optimasi konversi, dan pelaporan regulasi ke OJK.

Pertanyaan Bisnis

Berapa volume & nilai transaksi per jam?
Di kota mana terjadi spike transaksi gagal?
Apakah ada pola transaksi anomali (potensi fraud)?
Bagaimana retention pengguna baru bulan ini?

Desain Dashboard

Row 1 — KPIs: Total TRX (hari ini), Success Rate (%), Avg Transaction Value, Active Users
Row 2 — Trends: Volume TRX per jam (line), Failure rate per jam (area)
Row 3 — Geo: Choropleth kota dengan TRX gagal tertinggi
Row 4 — Anomaly Flag: Tabel 10 transaksi dengan z-score tertinggi

Refresh: near real-time (5 menit) via pipeline streaming ke BigQuery → Looker Studio.

EDA dalam Praktik: Studi Kasus Tokopedia

Dataset (Simulasi)

10 juta baris transaksi produk elektronik: order_id, user_id, product_id, category, price, qty, timestamp, province, payment_method, status.

Langkah EDA

df.info() — tipe data & missing values
df.describe() — statistik deskriptif
Histogram price — cek skewness (right-skewed wajar untuk e-comm)
Boxplot price per kategori — identifikasi outlier per segmen
Heatmap korelasi — price vs. qty vs. return rate
Time series volume — pola harian & mingguan

Temuan EDA (Ilustratif)

~3.2% missing value di kolom province — transaksi luar negeri via VPN
Distribusi harga right-skewed ekstrem: median Rp 185.000, mean Rp 420.000 (dipengaruhi outlier laptop/smartphone flagship)
Volume transaksi spike pada hari Jumat (pay day effect) dan tengah malam (flash sale)
Korelasi negatif lemah antara harga dan jumlah item (-0.12) — produk mahal dibeli satuan

Setiap temuan EDA memunculkan hipotesis yang perlu divalidasi pada analisis lanjutan (Pertemuan 6).

Diagram Alur: EDA ke Dashboard

Rangkuman Pertemuan 5

5 Key Takeaways:

EDA adalah langkah wajib sebelum pemodelan — memahami distribusi, kualitas, dan pola data mencegah garbage-in-garbage-out pada analisis lanjutan.
Statistik deskriptif memiliki konteks — gunakan median (bukan mean) untuk data dengan outlier ekstrem seperti transaksi e-commerce; laporkan IQR bersama mean untuk transparansi.
Pemilihan chart = keputusan komunikasi — chart yang tepat membuat insight langsung dipahami; chart yang salah menyesatkan pengambil keputusan.
Dashboard yang baik dimulai dari pertanyaan bisnis, bukan dari data yang tersedia — terapkan question-driven design dan prinsip progressive disclosure.
EDA bersifat iteratif — setiap temuan memunculkan hipotesis baru yang mendorong eksplorasi lebih dalam atau validasi melalui teknik prediktif (Pertemuan 6).

Tugas & Diskusi

Tugas Individu (dikumpul Pertemuan 6)

Unduh dataset publik pilihan Anda (contoh: data transaksi dari Kaggle, data BPS, atau data IDX).
Lakukan EDA lengkap: statistik deskriptif, deteksi missing values & outlier, minimal 4 visualisasi berbeda.
Dokumentasikan 3 insight bisnis dari EDA dalam format markdown notebook (.ipynb).
Buat minimal 1 visualisasi interaktif menggunakan Plotly.

Diskusi Kelompok (30 menit sesi ini)

Kelompok Anda mendapat dataset penjualan mingguan toko online selama 2 tahun. Diskusikan:

Statistik deskriptif mana yang paling informatif?
Jenis chart apa yang Anda pilih untuk menampilkan tren & komposisi?
Apa 2 pertanyaan bisnis yang akan Anda jawab dengan EDA ini?
Dashboard seperti apa yang akan Anda rekomendasikan ke pemilik toko?

Pertanyaan & Diskusi

Preview Pertemuan 6:
Teknik Prediktif: Regresi dan Klasifikasi

Kita akan melanjutkan dari hipotesis yang Anda temukan di EDA hari ini menuju pemodelan prediktif — bagaimana membangun model regresi untuk memprediksi nilai transaksi dan model klasifikasi untuk mengidentifikasi potensi churn pelanggan menggunakan Python Scikit-learn.

Silakan ajukan pertanyaan atau sampaikan insight dari diskusi kelompok Anda.