Teknik Prediktif Lanjut dan Clustering

Mata Kuliah

Big Data Analysis

Pertemuan

7 dari 14

CPL

CPMK1 · CPMK2 · CPMK3

Agenda Pertemuan

Teori (75 menit)

Algoritma K-means: konsep & langkah
Hierarchical clustering: dendogram
Association rules: Apriori & FP-Growth
Metrics: support, confidence, lift
Model evaluation: silhouette, elbow

Praktik & Kasus (75 menit)

Segmentasi pelanggan Tokopedia
Market basket Alfamart/Indomaret
Pemilihan model terbaik
Diskusi kelompok studi kasus
Presentasi singkat & Q&A

Tujuan Pembelajaran

Menjelaskan prinsip K-means dan hierarchical clustering serta perbedaan utamanya

Menghitung support, confidence, dan lift untuk association rules secara manual

Memilih teknik clustering yang tepat berdasarkan karakteristik data bisnis

Mengevaluasi kualitas model prediktif menggunakan metrik yang sesuai konteks

Topik 1

Algoritma Clustering

K-means & Hierarchical Clustering

K-Means Clustering: Konsep Dasar

Definisi: Algoritma partisi yang membagi n observasi menjadi k kluster, di mana setiap observasi masuk ke kluster dengan centroid terdekat.

Minimasi: J = Σ Σ ‖x_i − μ_k‖²
μ_k = rata-rata semua titik di kluster k

Langkah: (1) Inisialisasi k centroid acak → (2) Assign titik ke centroid terdekat → (3) Update centroid → (4) Ulangi hingga konvergen

Coba Sendiri: Jalankan Iterasi Assignment-Update K-Means

Klik langkah demi langkah untuk melihat titik data ditugaskan ke centroid terdekat, lalu centroid diperbarui hingga konvergen.

Memilih K yang Tepat: Metode Elbow

Elbow Method: Plot nilai Within-Cluster Sum of Squares (WCSS) terhadap berbagai nilai k. Titik "elbow" adalah k optimal — di situlah penurunan WCSS mulai melambat drastis.

k	WCSS	Penurunan
2	9.200	—
3	4.800	−4.400 ✓
4	3.900	−900
5	3.600	−300
6	3.450	−150

k=3 adalah titik elbow — penurunan terbesar.

Silhouette Score

Mengukur seberapa mirip suatu titik dengan klusternya dibanding kluster tetangga.

s(i) = (b − a) / max(a, b)

s ≈ 1: titik cocok di kluster ini
s ≈ 0: di perbatasan dua kluster
s ≈ −1: salah kluster

Target: rata-rata silhouette > 0,5

Coba Sendiri: Temukan Titik Elbow pada Kurva WCSS

Ubah jumlah k lalu amati bagaimana kurva WCSS menurun dan di mana penurunannya mulai melandai (titik elbow).

Hierarchical Clustering: Membangun Dendogram

Dua pendekatan utama:

Metode	Cara Kerja	Cocok Untuk
Agglomerative (bottom-up)	Mulai dari n kluster, gabung yang terdekat	Dataset kecil-menengah
Divisive (top-down)	Mulai dari 1 kluster, pecah secara rekursif	Skenario khusus

Linkage methods:

Single linkage: jarak minimum antar pasang
Complete linkage: jarak maksimum antar pasang
Average linkage: rata-rata semua jarak (paling stabil)
Ward: minimasi variance dalam kluster (paling populer)

Coba Sendiri: Potong Dendrogram di Ketinggian Berbeda

Geser garis potong pada dendrogram lalu amati bagaimana jumlah kluster yang terbentuk berubah tanpa perlu menentukan k di awal.

Topik 2

Association Rules Mining

Menemukan pola "jika — maka" dalam data transaksi

Metrik Association Rules

Support

support(A→B) = P(A ∩ B)
= |A∪B| / |transaksi|

Seberapa sering A dan B muncul bersama dari seluruh transaksi. Threshold minimum mencegah rules trivial.

Confidence

conf(A→B) = P(B|A)
= support(A∪B) / support(A)

Seberapa sering B dibeli ketika A sudah ada di keranjang. Ukuran kekuatan rule.

Lift

lift(A→B) = conf(A→B) / support(B)

Lift > 1: A dan B benar-benar berkaitan. Lift = 1: independen. Lift < 1: saling menghindari.

Contoh: Dari 1.000 transaksi, 200 berisi mi instan, 150 berisi telur, 120 berisi keduanya.
Support = 120/1.000 = 12% | Confidence = 120/200 = 60% | Lift = 0,6/0,15 = 4,0 (sangat kuat)

Coba Sendiri: Hitung Support, Confidence, dan Lift

Ubah jumlah transaksi yang mengandung item A, B, dan keduanya, lalu amati bagaimana support, confidence, dan lift berubah.

Algoritma Apriori vs FP-Growth

Dimensi	Apriori	FP-Growth
Pendekatan	Generate-and-test (kandidat itemset)	FP-Tree — tanpa kandidat eksplisit
Skalabilitas	Lambat pada dataset besar (banyak scan DB)	Cepat — hanya 2 kali scan database
Memori	Rendah (prune dini)	Lebih tinggi (menyimpan tree)
Kelebihan	Mudah dipahami, implementasi sederhana	Efisien untuk transaksi jutaan baris
Kekurangan	Lambat jika support rendah	Tree bisa sangat besar jika data sparse
Kapan dipakai	Dataset kecil (<100 rb transaksi), pembelajaran	Produksi: POS e-commerce, ERP retail

Prinsip Apriori: Jika itemset tidak frequent, semua supersetnya juga tidak frequent — prune dini menghemat komputasi.

Interpretasi Rules untuk Keputusan Bisnis

Rule	Sup.	Conf.	Lift	Aksi
Sampo → Kondisioner	18%	72%	3.2	Bundle promo
Popok → Susu formula	9%	68%	4.5	Rak berdekatan
Kopi → Gula	31%	85%	2.1	Cross-sell
Sabun mandi → Pasta gigi	22%	61%	1.3	Pantau

Framework Keputusan

Lift > 3 + Conf > 60%: tindakan segera (bundle, rak, notifikasi)
Lift 1,5–3: uji A/B sebelum scale
Lift < 1,5: monitor, belum perlu tindakan

Rules banyak ≠ rules berguna. Filter dengan minimum lift ≥ 1,5 dan pastikan dapat ditindaklanjuti oleh tim bisnis.

Topik 3

Model Evaluation & Aplikasi Bisnis

Studi kasus Indonesia: Gojek · Tokopedia · BCA · BRImo

Model Evaluation: Kerangka Lengkap

Untuk Clustering:

Metrik	Interpretasi	Target
Silhouette Score	Kohesi vs separasi	> 0,50
Davies-Bouldin Index	Rasio scatter vs separasi	Serendah mungkin
WCSS / Elbow	Variance dalam kluster	Titik elbow
Calinski-Harabasz	Between vs within scatter	Setinggi mungkin

Untuk Model Prediktif (supervised):

Metrik	Cocok Untuk
Accuracy	Data seimbang
Precision / Recall	Kelas imbalanced (fraud, churn)
F1-Score	Keseimbangan P & R
AUC-ROC	Ranking probabilitas
RMSE / MAE	Regresi (prediksi angka)

Studi Kasus: Segmentasi Pelanggan Gojek

Konteks: Gojek memiliki ~38 juta pengguna aktif bulanan (data publik ~2023). Segmentasi diperlukan untuk personalisasi promosi GoFood, GoRide, dan GoPay.

Fitur yang digunakan:

Frekuensi order per bulan
Rata-rata nilai transaksi
Layanan dominan (GoRide/GoFood/GoPay)
Waktu aktif (pagi/siang/malam)
Recency (hari sejak order terakhir)

Hasil K-means k=4:

Segmen	Profil	Strategi
Champion	Frek tinggi, nilai tinggi	Loyalty reward
Loyal	Frek tinggi, nilai menengah	Upsell layanan
At-Risk	Pernah aktif, recency tinggi	Win-back voucher
New/Passive	Frek rendah, baru bergabung	Onboarding promo

Framework ini identik dengan RFM (Recency-Frequency-Monetary) yang umum di CRM.

Coba Sendiri: Hitung Skor RFM Pelanggan

Masukkan nilai recency, frequency, dan monetary seorang pelanggan lalu amati ke segmen mana ia jatuh (Champion, Loyal, At-Risk, atau New/Passive).

Studi Kasus: Market Basket Tokopedia

Konteks: Tokopedia (kini TikTok Shop ID) memproses jutaan transaksi harian. Association rules digunakan untuk fitur "Sering Dibeli Bersama" dan penentuan bundle produk.

Pengaturan parameter:

Algoritma: FP-Growth (skala jutaan transaksi)
Minimum support: 0,5% (50 rb dari 10 jt transaksi)
Minimum confidence: 40%
Minimum lift: 1,5
Max itemset length: 3 produk

Rules yang ditemukan (contoh ilustratif):

Rule	Lift	Aksi
Case HP → Screen protector	5.2	Bundle otomatis
Sepatu lari → Kaos kaki olahraga	3.8	"Lengkapi outfit"
Printer → Tinta refill	4.1	Subscription
Buku masak → Peralatan dapur	2.7	Cross-category

Nilai lift ilustratif untuk pembelajaran — bukan data resmi Tokopedia.

Studi Kasus: Deteksi Anomali BRImo & BCA

BRImo — Clustering untuk Profil Transaksi Normal

K-means membentuk profil transaksi normal per segmen nasabah
Transaksi yang jauh dari centroid segmennya ditandai sebagai anomali
Threshold: jarak > 3σ dari centroid = alert fraud
Diintegrasikan ke sistem real-time monitoring

BCA — Behavioral Clustering Nasabah

Hierarchical clustering mengklasifikasikan nasabah berdasarkan pola transaksi bulanan
Hasil: segmen Wealth, Mass Affluent, Mass, dan Micro
Setiap segmen mendapatkan produk dan komunikasi berbeda
Model diperbarui setiap kuartal

Pelajaran kunci: Clustering tidak hanya untuk marketing — anomaly detection, credit scoring, dan risk segmentation juga mengandalkan teknik yang sama.

Diagram: Pipeline Analitik Prediktif

Rangkuman Pertemuan 7

Key Takeaway — 5 Poin Utama:

K-means efisien untuk dataset besar tetapi memerlukan k yang ditentukan di awal; gunakan Elbow + Silhouette untuk memilih k optimal.
Hierarchical clustering tidak perlu k di awal dan menghasilkan dendogram yang intuitif, namun tidak skalabel untuk data sangat besar.
Association rules mengukur kekuatan asosiasi antar item via support, confidence, dan lift — lift > 1,5 biasanya baru layak ditindaklanjuti.

FP-Growth lebih cepat dari Apriori untuk dataset produksi (jutaan transaksi) karena hanya membutuhkan dua kali scan database.
Pemilihan metrik evaluasi bergantung konteks: silhouette score untuk clustering, AUC-ROC/Recall untuk kasus imbalanced seperti deteksi fraud.

Ingat: Teknik terbaik bukan yang paling canggih, melainkan yang paling dapat dijelaskan dan ditindaklanjuti oleh pemangku kepentingan bisnis.

Tugas & Diskusi Kelompok

Tugas Individu (dikumpul P9)

Pilih satu dataset publik (UCI Machine Learning, Kaggle, atau data simulasi) yang memiliki minimal 500 baris.
Terapkan K-means dengan k=3 dan k=5. Hitung silhouette score keduanya.
Jalankan association rules mining dengan minimum support 5% dan confidence 40%.
Tulis laporan 2 halaman: interpretasi bisnis dari kluster dan rules yang ditemukan.

Diskusi Kelompok (sesi ini)

Skenario: Anda adalah data analyst di jaringan minimarket dengan 500 gerai di Jawa Tengah. Manajer meminta Anda mengoptimalkan tata letak produk menggunakan data POS 3 bulan terakhir (simulasi: 50.000 transaksi).

Algoritma mana yang dipilih dan mengapa?
Parameter minimum support berapa yang masuk akal?
Bagaimana menyampaikan hasilnya kepada manajer non-teknis?

Q&A

Pertanyaan & Diskusi

Preview Pertemuan 8:
Insight Strategis dari Analisis Data

Kita akan membahas bagaimana mengubah output teknis (kluster, rules, prediksi) menjadi rekomendasi strategis yang dapat dipresentasikan ke C-level — dari data story telling, visualisasi eksekutif, hingga business case berbasis data.

Slides & materi: LMS Kulino UNDIP · Konsultasi: jam kantor atau email dosen