Menghitung dan menginterpretasikan metrik evaluasi model klasifikasi (akurasi, presisi, recall, F1-score, AUC) dalam konteks bisnis.
02
Menjelaskan konsep overfitting dan menerapkan cross-validation untuk menghasilkan estimasi performa yang andal.
03
Mengidentifikasi sumber bias algoritmik dan memilih strategi mitigasi yang tepat untuk konteks bisnis digital.
04
Merumuskan rekomendasi evaluasi model yang mempertimbangkan trade-off antara akurasi dan keadilan (fairness).
Topik 1
Metrik Evaluasi Model Klasifikasi
Akurasi • Presisi • Recall • F1-score • AUC-ROC
Confusion Matrix: Fondasi Evaluasi
Prediksi: Positif
Prediksi: Negatif
Aktual: Positif
TP (True Positive)
FN (False Negative)
Aktual: Negatif
FP (False Positive)
TN (True Negative)
Contoh konteks: Model deteksi kredit macet BRImo. Positif = nasabah akan gagal bayar.
False Negative (FN) — Type II Error
Nasabah gagal bayar tapi model prediksi aman. Risiko kredit macet.
False Positive (FP) — Type I Error
Nasabah baik tapi model prediksi gagal bayar. Kehilangan nasabah potensial.
Coba Sendiri: Geser Cut-off Skoring Kredit
Geser ambang batas (cut-off) skor kredit dan amati bagaimana trade-off antara Kesalahan Tipe I (FP) dan Tipe II (FN) berubah.
Empat Metrik Utama
Akurasi = (TP + TN) / (TP + TN + FP + FN) Proporsi prediksi yang benar dari total data
Presisi = TP / (TP + FP) Dari yang diprediksi positif, berapa yang benar-benar positif?
Recall (Sensitivitas) = TP / (TP + FN) Dari yang benar-benar positif, berapa yang berhasil terdeteksi?
F1-Score = 2 × (Presisi × Recall) / (Presisi + Recall) Harmonic mean presisi & recall — baik untuk data imbalanced
Kasus Bisnis
Prioritaskan
Alasan
Deteksi kredit macet
Recall tinggi
Jangan lewatkan default
Filter spam email
Presisi tinggi
Jangan buang email penting
Rekomendasi produk
F1-Score
Keseimbangan keduanya
Deteksi fraud Gojek
Recall tinggi
Fraud 1 saja bisa viral
Catatan: Akurasi bisa menyesatkan pada data imbalanced. Jika 95% transaksi normal dan 5% fraud, model yang selalu prediksi "normal" pun akurasinya 95%.
Coba Sendiri: Hitung Metrik dari Confusion Matrix
Ubah nilai TP, FP, FN, TN dan amati bagaimana akurasi, presisi, recall, F1, dan AUC-ROC berubah bersamaan.
AUC-ROC: Mengukur Kekuatan Diskriminasi Model
ROC Curve memplot True Positive Rate (Recall) vs False Positive Rate pada berbagai threshold keputusan.
AUC (Area Under Curve)
AUC = 1.0 → Model sempurna
AUC = 0.5 → Sama dengan tebak acak
AUC < 0.5 → Model lebih buruk dari acak
AUC ≥ 0.80 → Umumnya diterima industri
AUC ≥ 0.90 → Excellent untuk kredit scoring
Interpretasi intuitif: AUC = probabilitas bahwa model memberi skor lebih tinggi ke sampel positif acak dibanding sampel negatif acak.
Topik 2
Cross-Validation & Overfitting
Estimasi performa yang andal • Generalisasi model
Overfitting vs Underfitting
Underfitting
Model terlalu sederhana Training & test error tinggi
Fit Optimal
Model sesuai pola data Training & test error rendah
Overfitting
Model "hafal" data latih Training rendah, test tinggi
Tanda bahaya overfitting: Akurasi training 99% tapi akurasi test hanya 72%. Gap besar = model hafal noise, bukan pola.
Cross-Validation: Estimasi Performa yang Andal
k-Fold Cross-Validation: data dibagi k bagian (fold); model dilatih k kali, setiap kali menggunakan k-1 fold sebagai training dan 1 fold sebagai validasi.
Teknik
Kapan Dipakai
5-Fold CV
Data sedang (~1k-50k baris), cepat
10-Fold CV
Estimasi lebih stabil, data besar
Leave-One-Out
Data sangat kecil (<100 baris)
Stratified CV
Data imbalanced (fraud, churn)
Time-Series CV
Data urutan waktu (saham, demand)
Hasil CV yang baik: Mean F1 = 0.81 ± 0.03 (variance kecil = model stabil lintas fold)
Teknik Mencegah Overfitting
Regularisasi
Tambahkan penalti ke model untuk membatasi kompleksitas. L1 (Lasso) memaksa koefisien kecil menjadi nol (seleksi fitur otomatis). L2 (Ridge) mengecilkan semua koefisien secara proporsional.
Pruning (Decision Tree)
Batasi kedalaman pohon keputusan. Pohon yang terlalu dalam cenderung hafal noise. Pre-pruning: hentikan pertumbuhan lebih awal. Post-pruning: pangkas cabang yang tidak signifikan.
Dropout (Neural Network)
Secara acak "matikan" sebagian neuron selama training. Memaksa jaringan belajar representasi yang redundan dan lebih robust. Dropout rate 0.2–0.5 umum dipakai.
Early Stopping
Hentikan training ketika performa validasi mulai turun meskipun performa training masih naik. Simpan model pada epoch dengan validasi terbaik.
Data Augmentation & Tambah Data
Model overfit lebih mudah di data kecil. Tambah data nyata, atau gunakan teknik augmentasi (duplikasi dengan variasi) untuk memperkaya data training.
Topik 3
Bias Algoritmik: Sumber & Mitigasi
Fairness • Akuntabilitas • Transparansi AI
Apa Itu Bias Algoritmik?
Bias algoritmik terjadi ketika sistem AI menghasilkan keluaran yang secara sistematis tidak adil atau diskriminatif terhadap kelompok tertentu.
Definisi kerja: Model bias jika performanya berbeda secara signifikan antar kelompok demografis (gender, usia, lokasi, etnis) atau jika keputusannya secara tidak proporsional merugikan kelompok yang sudah rentan.
Bias algoritmik bukan berarti model salah secara statistik — model bisa sangat akurat secara keseluruhan namun tetap bias secara sistemik.
Jenis Bias
Definisi Singkat
Historical bias
Data mencerminkan ketidakadilan masa lalu
Representation bias
Kelompok tertentu under-represented di data
Measurement bias
Fitur diukur tidak konsisten antar kelompok
Aggregation bias
Model tunggal untuk populasi yang heterogen
Evaluation bias
Benchmark tidak mewakili semua kelompok
Deployment bias
Konteks pakai berbeda dari konteks training
Sumber Bias: Studi Kasus Indonesia
Kasus 1: Kredit Scoring & Lokasi
Model kredit yang dilatih dari data historis cenderung memberi skor lebih rendah ke daerah dengan riwayat kredit macet tinggi — yang bisa berkorelasi dengan kemiskinan struktural, bukan risiko individu. Nasabah dari daerah tertentu di Indonesia Timur bisa terdiskriminasi meski profil keuangannya baik.
Kasus 2: Rekomendasi Gig Economy
Algoritma rating Gojek/Grab yang belajar dari data historis bisa memperkuat bias terhadap driver baru atau driver perempuan jika pola penumpang memiliki preferensi bias. Rating rendah awal → lebih sedikit order → rating sulit naik (feedback loop).
Kasus 3: Rekomendasi Produk E-commerce
Sistem rekomendasi Tokopedia yang dilatih dari data transaksi historis bisa over-recommend produk dari penjual dengan banyak review (matangnya bisnis ≠ kualitas produk). UMKM baru yang produknya baik tapi belum punya review sulit mendapat eksposur.
Kasus 4: Deteksi Konten Bermasalah
Model NLP yang dilatih dari data berbahasa Indonesia dominan Jakarta/urban bisa salah tandai konten dari dialek daerah sebagai spam atau bermasalah (measurement bias pada variasi linguistik).
Strategi Mitigasi Bias
Pre-processing
Resampling: oversample kelompok minoritas atau undersample mayoritas untuk menyeimbangkan representasi.
Re-weighting: beri bobot lebih tinggi ke sampel dari kelompok yang under-represented.
Feature removal: hapus fitur proxy yang berkorelasi tinggi dengan variabel sensitif.
In-processing
Fairness constraints: tambahkan constraint fairness ke fungsi loss selama training (mis. equalized odds).
Adversarial debiasing: latih model bersamaan dengan adversary yang mencoba memprediksi atribut sensitif dari keluaran model.
Post-processing
Threshold adjustment: gunakan threshold keputusan berbeda per kelompok untuk menyamakan false positive/negative rate.
Calibration: pastikan probabilitas output model terkalibrasi dengan baik untuk semua kelompok.
Trade-off penting: Meningkatkan fairness sering kali menurunkan akurasi keseluruhan. Keputusan ini adalah keputusan bisnis dan etika, bukan hanya teknis — harus melibatkan stakeholder non-teknis.
Diagram Siklus Evaluasi & Mitigasi Model
Fairness Metrics: Mengukur Keadilan Model
Fairness Metric
Definisi
Kapan Dipakai
Demographic Parity
Tingkat keputusan positif sama antar kelompok
Rekrutmen, iklan
Equal Opportunity
Recall (TPR) sama antar kelompok
Kredit, beasiswa
Equalized Odds
TPR dan FPR sama antar kelompok
Sistem kriminal, medis
Calibration
Probabilitas output terkalibrasi sama antar kelompok
Scoring risiko
Individual Fairness
Individu serupa diperlakukan serupa
Semua konteks
Contoh: Model Kredit BCA
Misal model punya AUC 0.85 secara keseluruhan. Namun saat dievaluasi per kelompok usia:
Usia 25-35: Recall = 0.89
Usia 55-65: Recall = 0.71
Gap 18% recall = model jauh lebih sering melewatkan kredit macet pada nasabah senior. Ini pelanggaran Equal Opportunity.
Impossibility theorem: Tidak mungkin memenuhi semua fairness metric secara bersamaan jika base rate berbeda antar kelompok (Chouldechova, 2017).
Rangkuman Pertemuan 11
Key Takeaway 1 — Pilih Metrik Sesuai Konteks Bisnis Akurasi saja tidak cukup. Pada data imbalanced (fraud, kredit macet), gunakan F1-score, presisi, recall, dan AUC-ROC. Selalu tanyakan: "Konsekuensi bisnis dari False Positive vs False Negative apa?"
Key Takeaway 2 — Cross-Validation untuk Estimasi Jujur Train-test split tunggal tidak cukup andal. Gunakan k-fold CV untuk mendapatkan estimasi performa yang stabil dan representatif. Overfitting terdeteksi dari gap besar antara train dan validation performance.
Key Takeaway 3 — Bias Algoritmik adalah Masalah Bisnis Bias bisa tersembunyi di balik metrik keseluruhan yang baik. Selalu evaluasi performa per kelompok demografis. Mitigasi membutuhkan kombinasi pendekatan teknis dan keputusan etika-bisnis.
Key Takeaway 4 — Evaluasi Adalah Siklus, Bukan Fase Model harus dipantau terus setelah deployment. Distribusi data dan perilaku pengguna berubah; model yang fair hari ini bisa bias besok.
Tugas & Diskusi
Tugas Mandiri (submit minggu depan)
Pilih satu dataset klasifikasi dari Kaggle atau data publik Indonesia (mis. data kredit BRI dari Kaggle).
Hitung confusion matrix, presisi, recall, F1-score, dan AUC-ROC menggunakan Python (scikit-learn).
Lakukan 5-fold cross-validation dan bandingkan dengan hasil single train-test split.
Identifikasi setidaknya satu potensi bias dalam dataset tersebut dan usulkan strategi mitigasinya.
Tulis laporan singkat (±500 kata) berisi interpretasi bisnis dari setiap metrik.
Pertanyaan Diskusi Kelompok
Sebuah model deteksi kredit macet BRImo punya recall 92% tapi presisi hanya 60%. Apakah ini model yang baik? Berikan argumen dari sudut pandang bisnis bank dan nasabah.
Jika Anda adalah Chief Data Officer Gojek dan menemukan bahwa algoritma driver matching memberi order 30% lebih sedikit ke driver perempuan, langkah apa yang Anda ambil? Pertimbangkan aspek teknis, bisnis, dan etika.
Kapan trade-off antara akurasi dan fairness layak diterima? Berikan satu contoh kasus di mana Anda memilih fairness meski akurasi turun, dan satu kasus sebaliknya.
Q&A
Ada pertanyaan tentang metrik evaluasi, cross-validation, atau bias algoritmik?
Preview Pertemuan 12: Dashboard & Komunikasi Data
Prinsip desain dashboard efektif untuk pengambilan keputusan
Storytelling dengan data: dari insight ke rekomendasi bisnis
Tools: Tableau, Power BI, Google Looker Studio
Studi kasus: dashboard operasional Telkom Indonesia
Persiapan: bawa laptop, install Tableau Public (gratis)
Pertemuan 11 • Data Science • Program Bisnis Digital • FEB