‹ Daftar slidePertemuan 13: Deteksi dan Penanganan Anomali Data
PRODI BISNIS DIGITAL · FEB UNDIP
Pembelajaran Dalam dan Pembelajaran Mesin
Pertemuan 13: Deteksi dan Penanganan Anomali Data
Bagaimana mesin belajar mengenali "yang aneh" — dari transaksi kartu kredit mencurigakan hingga sensor pabrik yang menyimpang.
RPS minggu 14 · 2x50 menit
Bagian 1 dari 4
Apa Itu Anomali Data?
Definisi, jenis, dan mengapa deteksinya penting dalam bisnis digital.
Definisi: Anomali dalam Data
Anomali (disebut juga outlier) adalah observasi/data yang menyimpang signifikan dari pola mayoritas data — sehingga dicurigai dihasilkan oleh mekanisme berbeda, bukan sekadar variasi acak biasa.
CONTOH NYATA
Rp 50 juta
Transaksi tunggal BCA
Nasabah biasa belanja rata-rata Rp 300 ribu/transaksi. Tiba-tiba muncul transaksi Rp 50 juta jam 3 pagi dari lokasi asing — pola ini menyimpang jauh dari kebiasaan, layak dicurigai.
BUKAN ANOMALI
Diskon 12.12
Lonjakan transaksi Shopee
Lonjakan transaksi saat Harbolnas terlihat "ekstrem" secara angka, tapi punya penjelasan kontekstual yang wajar — bukan anomali, melainkan pola musiman yang diketahui.
Tiga Jenis Anomali
Chandola, Banerjee & Kumar (2009) mengklasifikasikan anomali data ke dalam tiga kategori utama berikut ini.
POINT ANOMALY
Satu titik data menyimpang jauh dari seluruh data lain. Paling sederhana & paling umum dideteksi.
Contoh: satu transaksi kartu kredit senilai Rp 80 juta di antara ribuan transaksi normal Rp 100 ribu–500 ribu.
CONTEXTUAL ANOMALY
Data yang aneh HANYA dalam konteks tertentu (waktu, lokasi), tapi normal di konteks lain.
Contoh: suhu 30°C wajar di siang hari Semarang, tapi anomali jika sensor gudang cold-storage mencatatnya.
COLLECTIVE ANOMALY
Sekumpulan data bersama-sama membentuk pola anomali, walau tiap titik sendiri terlihat normal.
Contoh: 20 transaksi kecil Rp 900 ribu berturut-turut dalam 3 menit — pola pemecahan (structuring) untuk hindari deteksi.
Mengapa Deteksi Anomali Penting?
DOMAIN APLIKASI
Fraud detection — transaksi kartu kredit/e-wallet mencurigakan (BCA, GoPay)
Cybersecurity — deteksi intrusi jaringan (network intrusion)
Predictive maintenance — sensor pabrik/mesin mendeteksi kerusakan dini
Kesehatan — sinyal EKG/detak jantung tidak normal
Kualitas data — menyaring entri data error sebelum analitik lanjut
Taruhan tinggi: Bank Indonesia mencatat kerugian fraud transaksi digital nasional terus meningkat tiap tahun. Satu anomali yang lolos deteksi = satu kerugian finansial nyata bagi bank atau nasabah — bukan sekadar latihan statistik di kelas.
Tantangan Utama Deteksi Anomali
DATA SANGAT TIDAK SEIMBANG
<1%
Proporsi kasus fraud riil
Dari jutaan transaksi, biasanya hanya segelintir yang benar-benar fraud. Model harus tetap peka walau contoh anomali sangat langka — disebut class imbalance.
DEFINISI "NORMAL" BERUBAH
Concept Drift
Pola bergeser dari waktu ke waktu
Pola belanja normal saat Ramadan berbeda dari hari biasa. Model yang dilatih di satu periode bisa keliru mengira pola baru sebagai anomali.
Bagian 2 dari 4
Teknik Deteksi Anomali
Dari pendekatan statistik sederhana hingga metode berbasis machine learning modern.
Pendekatan Statistik: Z-Score
Metode paling dasar: hitung seberapa jauh sebuah nilai dari rata-rata, dalam satuan standar deviasi (ukuran sebaran data). Nilai dengan |Z| > 3 umumnya dicurigai anomali.
Z = (X − μ) / σ
X = nilai data · μ (mu) = rata-rata data · σ (sigma) = standar deviasi data
Cocok untuk data berdistribusi mendekati normal (lonceng/bell-curve) dan berdimensi tunggal. Kurang tepat untuk data kompleks/multi-dimensi seperti pola transaksi e-commerce.
2. Selisih tiap data ke μ (kuadrat), lalu dirata-ratakan
Σ(X−μ)² / 6
77.978,5
3. Standar deviasi (σ)
√77.978,5
279,25
4. Z-score transaksi ke-6
(900 − 258,83) / 279,25
2,30
KESIMPULAN
|Z| = 2,30
< ambang 3 → BELUM tergolong anomali kuat (mendekati batas, perlu dipantau)
Coba Sendiri: Uji Ambang Z-Score untuk Deteksi Anomali
Ubah nominal transaksi harian, amati bagaimana rata-rata, standar deviasi, dan Z-score transaksi mencurigakan berubah.
Pendekatan Berbasis Jarak: k-Nearest Neighbor (kNN)
Ide: titik data yang jauh dari tetangga-tetangganya (k data terdekat) lebih mungkin anomali, dibanding titik yang berkerumun rapat dengan titik lain.
Skor anomali kNN = rata-rata jarak ke k tetangga terdekat. Makin besar jaraknya, makin tinggi kecurigaan anomali. Cocok untuk data multi-dimensi, tapi mahal komputasi untuk dataset sangat besar.
Pendekatan Ensemble: Isolation Forest
Algoritma modern yang sangat populer di industri. Idenya terbalik dari metode lain: anomali lebih mudah "diisolasi" (dipisahkan sendirian) dibanding data normal, karena posisinya jauh dari kerumunan.
CARA KERJA (WALKTHROUGH)
Bangun banyak "pohon keputusan" acak yang membelah data secara random
Titik normal (berkerumun) butuh BANYAK pembelahan untuk terisolasi sendirian
Titik anomali (terpencil) hanya butuh SEDIKIT pembelahan untuk terisolasi
Skor anomali = rata-rata jumlah pembelahan di semua pohon — makin sedikit, makin anomali
Keunggulan: cepat, efisien untuk data besar & berdimensi tinggi, tidak butuh asumsi distribusi data. Dipakai luas di sistem fraud detection bank & fintech (mis. deteksi anomali transaksi GoPay/OVO).
Perbandingan Tiga Teknik Deteksi Anomali
Teknik
Prinsip Dasar
Kelebihan
Kelemahan
Z-Score (statistik)
Jarak dari rata-rata dalam satuan std. deviasi
Sederhana, mudah dihitung & dijelaskan
Hanya bagus untuk 1 dimensi & distribusi normal
kNN (berbasis jarak)
Jarak ke k tetangga terdekat
Tangani banyak dimensi, tanpa asumsi distribusi
Berat komputasi di data besar
Isolation Forest (ensemble)
Kemudahan titik "diisolasi" oleh pembelahan acak
Cepat, skalabel, dipakai luas industri
Butuh tuning jumlah pohon & parameter
Tidak ada satu teknik "terbaik" mutlak — pilihan tergantung ukuran data, dimensi fitur, dan kebutuhan interpretasi bisnis.
Bagian 3 dari 3
Penanganan Anomali & Praktik
Setelah anomali terdeteksi — apa yang harus dilakukan analis & sistem? Lalu, uji pemahaman lewat kasus nyata.
Strategi Penanganan: Empat Opsi Utama
1. HAPUS (REMOVAL)
Drop
Buang data anomali dari dataset analisis, jika terbukti error input/duplikasi. Risiko: kehilangan informasi penting jika anomali sebenarnya sinyal bisnis nyata.
2. TRANSFORMASI
Cap/Winsorize
Batasi nilai ekstrem ke persentil tertentu (mis. 99%) alih-alih dihapus total — menjaga baris data tapi meredam pengaruh ekstremnya pada model.
3. TANDAI & ESKALASI
Flag → Investigasi
Anomali ditandai sistem, lalu dikirim ke tim manusia (fraud analyst) untuk verifikasi manual sebelum keputusan final — umum di perbankan & fintech.
Isolation Forest beri skor anomali 0,87 (skala 0–1)
3
Skor melewati ambang → transaksi ditahan sementara
Ambang bank = 0,75 → transaksi di-hold
4
Verifikasi otomatis ke nasabah
OTP/notifikasi konfirmasi via app/SMS
5
Keputusan akhir
Dikonfirmasi nasabah → lanjut; tidak respons/ditolak → blokir & eskalasi tim fraud
Trade-off penting: ambang terlalu rendah → banyak transaksi sah tertahan (nasabah kesal). Ambang terlalu tinggi → fraud lolos. Bank terus menyeimbangkan (tuning) ambang ini.
Metrik Evaluasi: Precision vs Recall
Karena data anomali sangat tidak seimbang, akurasi biasa menyesatkan. Dua metrik berikut lebih relevan untuk kasus fraud detection.
Precision = TP / (TP + FP)
Recall = TP / (TP + FN)
TP (True Positive) = fraud terdeteksi benar · FP (False Positive) = transaksi sah salah ditandai fraud · FN (False Negative) = fraud yang lolos tak terdeteksi
Precision tinggi = sedikit nasabah sah yang terganggu. Recall tinggi = sedikit fraud yang lolos. Bank harus menyeimbangkan keduanya sesuai toleransi risiko & biaya operasional.
Coba Sendiri: Seimbangkan Precision dan Recall
Ubah jumlah TP, FP, dan FN pada confusion matrix, amati bagaimana precision dan recall bergerak berlawanan arah.
Latihan Kelompok: Studi Kasus UMKM
SKENARIO
Sebuah UMKM fashion online di Semarang memakai sistem POS (Point of Sale) digital. Bulan ini, salah satu kasir mencatat 15 transaksi void (pembatalan) dalam satu hari — jauh di atas rata-rata harian toko yang biasanya 1–2 void.
Instruksi diskusi (kelompok 3–4 orang, 10 menit):
Jenis anomali apa yang paling tepat menggambarkan kasus ini (point/contextual/collective)? Jelaskan alasannya.
Teknik deteksi mana (Z-score/kNN/Isolation Forest) yang paling relevan diterapkan pada data historis jumlah void harian toko ini?
Rancang alur penanganan (mengacu 4 opsi tadi) yang tepat untuk kasus ini.
Jebakan Umum yang Perlu Diwaspadai
Overfitting pada "normal" masa lalu. Model yang dilatih hanya dari data historis bisa gagal mengenali pola baru yang sah (mis. tren belanja pasca-pandemi) sebagai hal wajar, bukan anomali.
Mengabaikan konteks bisnis. Skor anomali statistik tinggi tidak otomatis berarti "masalah" — perlu domain expert (analis fraud, manajer operasional) memvalidasi sebelum tindakan final.
Prinsip emas: deteksi anomali adalah alat bantu keputusan, bukan pengganti penilaian manusia sepenuhnya — terutama untuk kasus dengan dampak finansial/reputasi besar.
Rangkuman: Cheat Sheet Pertemuan 13
Konsep
Poin Kunci
Definisi anomali
Data menyimpang signifikan dari pola mayoritas, tanpa penjelasan wajar
Class imbalance (data fraud sangat langka) & concept drift (pola berubah)
Penanganan
Hapus · Transformasi/cap · Tandai & eskalasi · Model terpisah
Evaluasi
Precision (akurasi tanda fraud) vs Recall (cakupan fraud tertangkap)
Persiapan Pertemuan Berikutnya
MINGGU DEPAN (P14)
Kita akan menutup semester dengan topik Aplikasi Data Mining dan Tren Industri — merangkai seluruh materi semester (dari PCA sampai deteksi anomali) ke dalam studi kasus aplikasi nyata lintas industri, plus tren terkini (AI generatif, MLOps).
TUGAS SEBELUM PERTEMUAN 14
Refleksi
Tuliskan 1 halaman: pilih SATU teknik data mining dari semester ini (PCA/K-means/Decision Tree/dsb.) dan usulkan penerapannya pada bisnis digital pilihan Anda sendiri.