stdsquare²
🎓 Kelas
stdsquare / materi / slides / pertemuan-13
Tema
Japan
Arcade
Dark Retro
Font
‹ Daftar slide Pertemuan 13: Deteksi dan Penanganan Anomali Data
PRODI BISNIS DIGITAL · FEB UNDIP

Pembelajaran Dalam dan Pembelajaran Mesin

Pertemuan 13: Deteksi dan Penanganan Anomali Data

Bagaimana mesin belajar mengenali "yang aneh" — dari transaksi kartu kredit mencurigakan hingga sensor pabrik yang menyimpang.

RPS minggu 14 · 2x50 menit
Bagian 1 dari 4
Apa Itu Anomali Data?
Definisi, jenis, dan mengapa deteksinya penting dalam bisnis digital.

Definisi: Anomali dalam Data

Anomali (disebut juga outlier) adalah observasi/data yang menyimpang signifikan dari pola mayoritas data — sehingga dicurigai dihasilkan oleh mekanisme berbeda, bukan sekadar variasi acak biasa.

CONTOH NYATA
Rp 50 juta
Transaksi tunggal BCA
Nasabah biasa belanja rata-rata Rp 300 ribu/transaksi. Tiba-tiba muncul transaksi Rp 50 juta jam 3 pagi dari lokasi asing — pola ini menyimpang jauh dari kebiasaan, layak dicurigai.
BUKAN ANOMALI
Diskon 12.12
Lonjakan transaksi Shopee
Lonjakan transaksi saat Harbolnas terlihat "ekstrem" secara angka, tapi punya penjelasan kontekstual yang wajar — bukan anomali, melainkan pola musiman yang diketahui.

Tiga Jenis Anomali

Chandola, Banerjee & Kumar (2009) mengklasifikasikan anomali data ke dalam tiga kategori utama berikut ini.

POINT ANOMALY

Satu titik data menyimpang jauh dari seluruh data lain. Paling sederhana & paling umum dideteksi.

Contoh: satu transaksi kartu kredit senilai Rp 80 juta di antara ribuan transaksi normal Rp 100 ribu–500 ribu.

CONTEXTUAL ANOMALY

Data yang aneh HANYA dalam konteks tertentu (waktu, lokasi), tapi normal di konteks lain.

Contoh: suhu 30°C wajar di siang hari Semarang, tapi anomali jika sensor gudang cold-storage mencatatnya.

COLLECTIVE ANOMALY

Sekumpulan data bersama-sama membentuk pola anomali, walau tiap titik sendiri terlihat normal.

Contoh: 20 transaksi kecil Rp 900 ribu berturut-turut dalam 3 menit — pola pemecahan (structuring) untuk hindari deteksi.

Mengapa Deteksi Anomali Penting?

DOMAIN APLIKASI
  • Fraud detection — transaksi kartu kredit/e-wallet mencurigakan (BCA, GoPay)
  • Cybersecurity — deteksi intrusi jaringan (network intrusion)
  • Predictive maintenance — sensor pabrik/mesin mendeteksi kerusakan dini
  • Kesehatan — sinyal EKG/detak jantung tidak normal
  • Kualitas data — menyaring entri data error sebelum analitik lanjut
Taruhan tinggi: Bank Indonesia mencatat kerugian fraud transaksi digital nasional terus meningkat tiap tahun. Satu anomali yang lolos deteksi = satu kerugian finansial nyata bagi bank atau nasabah — bukan sekadar latihan statistik di kelas.

Tantangan Utama Deteksi Anomali

DATA SANGAT TIDAK SEIMBANG
<1%
Proporsi kasus fraud riil
Dari jutaan transaksi, biasanya hanya segelintir yang benar-benar fraud. Model harus tetap peka walau contoh anomali sangat langka — disebut class imbalance.
DEFINISI "NORMAL" BERUBAH
Concept Drift
Pola bergeser dari waktu ke waktu
Pola belanja normal saat Ramadan berbeda dari hari biasa. Model yang dilatih di satu periode bisa keliru mengira pola baru sebagai anomali.
Bagian 2 dari 4
Teknik Deteksi Anomali
Dari pendekatan statistik sederhana hingga metode berbasis machine learning modern.

Pendekatan Statistik: Z-Score

Metode paling dasar: hitung seberapa jauh sebuah nilai dari rata-rata, dalam satuan standar deviasi (ukuran sebaran data). Nilai dengan |Z| > 3 umumnya dicurigai anomali.

Z = (X − μ) / σ

X = nilai data · μ (mu) = rata-rata data · σ (sigma) = standar deviasi data

Cocok untuk data berdistribusi mendekati normal (lonceng/bell-curve) dan berdimensi tunggal. Kurang tepat untuk data kompleks/multi-dimensi seperti pola transaksi e-commerce.

Hitung dari Nol: Deteksi Anomali dengan Z-Score

Data nominal transaksi harian (ribu rupiah) toko online: 120, 135, 128, 140, 130, 900. Cek apakah transaksi ke-6 (Rp 900 ribu) anomali.

LangkahPerhitunganNilai
1. Rata-rata (μ)(120+135+128+140+130+900) / 6258,83
2. Selisih tiap data ke μ (kuadrat), lalu dirata-ratakanΣ(X−μ)² / 677.978,5
3. Standar deviasi (σ)√77.978,5279,25
4. Z-score transaksi ke-6(900 − 258,83) / 279,252,30
KESIMPULAN
|Z| = 2,30
< ambang 3 → BELUM tergolong anomali kuat (mendekati batas, perlu dipantau)

Coba Sendiri: Uji Ambang Z-Score untuk Deteksi Anomali

Ubah nominal transaksi harian, amati bagaimana rata-rata, standar deviasi, dan Z-score transaksi mencurigakan berubah.

Pendekatan Berbasis Jarak: k-Nearest Neighbor (kNN)

Ide: titik data yang jauh dari tetangga-tetangganya (k data terdekat) lebih mungkin anomali, dibanding titik yang berkerumun rapat dengan titik lain.

Klaster rapat (normal)AnomaliJarak rata-rata ke k tetangga = BESAR
Skor anomali kNN = rata-rata jarak ke k tetangga terdekat. Makin besar jaraknya, makin tinggi kecurigaan anomali. Cocok untuk data multi-dimensi, tapi mahal komputasi untuk dataset sangat besar.

Pendekatan Ensemble: Isolation Forest

Algoritma modern yang sangat populer di industri. Idenya terbalik dari metode lain: anomali lebih mudah "diisolasi" (dipisahkan sendirian) dibanding data normal, karena posisinya jauh dari kerumunan.

CARA KERJA (WALKTHROUGH)
  • Bangun banyak "pohon keputusan" acak yang membelah data secara random
  • Titik normal (berkerumun) butuh BANYAK pembelahan untuk terisolasi sendirian
  • Titik anomali (terpencil) hanya butuh SEDIKIT pembelahan untuk terisolasi
  • Skor anomali = rata-rata jumlah pembelahan di semua pohon — makin sedikit, makin anomali
Keunggulan: cepat, efisien untuk data besar & berdimensi tinggi, tidak butuh asumsi distribusi data. Dipakai luas di sistem fraud detection bank & fintech (mis. deteksi anomali transaksi GoPay/OVO).

Perbandingan Tiga Teknik Deteksi Anomali

TeknikPrinsip DasarKelebihanKelemahan
Z-Score (statistik)Jarak dari rata-rata dalam satuan std. deviasiSederhana, mudah dihitung & dijelaskanHanya bagus untuk 1 dimensi & distribusi normal
kNN (berbasis jarak)Jarak ke k tetangga terdekatTangani banyak dimensi, tanpa asumsi distribusiBerat komputasi di data besar
Isolation Forest (ensemble)Kemudahan titik "diisolasi" oleh pembelahan acakCepat, skalabel, dipakai luas industriButuh tuning jumlah pohon & parameter
Tidak ada satu teknik "terbaik" mutlak — pilihan tergantung ukuran data, dimensi fitur, dan kebutuhan interpretasi bisnis.
Bagian 3 dari 3
Penanganan Anomali & Praktik
Setelah anomali terdeteksi — apa yang harus dilakukan analis & sistem? Lalu, uji pemahaman lewat kasus nyata.

Strategi Penanganan: Empat Opsi Utama

1. HAPUS (REMOVAL)
Drop
Buang data anomali dari dataset analisis, jika terbukti error input/duplikasi. Risiko: kehilangan informasi penting jika anomali sebenarnya sinyal bisnis nyata.
2. TRANSFORMASI
Cap/Winsorize
Batasi nilai ekstrem ke persentil tertentu (mis. 99%) alih-alih dihapus total — menjaga baris data tapi meredam pengaruh ekstremnya pada model.
3. TANDAI & ESKALASI
Flag → Investigasi
Anomali ditandai sistem, lalu dikirim ke tim manusia (fraud analyst) untuk verifikasi manual sebelum keputusan final — umum di perbankan & fintech.
4. MODEL TERPISAH
Segmentasi
Anomali dipisah jadi kelompok/model analisis tersendiri — berguna kalau anomali justru merepresentasikan segmen pelanggan unik (mis. nasabah korporat besar).

Walkthrough: Alur Fraud Detection Bank Digital

LangkahProsesContoh
1Transaksi masuk real-timeNasabah transfer Rp 45 juta via app
2Model skoring anomali jalan otomatisIsolation Forest beri skor anomali 0,87 (skala 0–1)
3Skor melewati ambang → transaksi ditahan sementaraAmbang bank = 0,75 → transaksi di-hold
4Verifikasi otomatis ke nasabahOTP/notifikasi konfirmasi via app/SMS
5Keputusan akhirDikonfirmasi nasabah → lanjut; tidak respons/ditolak → blokir & eskalasi tim fraud
Trade-off penting: ambang terlalu rendah → banyak transaksi sah tertahan (nasabah kesal). Ambang terlalu tinggi → fraud lolos. Bank terus menyeimbangkan (tuning) ambang ini.

Metrik Evaluasi: Precision vs Recall

Karena data anomali sangat tidak seimbang, akurasi biasa menyesatkan. Dua metrik berikut lebih relevan untuk kasus fraud detection.

Precision = TP / (TP + FP)
Recall = TP / (TP + FN)

TP (True Positive) = fraud terdeteksi benar · FP (False Positive) = transaksi sah salah ditandai fraud · FN (False Negative) = fraud yang lolos tak terdeteksi

Precision tinggi = sedikit nasabah sah yang terganggu. Recall tinggi = sedikit fraud yang lolos. Bank harus menyeimbangkan keduanya sesuai toleransi risiko & biaya operasional.

Coba Sendiri: Seimbangkan Precision dan Recall

Ubah jumlah TP, FP, dan FN pada confusion matrix, amati bagaimana precision dan recall bergerak berlawanan arah.

Latihan Kelompok: Studi Kasus UMKM

SKENARIO

Sebuah UMKM fashion online di Semarang memakai sistem POS (Point of Sale) digital. Bulan ini, salah satu kasir mencatat 15 transaksi void (pembatalan) dalam satu hari — jauh di atas rata-rata harian toko yang biasanya 1–2 void.

Instruksi diskusi (kelompok 3–4 orang, 10 menit):
  • Jenis anomali apa yang paling tepat menggambarkan kasus ini (point/contextual/collective)? Jelaskan alasannya.
  • Teknik deteksi mana (Z-score/kNN/Isolation Forest) yang paling relevan diterapkan pada data historis jumlah void harian toko ini?
  • Rancang alur penanganan (mengacu 4 opsi tadi) yang tepat untuk kasus ini.

Jebakan Umum yang Perlu Diwaspadai

Overfitting pada "normal" masa lalu. Model yang dilatih hanya dari data historis bisa gagal mengenali pola baru yang sah (mis. tren belanja pasca-pandemi) sebagai hal wajar, bukan anomali.
Mengabaikan konteks bisnis. Skor anomali statistik tinggi tidak otomatis berarti "masalah" — perlu domain expert (analis fraud, manajer operasional) memvalidasi sebelum tindakan final.
Prinsip emas: deteksi anomali adalah alat bantu keputusan, bukan pengganti penilaian manusia sepenuhnya — terutama untuk kasus dengan dampak finansial/reputasi besar.

Rangkuman: Cheat Sheet Pertemuan 13

KonsepPoin Kunci
Definisi anomaliData menyimpang signifikan dari pola mayoritas, tanpa penjelasan wajar
3 jenis anomaliPoint · Contextual · Collective
Teknik deteksiZ-score (statistik) · kNN (jarak) · Isolation Forest (ensemble)
Tantangan utamaClass imbalance (data fraud sangat langka) & concept drift (pola berubah)
PenangananHapus · Transformasi/cap · Tandai & eskalasi · Model terpisah
EvaluasiPrecision (akurasi tanda fraud) vs Recall (cakupan fraud tertangkap)

Persiapan Pertemuan Berikutnya

MINGGU DEPAN (P14)

Kita akan menutup semester dengan topik Aplikasi Data Mining dan Tren Industri — merangkai seluruh materi semester (dari PCA sampai deteksi anomali) ke dalam studi kasus aplikasi nyata lintas industri, plus tren terkini (AI generatif, MLOps).

TUGAS SEBELUM PERTEMUAN 14
Refleksi
Tuliskan 1 halaman: pilih SATU teknik data mining dari semester ini (PCA/K-means/Decision Tree/dsb.) dan usulkan penerapannya pada bisnis digital pilihan Anda sendiri.

📖 Baca juga: Dcf Valuation — penjelasan mendalam dan contoh numerik.