‹ Daftar slidePertemuan 9: Konsep Dasar Data Mining dan Tahapan Proses
Bisnis Digital · Pembelajaran Dalam dan Pembelajaran Mesin
Pembelajaran Dalam dan Pembelajaran Mesin
Pertemuan 9: Konsep Dasar Data Mining dan Tahapan Proses
Dari algoritma pembelajaran mesin menuju proses kerja nyata: bagaimana data mentah organisasi diubah jadi pengetahuan yang bisa dipakai mengambil keputusan.
RPS minggu 10 · 2x50 menit
Bagian 1 dari 3
Apa Itu Data Mining?
Definisi, posisinya terhadap machine learning dan statistika, serta jenis data yang diolah.
Definisi Data Mining dan KDD
Data mining adalah proses menemukan pola, hubungan, dan pengetahuan yang tersembunyi dari kumpulan data besar secara sistematis, biasanya dengan bantuan algoritma statistik dan pembelajaran mesin. Istilah ini sering disamakan dengan KDD (Knowledge Discovery in Databases) — proses menyeluruh menemukan pengetahuan dari data — padahal secara ketat, data mining hanyalah satu tahap inti di dalam proses KDD yang lebih besar.
KDD (Proses Menyeluruh)
Seleksi & pembersihan data
Data mining (inti proses)
Interpretasi & evaluasi pola
Presentasi pengetahuan ke pengguna
Data Mining (Inti Teknis)
Menerapkan algoritma pencari pola
Contoh: clustering, klasifikasi, association rule
Output: pola/model, belum tentu "pengetahuan siap pakai"
Data Mining, Statistika, dan Machine Learning
Ketiganya saling tumpang tindih tetapi punya penekanan berbeda. Statistika berfokus pada inferensi dan pengujian hipotesis dari sampel data; machine learning berfokus pada algoritma yang belajar pola dari data untuk membuat prediksi (yang sudah Anda pelajari sejak pertemuan 1); data mining berfokus pada proses menemukan pola yang belum diketahui sebelumnya dari data berskala besar, seringkali memakai algoritma machine learning sebagai alatnya.
Statistika
Uji
Menguji hipotesis yang sudah dirumuskan peneliti
Machine Learning
Belajar
Algoritma belajar pola untuk prediksi/keputusan
Data Mining
Temu
Menemukan pola tersembunyi dari data skala besar
Dalam praktik, seorang data scientist memakai ketiganya sekaligus: statistika untuk memvalidasi temuan, machine learning sebagai mesin pemodelan, data mining sebagai kerangka proses kerja menyeluruh.
Jenis Data dalam Data Mining
Sebelum data bisa ditambang, Anda perlu mengenali tipe atributnya karena tiap tipe menentukan teknik apa yang cocok dipakai nanti.
Berdasarkan Skala Pengukuran
Nominal — kategori tanpa urutan (jenis kelamin, kota)
Ordinal — kategori berurutan (rating 1–5)
Interval — jarak bermakna, tanpa nol mutlak (suhu °C)
Rasio — punya nol mutlak (harga, jumlah transaksi)
Berdasarkan Struktur
Structured — tabel rapi (database transaksi bank)
Semi-structured — punya tag tapi fleksibel (JSON, log web)
Unstructured — teks bebas, gambar, ulasan produk
Data Mining dalam Praktik Bisnis Indonesia
Data mining bukan konsep abstrak — ia sudah dipakai sehari-hari oleh perusahaan yang berinteraksi dengan Anda.
E-commerce
Tokopedia/Shopee menambang riwayat klik & belanja untuk rekomendasi produk "sering dibeli bersama"
Perbankan
BCA/BRI menambang pola transaksi untuk deteksi fraud & skoring kredit UMKM
Telekomunikasi
Telkomsel menambang pola pemakaian pulsa untuk memprediksi pelanggan yang akan churn
Pola yang sama — menemukan struktur tersembunyi dari data transaksi besar — muncul di semua sektor ini, hanya berbeda tujuan bisnisnya.
Bagian 2 dari 3
Tahapan Proses: CRISP-DM
Kerangka kerja standar industri, enam fase dari memahami bisnis sampai menerapkan model di produksi.
CRISP-DM: Enam Fase Siklus
CRISP-DM (Cross-Industry Standard Process for Data Mining) adalah kerangka proses paling banyak dipakai di industri data science sejak akhir 1990-an hingga sekarang.
Fase 1–2: Memahami Bisnis dan Data
1. Business Understanding
Merumuskan tujuan bisnis jadi pertanyaan data mining
Contoh: "Turunkan churn 10%" → "Prediksi pelanggan yang akan churn"
Menentukan kriteria sukses & batasan (waktu, biaya, data tersedia)
2. Data Understanding
Mengumpulkan data awal & eksplorasi ringan (statistik deskriptif)
Menilai apakah data yang tersedia cukup menjawab tujuan bisnis
Kesalahan paling sering pemula: langsung lompat ke pemodelan tanpa merumuskan tujuan bisnis dengan jelas — hasilnya model teknis bagus tapi tidak relevan untuk keputusan nyata.
Fase 3: Data Preparation
Fase ini mengubah data mentah menjadi bentuk yang siap dimodelkan — sering disebut sebagai fase paling memakan waktu dalam proyek data mining nyata.
Cleaning
Menangani missing value, duplikat, dan data yang tidak konsisten
Transformation
Normalisasi skala, encoding kategori jadi angka
Integration
Menggabungkan data dari beberapa sumber (transaksi + demografi)
Pratinjau minggu depan: fase ini akan dibahas mendetail teknik demi teknik pada Pertemuan 10 — Preprocessing dan Eksplorasi Data.
Fase 4: Modeling — Memilih Teknik yang Tepat
Fase modeling memilih dan menjalankan algoritma yang sesuai dengan jenis tugas data mining. Ini menyambungkan kembali ke taksonomi pembelajaran mesin yang sudah kita pelajari sejak Pertemuan 5.
Descriptive (Menjelaskan Pola)
Clustering — mengelompokkan data mirip (K-means, hierarchical)
Association — menemukan aturan "jika beli A, cenderung beli B"
Anomaly detection — mendeteksi data yang menyimpang (fraud)
Fase 5–6: Evaluation dan Deployment
5. Evaluation
Menilai apakah model menjawab tujuan bisnis, bukan sekadar akurat secara statistik
Melibatkan pemilik bisnis, bukan hanya tim teknis
Bila gagal → kembali ke fase 1 (siklus, lihat diagram sebelumnya)
6. Deployment
Menerapkan model ke sistem produksi (aplikasi, dashboard)
Contoh: model churn dipakai tim CRM memberi promo otomatis
Memantau performa model dari waktu ke waktu (model bisa "usang")
Proyek data mining baru dianggap berhasil ketika modelnya benar-benar dipakai mengambil keputusan sehari-hari — bukan hanya berhenti di laporan akurasi.
Hitung dari Nol #1: Menilai Kualitas Data Mentah
Sebuah UMKM di Semarang punya 1.200 transaksi online bulan lalu. Sebelum data bisa ditambang, tim harus menilai berapa persen data tersebut layak dipakai.
Langkah
Perhitungan
Nilai
1. Total data mentah
Dicatat langsung dari sistem kasir
1.200 transaksi
2. % baris dengan missing value (90 baris)
90 ÷ 1.200 × 100
7,5%
3. % baris duplikat (60 baris)
60 ÷ 1.200 × 100
5%
4. Data bersih tersisa
1.200 − 90 − 60
1.050 baris
5. % data layak diolah
1.050 ÷ 1.200 × 100
87,5%
Hasil Akhir
87,5%
data siap masuk tahap Modeling — sisanya harus dibersihkan dulu
Coba Sendiri: Skor Kualitas Data Anda Sendiri
Ubah jumlah baris missing value dan duplikat dari total data mentah, amati bagaimana persentase data layak diolah berubah secara langsung.
Hitung dari Nol #2: Membagi Dataset untuk Pemodelan
Dari 1.050 data bersih hasil slide sebelumnya, tim perlu membaginya menjadi data latih (training), uji (testing), dan validasi sebelum masuk fase Modeling.
Langkah
Perhitungan
Nilai
1. Total data bersih
Hasil Hitung dari Nol #1
1.050 baris
2. Data latih (training) 70%
1.050 × 70%
735 baris
3. Data uji (testing) 30%
1.050 × 30%
315 baris
4. Data validasi dari training (20%)
735 × 20%
147 baris
5. Data latih final
735 − 147
588 baris
Hasil Akhir
588
baris data latih final — sisanya jadi validasi (147) dan testing (315)
Coba Sendiri: Bagi Dataset Anda ke Training-Testing
Geser proporsi data latih, uji, dan validasi, amati bagaimana jumlah baris tiap bagian berubah dari total data bersih yang sama.
Bagian 3 dari 3
Tools, Tantangan, dan Etika
Perangkat lunak yang dipakai praktisi, jebakan umum, serta tanggung jawab menambang data pribadi.
Perangkat Lunak Data Mining yang Umum Dipakai
Berbasis Kode (Programming)
Python — scikit-learn, pandas (paling populer industri)
R — kuat untuk analisis statistik & visualisasi
Berbasis Visual (Drag-and-Drop)
RapidMiner — populer untuk prototipe cepat tanpa coding berat
Orange — open-source, ramah pemula, cocok untuk belajar
Weka — klasik, banyak dipakai di riset akademik
Untuk tugas mata kuliah ini, Anda akan diperkenalkan salah satu tools pada pertemuan mendatang — namun konsep dan tahapan proses yang dipelajari hari ini berlaku sama di tools mana pun.
Tantangan Praktis Data Mining
Kualitas Data
"Garbage in, garbage out" — model sebaik apa pun gagal kalau data mentah buruk
Dimensionality
Terlalu banyak variabel (fitur) membuat pola sulit ditemukan — solusinya PCA/SVD (Pertemuan 2–3)
Overfitting
Model "menghafal" data latih tapi gagal pada data baru — dicegah lewat split training/testing
Interpretability — model yang sangat akurat (misalnya neural network) sering sulit dijelaskan alasannya ke manajemen; ini jadi trade-off penting dalam dunia bisnis nyata.
Etika dan Privasi dalam Data Mining
Data yang ditambang seringkali berisi data pribadi pelanggan — di Indonesia, ini diatur oleh UU No. 27 Tahun 2022 tentang Pelindungan Data Pribadi (UU PDP).
Kewajiban Pengendali Data
Persetujuan (consent) eksplisit sebelum data dipakai
Data dipakai sesuai tujuan yang diberitahukan ke pemilik data
Keamanan data & kewajiban lapor jika terjadi kebocoran
Risiko Bias Algoritma
Model bisa mewarisi bias historis (mis. diskriminasi kredit)
Perlu audit berkala terhadap keadilan (fairness) model
Latihan Kelas: Identifikasi Tahapan CRISP-DM
Sebuah tim data di Tokopedia ingin membangun fitur "Rekomendasi Produk untuk Anda" di halaman utama aplikasi.
Diskusikan berpasangan (5 menit):
Apa rumusan tujuan bisnis yang tepat untuk fase Business Understanding?
Data apa saja yang perlu dikumpulkan di fase Data Understanding?
Teknik data mining apa (descriptive/predictive) yang paling cocok untuk fase Modeling? Mengapa?
Bagaimana tim tahu fitur ini "berhasil" di fase Evaluation?
Setelah 5 menit, dua pasangan akan diminta memaparkan jawabannya ke seluruh kelas.
Rangkuman dan Pertemuan Berikutnya
Konsep
Inti yang Harus Diingat
Data mining
Menemukan pola tersembunyi dari data skala besar; bagian inti dari proses KDD