stdsquare²
🎓 Kelas
stdsquare / materi / slides / pertemuan-09
Tema
Japan
Arcade
Dark Retro
Font
‹ Daftar slide Pertemuan 9: Konsep Dasar Data Mining dan Tahapan Proses
Bisnis Digital · Pembelajaran Dalam dan Pembelajaran Mesin

Pembelajaran Dalam dan Pembelajaran Mesin

Pertemuan 9: Konsep Dasar Data Mining dan Tahapan Proses

Dari algoritma pembelajaran mesin menuju proses kerja nyata: bagaimana data mentah organisasi diubah jadi pengetahuan yang bisa dipakai mengambil keputusan.

RPS minggu 10 · 2x50 menit
Bagian 1 dari 3
Apa Itu Data Mining?
Definisi, posisinya terhadap machine learning dan statistika, serta jenis data yang diolah.

Definisi Data Mining dan KDD

Data mining adalah proses menemukan pola, hubungan, dan pengetahuan yang tersembunyi dari kumpulan data besar secara sistematis, biasanya dengan bantuan algoritma statistik dan pembelajaran mesin. Istilah ini sering disamakan dengan KDD (Knowledge Discovery in Databases) — proses menyeluruh menemukan pengetahuan dari data — padahal secara ketat, data mining hanyalah satu tahap inti di dalam proses KDD yang lebih besar.

KDD (Proses Menyeluruh)
  • Seleksi & pembersihan data
  • Data mining (inti proses)
  • Interpretasi & evaluasi pola
  • Presentasi pengetahuan ke pengguna
Data Mining (Inti Teknis)
  • Menerapkan algoritma pencari pola
  • Contoh: clustering, klasifikasi, association rule
  • Output: pola/model, belum tentu "pengetahuan siap pakai"

Data Mining, Statistika, dan Machine Learning

Ketiganya saling tumpang tindih tetapi punya penekanan berbeda. Statistika berfokus pada inferensi dan pengujian hipotesis dari sampel data; machine learning berfokus pada algoritma yang belajar pola dari data untuk membuat prediksi (yang sudah Anda pelajari sejak pertemuan 1); data mining berfokus pada proses menemukan pola yang belum diketahui sebelumnya dari data berskala besar, seringkali memakai algoritma machine learning sebagai alatnya.

Statistika
Uji
Menguji hipotesis yang sudah dirumuskan peneliti
Machine Learning
Belajar
Algoritma belajar pola untuk prediksi/keputusan
Data Mining
Temu
Menemukan pola tersembunyi dari data skala besar
Dalam praktik, seorang data scientist memakai ketiganya sekaligus: statistika untuk memvalidasi temuan, machine learning sebagai mesin pemodelan, data mining sebagai kerangka proses kerja menyeluruh.

Jenis Data dalam Data Mining

Sebelum data bisa ditambang, Anda perlu mengenali tipe atributnya karena tiap tipe menentukan teknik apa yang cocok dipakai nanti.

Berdasarkan Skala Pengukuran
  • Nominal — kategori tanpa urutan (jenis kelamin, kota)
  • Ordinal — kategori berurutan (rating 1–5)
  • Interval — jarak bermakna, tanpa nol mutlak (suhu °C)
  • Rasio — punya nol mutlak (harga, jumlah transaksi)
Berdasarkan Struktur
  • Structured — tabel rapi (database transaksi bank)
  • Semi-structured — punya tag tapi fleksibel (JSON, log web)
  • Unstructured — teks bebas, gambar, ulasan produk

Data Mining dalam Praktik Bisnis Indonesia

Data mining bukan konsep abstrak — ia sudah dipakai sehari-hari oleh perusahaan yang berinteraksi dengan Anda.

E-commerce
Tokopedia/Shopee menambang riwayat klik & belanja untuk rekomendasi produk "sering dibeli bersama"
Perbankan
BCA/BRI menambang pola transaksi untuk deteksi fraud & skoring kredit UMKM
Telekomunikasi
Telkomsel menambang pola pemakaian pulsa untuk memprediksi pelanggan yang akan churn
Pola yang sama — menemukan struktur tersembunyi dari data transaksi besar — muncul di semua sektor ini, hanya berbeda tujuan bisnisnya.
Bagian 2 dari 3
Tahapan Proses: CRISP-DM
Kerangka kerja standar industri, enam fase dari memahami bisnis sampai menerapkan model di produksi.

CRISP-DM: Enam Fase Siklus

CRISP-DM (Cross-Industry Standard Process for Data Mining) adalah kerangka proses paling banyak dipakai di industri data science sejak akhir 1990-an hingga sekarang.

1. BusinessUnderstanding2. DataUnderstanding3. DataPreparation4. Modeling5. Evaluation6. Deploy-mentsiklus berulang — hasil evaluasi bisa memutar kembali ke pemahaman bisnis

Fase 1–2: Memahami Bisnis dan Data

1. Business Understanding
  • Merumuskan tujuan bisnis jadi pertanyaan data mining
  • Contoh: "Turunkan churn 10%" → "Prediksi pelanggan yang akan churn"
  • Menentukan kriteria sukses & batasan (waktu, biaya, data tersedia)
2. Data Understanding
  • Mengumpulkan data awal & eksplorasi ringan (statistik deskriptif)
  • Memeriksa kualitas: missing value, duplikat, konsistensi
  • Menilai apakah data yang tersedia cukup menjawab tujuan bisnis
Kesalahan paling sering pemula: langsung lompat ke pemodelan tanpa merumuskan tujuan bisnis dengan jelas — hasilnya model teknis bagus tapi tidak relevan untuk keputusan nyata.

Fase 3: Data Preparation

Fase ini mengubah data mentah menjadi bentuk yang siap dimodelkan — sering disebut sebagai fase paling memakan waktu dalam proyek data mining nyata.

Cleaning
Menangani missing value, duplikat, dan data yang tidak konsisten
Transformation
Normalisasi skala, encoding kategori jadi angka
Integration
Menggabungkan data dari beberapa sumber (transaksi + demografi)
Pratinjau minggu depan: fase ini akan dibahas mendetail teknik demi teknik pada Pertemuan 10 — Preprocessing dan Eksplorasi Data.

Fase 4: Modeling — Memilih Teknik yang Tepat

Fase modeling memilih dan menjalankan algoritma yang sesuai dengan jenis tugas data mining. Ini menyambungkan kembali ke taksonomi pembelajaran mesin yang sudah kita pelajari sejak Pertemuan 5.

Descriptive (Menjelaskan Pola)
  • Clustering — mengelompokkan data mirip (K-means, hierarchical)
  • Association — menemukan aturan "jika beli A, cenderung beli B"
Predictive (Memprediksi)
  • Classification — memprediksi kategori (churn: ya/tidak)
  • Regression — memprediksi angka (perkiraan penjualan)
  • Anomaly detection — mendeteksi data yang menyimpang (fraud)

Fase 5–6: Evaluation dan Deployment

5. Evaluation
  • Menilai apakah model menjawab tujuan bisnis, bukan sekadar akurat secara statistik
  • Melibatkan pemilik bisnis, bukan hanya tim teknis
  • Bila gagal → kembali ke fase 1 (siklus, lihat diagram sebelumnya)
6. Deployment
  • Menerapkan model ke sistem produksi (aplikasi, dashboard)
  • Contoh: model churn dipakai tim CRM memberi promo otomatis
  • Memantau performa model dari waktu ke waktu (model bisa "usang")
Proyek data mining baru dianggap berhasil ketika modelnya benar-benar dipakai mengambil keputusan sehari-hari — bukan hanya berhenti di laporan akurasi.

Hitung dari Nol #1: Menilai Kualitas Data Mentah

Sebuah UMKM di Semarang punya 1.200 transaksi online bulan lalu. Sebelum data bisa ditambang, tim harus menilai berapa persen data tersebut layak dipakai.

LangkahPerhitunganNilai
1. Total data mentahDicatat langsung dari sistem kasir1.200 transaksi
2. % baris dengan missing value (90 baris)90 ÷ 1.200 × 1007,5%
3. % baris duplikat (60 baris)60 ÷ 1.200 × 1005%
4. Data bersih tersisa1.200 − 90 − 601.050 baris
5. % data layak diolah1.050 ÷ 1.200 × 10087,5%
Hasil Akhir
87,5%
data siap masuk tahap Modeling — sisanya harus dibersihkan dulu

Coba Sendiri: Skor Kualitas Data Anda Sendiri

Ubah jumlah baris missing value dan duplikat dari total data mentah, amati bagaimana persentase data layak diolah berubah secara langsung.

Hitung dari Nol #2: Membagi Dataset untuk Pemodelan

Dari 1.050 data bersih hasil slide sebelumnya, tim perlu membaginya menjadi data latih (training), uji (testing), dan validasi sebelum masuk fase Modeling.

LangkahPerhitunganNilai
1. Total data bersihHasil Hitung dari Nol #11.050 baris
2. Data latih (training) 70%1.050 × 70%735 baris
3. Data uji (testing) 30%1.050 × 30%315 baris
4. Data validasi dari training (20%)735 × 20%147 baris
5. Data latih final735 − 147588 baris
Hasil Akhir
588
baris data latih final — sisanya jadi validasi (147) dan testing (315)

Coba Sendiri: Bagi Dataset Anda ke Training-Testing

Geser proporsi data latih, uji, dan validasi, amati bagaimana jumlah baris tiap bagian berubah dari total data bersih yang sama.

Bagian 3 dari 3
Tools, Tantangan, dan Etika
Perangkat lunak yang dipakai praktisi, jebakan umum, serta tanggung jawab menambang data pribadi.

Perangkat Lunak Data Mining yang Umum Dipakai

Berbasis Kode (Programming)
  • Python — scikit-learn, pandas (paling populer industri)
  • R — kuat untuk analisis statistik & visualisasi
Berbasis Visual (Drag-and-Drop)
  • RapidMiner — populer untuk prototipe cepat tanpa coding berat
  • Orange — open-source, ramah pemula, cocok untuk belajar
  • Weka — klasik, banyak dipakai di riset akademik
Untuk tugas mata kuliah ini, Anda akan diperkenalkan salah satu tools pada pertemuan mendatang — namun konsep dan tahapan proses yang dipelajari hari ini berlaku sama di tools mana pun.

Tantangan Praktis Data Mining

Kualitas Data
"Garbage in, garbage out" — model sebaik apa pun gagal kalau data mentah buruk
Dimensionality
Terlalu banyak variabel (fitur) membuat pola sulit ditemukan — solusinya PCA/SVD (Pertemuan 2–3)
Overfitting
Model "menghafal" data latih tapi gagal pada data baru — dicegah lewat split training/testing
Interpretability — model yang sangat akurat (misalnya neural network) sering sulit dijelaskan alasannya ke manajemen; ini jadi trade-off penting dalam dunia bisnis nyata.

Etika dan Privasi dalam Data Mining

Data yang ditambang seringkali berisi data pribadi pelanggan — di Indonesia, ini diatur oleh UU No. 27 Tahun 2022 tentang Pelindungan Data Pribadi (UU PDP).

Kewajiban Pengendali Data
  • Persetujuan (consent) eksplisit sebelum data dipakai
  • Data dipakai sesuai tujuan yang diberitahukan ke pemilik data
  • Keamanan data & kewajiban lapor jika terjadi kebocoran
Risiko Bias Algoritma
  • Model bisa mewarisi bias historis (mis. diskriminasi kredit)
  • Perlu audit berkala terhadap keadilan (fairness) model

Latihan Kelas: Identifikasi Tahapan CRISP-DM

Sebuah tim data di Tokopedia ingin membangun fitur "Rekomendasi Produk untuk Anda" di halaman utama aplikasi.

Diskusikan berpasangan (5 menit):
  • Apa rumusan tujuan bisnis yang tepat untuk fase Business Understanding?
  • Data apa saja yang perlu dikumpulkan di fase Data Understanding?
  • Teknik data mining apa (descriptive/predictive) yang paling cocok untuk fase Modeling? Mengapa?
  • Bagaimana tim tahu fitur ini "berhasil" di fase Evaluation?

Setelah 5 menit, dua pasangan akan diminta memaparkan jawabannya ke seluruh kelas.

Rangkuman dan Pertemuan Berikutnya

KonsepInti yang Harus Diingat
Data miningMenemukan pola tersembunyi dari data skala besar; bagian inti dari proses KDD
Jenis dataNominal/ordinal/interval/rasio; structured/semi-structured/unstructured
CRISP-DM6 fase siklus: Business → Data Understanding → Preparation → Modeling → Evaluation → Deployment
TantanganKualitas data, dimensionality, overfitting, interpretability
EtikaUU PDP 27/2022 — consent, tujuan penggunaan jelas, hindari bias algoritma
Pertemuan 10

Preprocessing dan Eksplorasi Data — teknik konkret membersihkan & menjelajah data sebelum modeling.

Tugas
Bawa satu dataset publik (mis. dari Kaggle/BPS) untuk latihan preprocessing minggu depan