Program Studi Bisnis Digital • FEB

Pembelajaran Dalam dan Pembelajaran Mesin

Pertemuan 11 — Klasifikasi Data dan Teknik Decision Tree, Bayesian, Ensemble

Dari data yang sudah rapi ke keputusan "kelas apa ini?" — pohon keputusan, aturan Bayes, dan kekuatan gabungan banyak model (ensemble).

RPS MINGGU 12 • 2×50 MENIT

Selamat datang di pertemuan kesebelas, dan selamat datang di salah satu topik paling praktis di seluruh mata kuliah ini. Dua pertemuan lalu Anda belajar membersihkan dan menjelajahi data — sekarang kita pakai data bersih itu untuk hal yang paling sering dibutuhkan bisnis: memutuskan sebuah data masuk kategori mana. Contoh yang akan terus kita pakai hari ini: apakah nasabah bank akan gagal bayar kredit atau tidak, apakah email pelanggan Tokopedia itu keluhan atau pujian, apakah calon karyawan cocok direkrut atau tidak. Hari ini Anda akan mengenal tiga keluarga algoritma klasifikasi paling populer di industri: decision tree yang mudah dibaca seperti bagan alur, Naive Bayes yang berbasis peluang, dan ensemble yang menggabungkan banyak model kecil menjadi satu model kuat seperti Random Forest. Siapkan kalkulator sederhana Anda karena kita akan menghitung beberapa rumus langkah demi langkah supaya tidak ada yang terasa seperti sihir.

Tujuan Pembelajaran Hari Ini

Setelah pertemuan ini, Anda diharapkan mampu menjelaskan konsep klasifikasi data dan menerapkan teknik Decision Tree, Bayesian, dan Ensemble pada kasus bisnis sederhana. Secara rinci:

KONSEP

Pilar yang dipelajari

Klasifikasi sebagai tugas supervised learning, Decision Tree (Entropy & Information Gain), Naive Bayes (Teorema Bayes), dan Ensemble (Bagging/Random Forest & Boosting).

KETERAMPILAN

Hitung dari nol

Menghitung entropy & information gain untuk memilih split terbaik, menghitung probabilitas posterior Naive Bayes, dan membandingkan akurasi model tunggal vs ensemble.

Mari kita rinci apa yang akan Anda kuasai setelah dua jam ke depan. Pertama, Anda akan paham bahwa klasifikasi itu berbeda dari clustering yang sudah kita bahas — di klasifikasi, kita punya label jawaban yang benar untuk melatih model, seperti guru yang mengoreksi jawaban murid. Kedua, Anda akan mampu menghitung sendiri entropy dan information gain, dua angka yang menentukan pertanyaan mana yang paling baik ditanyakan lebih dulu di sebuah decision tree, misalnya untuk memprediksi apakah nasabah BCA akan menunggak. Ketiga, Anda akan menghitung probabilitas dengan Teorema Bayes untuk menyaring SMS penipuan dari SMS normal. Terakhir, Anda akan mengerti mengapa gabungan banyak pohon keputusan yang disebut Random Forest sering mengalahkan satu pohon tunggal, sebuah prinsip yang juga dipakai fintech seperti Kredivo untuk menilai kelayakan kredit.

Mengapa Klasifikasi Penting bagi Bisnis?

Klasifikasi menjawab pertanyaan "data ini masuk kategori apa?" — jantung dari banyak keputusan otomatis di dunia bisnis digital.

PERBANKAN

Layak?

Bank seperti BRI menilai apakah pemohon KUR layak kredit atau berisiko gagal bayar, berdasar riwayat transaksi & penghasilan.

E-COMMERCE

Spam?

Tokopedia & Shopee memfilter ulasan/pesan palsu vs asli agar kepercayaan pembeli terjaga.

KESEHATAN

Positif?

Rumah sakit mengklasifikasi hasil tes sebagai berisiko tinggi/rendah untuk memprioritaskan penanganan pasien.

Pola yang sama: ada data fitur (ciri-ciri, misalnya penghasilan, usia, riwayat cicilan) dan ada label (jawaban benar: layak/tidak). Model belajar dari data berlabel, lalu memprediksi label untuk data baru yang belum diketahui.

Cobalah bayangkan diri Anda sebagai analis kredit di sebuah bank digital seperti Jenius atau Blu by BCA Digital. Setiap hari ribuan pengajuan pinjaman masuk, dan mustahil dicek satu-satu secara manual. Di sinilah klasifikasi bekerja: sistem mempelajari pola dari ribuan nasabah lama yang sudah diketahui hasilnya — lunas atau macet — lalu memakai pola itu untuk memprediksi nasabah baru. Contoh lain yang mungkin lebih dekat dengan keseharian Anda adalah filter spam di Gmail, yang mengklasifikasikan setiap email masuk sebagai spam atau bukan berdasarkan kata-kata dan pengirimnya. Intinya, klasifikasi selalu punya dua bahan: fitur sebagai bukti, dan label sebagai jawaban yang ingin diprediksi. Sepanjang pertemuan ini kita akan pakai tiga cara berbeda untuk membangun "otak" yang menghubungkan fitur ke label tersebut.

Bagian 1 dari 4

Fondasi Klasifikasi

Apa itu supervised learning untuk klasifikasi, dan bagaimana kita mengukur seberapa baik model menebak.

Klasifikasi = Supervised Learning untuk Label Kategori

Ingat kembali taksonomi pembelajaran di pertemuan 5: supervised learning berarti model dilatih dari data yang sudah punya jawaban benar (label). Klasifikasi adalah supervised learning ketika labelnya berupa kategori (bukan angka kontinu seperti pada regresi).

CONTOH FITUR (X)

Penghasilan bulanan nasabah
Lama menjadi pelanggan (bulan)
Jumlah keterlambatan bayar sebelumnya
Rasio cicilan terhadap penghasilan

CONTOH LABEL (Y)

Lancar — bayar tepat waktu
Macet — gagal bayar

Ini contoh klasifikasi biner (2 kelas). Bisa juga multi-kelas, misalnya "Rendah / Sedang / Tinggi" risiko.

Mengukur Kualitas Model: Confusion Matrix

Setelah model memprediksi, kita bandingkan dengan jawaban sebenarnya lewat confusion matrix (matriks kebingungan) — tabel yang merinci prediksi benar & salah per kelas.

Confusion matrix ini alat paling dasar untuk menilai model klasifikasi, dan Anda akan sering menemuinya di laporan data science manapun. Bayangkan bank menguji model pada 100 nasabah: True Positive artinya model benar memprediksi nasabah macet dan nasabah itu memang macet — bank untung karena bisa antisipasi. False Negative jauh lebih berbahaya bagi bank, karena model bilang nasabah aman padahal ternyata macet, sehingga kerugian tak terduga terjadi. False Positive juga ada biayanya: bank menolak nasabah yang sebenarnya baik-baik saja, kehilangan potensi bunga. Akurasi sederhana menghitung proporsi prediksi yang benar dari seluruh data, tapi ingat akurasi bisa menipu kalau kelasnya tidak seimbang, misalnya kalau hanya 2 persen nasabah yang macet, model yang selalu menebak "lancar" pun akan tampak akurat padahal tidak berguna.

Bagian 2 dari 4

Decision Tree

Membangun bagan alur keputusan otomatis dari data, dipandu oleh Entropy dan Information Gain.

Decision Tree: Bagan Alur Belajar dari Data

Decision Tree memecah data secara bertahap berdasarkan pertanyaan ya/tidak tentang fitur, sampai tiap cabang berujung pada satu prediksi kelas.

Kotak di atas disebut node (simpul), kotak paling bawah disebut leaf/daun (keputusan akhir). Pertanyaannya bertingkat: makin dalam pohon, makin spesifik segmentasinya.

Coba Sendiri: Bangun Bagan Alur Decision Tree

Ubah pertanyaan split pada tiap node dan lihat langsung bagaimana data nasabah terbagi menjadi cabang Lancar atau Macet.

Entropy: Mengukur Ketidakpastian

Entropy mengukur seberapa "campur aduk" label dalam sekumpulan data. Entropy = 0 berarti semua data satu kelas (murni); entropy tinggi berarti kelasnya campur rata.

Entropy(S) = − p₁ log₂(p₁) − p₂ log₂(p₂)

p₁ dan p₂ = proporsi tiap kelas dalam himpunan data S. Untuk 2 kelas seimbang (50%/50%), entropy = 1 (paling tidak pasti). Untuk 1 kelas murni (100%/0%), entropy = 0.

Hitung dari Nol: Entropy & Information Gain

Data 10 nasabah: 6 Lancar, 4 Macet. Setelah displit berdasar "Rasio cicilan > 40%?": cabang Ya (5 nasabah: 1 Lancar, 4 Macet), cabang Tidak (5 nasabah: 5 Lancar, 0 Macet).

Langkah	Perhitungan	Nilai
1. Entropy induk (10 data)	−(0,6 log₂0,6) − (0,4 log₂0,4)	0,971
2. Entropy cabang "Ya" (1L, 4M)	−(0,2 log₂0,2) − (0,8 log₂0,8)	0,722
3. Entropy cabang "Tidak" (5L, 0M)	−(1,0 log₂1,0) − (0 log₂0)	0,000
4. Entropy tertimbang setelah split	(5/10 × 0,722) + (5/10 × 0,000)	0,361
5. Information Gain	0,971 − 0,361	0,610

INFORMATION GAIN

0,610

Split "rasio cicilan" mengurangi ketidakpastian secara signifikan

Mari kita telusuri angka ini pelan-pelan seperti yang akan dilakukan algoritma decision tree secara otomatis di balik layar. Langkah pertama, kita hitung entropy seluruh sepuluh nasabah sebelum displit apa pun — hasilnya 0,971, mendekati satu, artinya datanya masih cukup campur aduk antara lancar dan macet. Langkah kedua dan ketiga, kita hitung entropy masing-masing cabang setelah displit berdasarkan rasio cicilan: cabang "Ya" masih campur (0,722) tapi cabang "Tidak" sudah murni sepenuhnya, entropy-nya nol, karena semua lima nasabah di situ lancar. Langkah keempat, kita gabungkan kedua cabang itu secara tertimbang sesuai proporsi datanya, dan hasilnya 0,361 — jauh lebih rendah dari entropy awal. Langkah kelima, selisih antara entropy sebelum dan sesudah split itulah yang disebut information gain, dan algoritma decision tree akan memilih pertanyaan split dengan information gain PALING BESAR di setiap simpul, karena itu berarti pertanyaan tersebut paling efektif memisahkan nasabah lancar dari yang macet.

Coba Sendiri: Hitung Entropy dan Information Gain

Ubah komposisi nasabah lancar dan macet di tiap cabang, amati bagaimana entropy dan information gain berubah mengikuti split.

Jebakan Decision Tree: Overfitting

Pohon yang dibiarkan tumbuh terus sampai setiap daun sempurna murni akan menghafal data latih, bukan mempelajari pola umum — disebut overfitting.

Pohon terlalu dalam: akurasi data latih 99%, tapi akurasi data baru anjlok — karena pohon menghafal pengecualian/noise, bukan pola umum.

Pruning (pemangkasan): membatasi kedalaman pohon atau jumlah minimum data per daun, agar pohon lebih general dan tahan terhadap data baru.

Ini kesalahan paling umum yang dibuat pemula saat pertama membangun decision tree. Bayangkan pohon dibiarkan bertanya terus sampai tiap nasabah punya kotak keputusan sendiri-sendiri persis seperti dirinya — itu memang membuat akurasi di data latih sempurna seratus persen, tapi begitu ada nasabah baru yang sedikit berbeda, pohon akan bingung karena tidak pernah menemukan pola seperti itu sebelumnya. Solusinya disebut pruning, yaitu memangkas cabang-cabang yang terlalu spesifik, misalnya dengan aturan "berhenti bertanya kalau kedalaman pohon sudah mencapai lima" atau "berhenti kalau daun berisi kurang dari sepuluh data". Bank seperti Bank Mandiri dalam praktiknya selalu memangkas model kreditnya agar tetap general, karena pola nasabah terus berubah dari waktu ke waktu, dan model yang terlalu hafal data lama justru berbahaya.

Bagian 3 dari 4

Klasifikasi Bayesian

Menghitung peluang sebuah data masuk kelas tertentu, memakai Teorema Bayes yang klasik namun sangat berguna.

Teorema Bayes: Update Keyakinan dengan Bukti

Teorema Bayes menghitung peluang sebuah kelas, setelah melihat bukti (fitur) — disebut posterior — dari peluang awal kelas (prior) dan seberapa cocok bukti dengan kelas itu (likelihood).

P(Kelas | Bukti) = [P(Bukti | Kelas) × P(Kelas)] ÷ P(Bukti)

ISTILAH

Prior P(Kelas): peluang kelas sebelum lihat bukti apa pun
Likelihood P(Bukti|Kelas): seberapa umum bukti ini muncul di kelas tsb
Posterior P(Kelas|Bukti): peluang akhir setelah update

CONTOH KASUS

Filter SMS: apakah SMS berisi kata "menang hadiah" itu penipuan atau normal? Kita hitung posterior untuk kedua kelas, lalu pilih yang lebih besar.

Cara paling mudah memahami Teorema Bayes adalah membayangkan diri Anda sebagai dokter. Sebelum memeriksa pasien, Anda punya perkiraan awal seberapa umum suatu penyakit di populasi — itu prior. Setelah melihat gejala pasien, Anda memperbarui perkiraan itu — itu posterior. Likelihood adalah jembatan di antaranya: seberapa sering gejala itu muncul pada pasien yang benar-benar sakit dibanding yang sehat. Dalam konteks SMS penipuan, prior adalah proporsi SMS penipuan secara umum di antara semua SMS, likelihood adalah seberapa sering kata "menang hadiah" muncul di SMS penipuan dibanding SMS normal, dan posterior adalah kesimpulan akhir kita: SMS spesifik ini lebih mungkin penipuan atau normal. Algoritma ini disebut "naive" atau naif karena mengasumsikan semua kata dalam SMS itu independen satu sama lain, sebuah penyederhanaan yang secara teori tidak sepenuhnya benar tapi ternyata bekerja sangat baik dalam praktik.

Coba Sendiri: Update Keyakinan dengan Teorema Bayes

Ubah nilai prior dan likelihood, amati bagaimana posterior akhir berubah setelah bukti baru dimasukkan.

Hitung dari Nol: Naive Bayes Filter Spam

Dari 100 SMS: 30 Spam, 70 Normal. Kata "hadiah" muncul di 18 dari 30 SMS spam, dan di 7 dari 70 SMS normal. SMS baru mengandung kata "hadiah" — spam atau normal?

Langkah	Perhitungan	Nilai
1. Prior P(Spam)	30 ÷ 100	0,30
2. Prior P(Normal)	70 ÷ 100	0,70
3. Likelihood P(hadiah\|Spam)	18 ÷ 30	0,60
4. Likelihood P(hadiah\|Normal)	7 ÷ 70	0,10
5. Skor Spam (belum dinormalkan)	0,60 × 0,30	0,180
6. Skor Normal (belum dinormalkan)	0,10 × 0,70	0,070

KEPUTUSAN

SPAM

Skor Spam (0,180) > Skor Normal (0,070) — SMS diklasifikasi sebagai penipuan

Perhatikan bahwa kita tidak perlu menghitung P(Bukti) di penyebut rumus Bayes, karena nilai itu sama untuk kedua kelas dan tidak mempengaruhi mana yang lebih besar — cukup bandingkan pembilangnya saja, itulah sebabnya saya sebut "skor belum dinormalkan". Langkah satu dan dua kita hitung prior, peluang dasar SMS itu spam atau normal sebelum melihat isi pesannya sama sekali: tiga puluh persen spam, tujuh puluh persen normal. Langkah tiga dan empat kita hitung likelihood, seberapa sering kata "hadiah" muncul di masing-masing kelas: enam puluh persen SMS spam mengandung kata itu, tapi hanya sepuluh persen SMS normal. Langkah lima dan enam kita kalikan prior dengan likelihood untuk masing-masing kelas, menghasilkan skor 0,180 untuk spam dan 0,070 untuk normal. Karena skor spam lebih besar, SMS ini diklasifikasikan sebagai penipuan — inilah logika di balik filter spam yang setiap hari melindungi kotak masuk Anda di Gmail maupun aplikasi SMS bawaan HP.

Coba Sendiri: Uji Naive Bayes sebagai Filter Spam

Ubah jumlah SMS spam-normal dan kemunculan kata kunci, amati bagaimana skor spam versus normal menentukan klasifikasi akhir.

Bagian 4 dari 4

Ensemble Learning

Mengapa menggabungkan banyak model "biasa-biasa saja" bisa menghasilkan satu model yang jauh lebih kuat.

Bagging: Suara Terbanyak dari Banyak Pohon

Bagging (Bootstrap Aggregating) melatih banyak decision tree secara paralel, masing-masing dari sampel data acak berbeda, lalu menggabungkan prediksinya lewat voting (suara terbanyak). Random Forest adalah bagging + pemilihan fitur acak di tiap split.

Bayangkan Bagging seperti meminta pendapat tiga orang analis kredit yang berbeda, masing-masing hanya melihat sebagian data nasabah secara acak, lalu keputusan akhir diambil dari suara terbanyak mereka. Kata "bootstrap" di sini artinya kita mengambil sampel acak dengan pengembalian dari data asli, sehingga tiap pohon melihat versi data yang sedikit berbeda dan karenanya membuat kesalahan yang berbeda pula. Random Forest menambahkan satu trik lagi: setiap kali pohon membuat pertanyaan split, ia hanya boleh memilih dari subset fitur acak, bukan semua fitur — ini memaksa pohon-pohon menjadi lebih beragam satu sama lain. Hasilnya, walau satu pohon saja bisa salah karena overfitting, kesalahan-kesalahan itu cenderung saling menetralkan saat digabung lewat voting, sehingga Random Forest jauh lebih stabil. Inilah alasan banyak fintech Indonesia seperti Kredivo dan Akulaku memakai Random Forest sebagai model produksi mereka, bukan satu decision tree tunggal.

Coba Sendiri: Bandingkan Bagging dan Boosting

Jalankan beberapa pohon secara paralel lalu voting, bandingkan dengan pelatihan berurutan yang fokus memperbaiki kesalahan model sebelumnya.

Boosting: Belajar dari Kesalahan Model Sebelumnya

Boosting melatih model secara berurutan (bukan paralel) — tiap model baru fokus memperbaiki kesalahan model sebelumnya. Contoh algoritma: AdaBoost, Gradient Boosting, XGBoost.

BAGGING (RANDOM FOREST)

Model dilatih paralel & independen
Gabung lewat voting/rata-rata
Fokus: kurangi variance (stabilitas)

BOOSTING (XGBOOST, DLL)

Model dilatih berurutan, bertahap
Model baru "dihukum lebih" oleh data yang salah diprediksi model sebelumnya
Fokus: kurangi bias (akurasi)

Analogi: Bagging = tim analis independen lalu voting. Boosting = satu analis junior lalu diperbaiki analis senior berikutnya, berulang, berfokus pada kasus yang tadinya salah.

Perbedaan paling penting antara bagging dan boosting adalah urutan pelatihannya. Di bagging, semua pohon dilatih bersamaan dan tidak saling tahu satu sama lain, seperti tiga analis yang bekerja terpisah lalu hasilnya digabung di akhir. Di boosting, prosesnya berurutan: model pertama dilatih, lalu kita lihat data mana yang salah diprediksi, kemudian model kedua dilatih dengan memberi "bobot lebih besar" pada data yang salah itu, supaya model kedua benar-benar fokus memperbaiki kelemahan model pertama, dan seterusnya untuk model ketiga dan berikutnya. Algoritma seperti XGBoost yang sangat sering memenangkan kompetisi data science di Kaggle memakai prinsip boosting ini. Secara umum, boosting cenderung menghasilkan akurasi lebih tinggi tapi lebih rawan overfitting dan lebih lambat dilatih dibanding bagging, sehingga pemilihannya tergantung kebutuhan bisnis: butuh stabilitas atau butuh akurasi maksimal.

Kapan Memakai Teknik yang Mana?

Teknik	Kelebihan	Kapan Dipakai
Decision Tree	Mudah dibaca & dijelaskan ke non-teknis	Butuh transparansi (audit OJK, kepatuhan)
Naive Bayes	Cepat, ringan, bagus untuk data teks	Filter spam, analisis sentimen skala besar
Ensemble (RF/Boosting)	Akurasi tertinggi, tahan overfitting (RF)	Produksi skala besar, akurasi jadi prioritas

Trade-off umum: makin akurat (ensemble), makin sulit dijelaskan ke manajemen atau regulator ("black box"). Decision tree tunggal tetap dipakai saat interpretabilitas krusial.

Slide ini adalah rangkuman praktis untuk membantu Anda memilih teknik yang tepat di dunia kerja nanti. Kalau perusahaan Anda perlu menjelaskan ke regulator OJK mengapa seorang nasabah ditolak kreditnya, decision tree tunggal jauh lebih mudah dipertanggungjawabkan karena Anda bisa menunjukkan jalur pertanyaan persis yang membuat keputusan itu. Kalau kebutuhannya menyaring jutaan pesan atau ulasan setiap hari dengan cepat dan murah, Naive Bayes adalah pilihan yang sangat efisien meski akurasinya sedikit di bawah metode lain. Tapi kalau prioritas utama adalah akurasi maksimal dan sistem beroperasi di belakang layar tanpa perlu dijelaskan detail ke pengguna, ensemble seperti Random Forest atau XGBoost biasanya jadi pilihan tim data science. Inilah yang disebut trade-off antara akurasi dan interpretabilitas — tidak ada satu model yang selalu terbaik untuk semua situasi.

Latihan: Diskusi Kelompok Singkat

Kerjakan berpasangan (5 menit), lalu satu kelompok akan diminta menjawab di depan kelas.

SOAL 1

Sebuah e-commerce ingin mengklasifikasi ulasan produk sebagai positif/negatif dari teks ulasan. Teknik mana yang paling cocok sebagai model awal, dan mengapa?

SOAL 2

Dari 20 data (12 Lancar, 8 Macet), hitung entropy awalnya. Bandingkan dengan entropy pada slide 10 — lebih tinggi atau rendah? Mengapa?

Kunci Soal 2: p(Lancar)=0,6, p(Macet)=0,4 — proporsinya sama persis dengan slide 10, jadi entropy-nya juga sama: 0,971.

Rangkuman & Minggu Depan

Konsep	Inti
Klasifikasi	Supervised learning dengan label kategori (bukan angka)
Decision Tree	Split berdasar Information Gain (dari Entropy); rawan overfitting → pruning
Naive Bayes	Posterior ∝ Prior × Likelihood; asumsi fitur independen
Ensemble	Bagging (paralel, kurangi variance) vs Boosting (berurutan, kurangi bias)

MINGGU DEPAN (RPS 13)

Association Analysis dan Frequent Itemset Mining — menemukan pola "barang yang sering dibeli bersamaan" (market basket analysis).

TUGAS

Latihan hitung mandiri

Hitung entropy & information gain untuk 1 dataset baru (dibagikan di LMS), kumpulkan sebelum pertemuan 12.

Sampai di sini, mari kita rangkum perjalanan dua jam kita hari ini. Kita mulai dari fondasi klasifikasi sebagai supervised learning dengan label kategori, lalu masuk ke decision tree yang membangun bagan alur pertanyaan dipandu entropy dan information gain, dilanjutkan Naive Bayes yang menghitung peluang lewat Teorema Bayes, dan ditutup dengan ensemble yang menggabungkan banyak model lewat bagging atau boosting. Minggu depan kita akan bergeser dari klasifikasi ke Association Analysis, yaitu teknik yang dipakai supermarket dan e-commerce seperti Indomaret atau Tokopedia untuk menemukan pola "pembeli yang beli roti biasanya juga beli selai" — sering disebut market basket analysis. Sebelum pertemuan berikutnya, kerjakan tugas latihan hitung entropy yang akan saya bagikan di LMS, karena keterampilan menghitung dari nol ini adalah fondasi yang akan terus kita pakai. Terima Kasih atas partisipasi aktif Anda hari ini, sampai jumpa minggu depan.