Prodi Bisnis Digital · FEB UNDIP

Pembelajaran Dalam dan Pembelajaran Mesin

Pertemuan 10: Preprocessing dan Eksplorasi Data

Data mentah jarang siap pakai — sebelum model apa pun belajar, data harus dibersihkan, ditransformasi, dan dipahami polanya lebih dulu.

RPS minggu 11 · 2x50 menit

Bagian 1 dari 3

Mengapa Data Perlu Diproses Dulu?

Data mentah punya masalah kualitas — nilai hilang, noise, dan inkonsistensi — yang harus ditangani sebelum masuk pipeline data mining.

Data Mentah Itu Kotor

Sebelum masuk model, data hampir selalu punya salah satu atau lebih masalah berikut.

Missing Value

Nilai hilang / kosong

Contoh: kolom "nomor HP" kosong di 15% data pelanggan Tokopedia karena pengguna tidak wajib mengisi saat checkout.

Noise & Outlier

Data mengandung galat atau nilai ekstrem

Contoh: durasi baca artikel tercatat "9999 menit" akibat bug tracking, jelas bukan perilaku wajar pengguna.

Inconsistent

≠

Format/satuan tidak seragam

Contoh: satu sistem mencatat "Jakarta", sistem lain "DKI Jakarta" untuk kota yang sama.

Duplicate

≡

Baris data terekam berulang

Contoh: satu transaksi UMKM tercatat dua kali karena sinkronisasi ganda antar-cabang toko.

Posisi Preprocessing dalam Pipeline

Ingat kembali tahapan proses data mining dari pertemuan lalu — preprocessing ada tepat sebelum data siap dimodelkan.

Pertemuan 9 sudah membahas konsep dasar data mining dan tahapannya secara umum; hari ini kita membedah tahap kedua — preprocessing dan eksplorasi — secara mendalam.

Menangani Nilai yang Hilang

Missing value tidak boleh dibiarkan begitu saja — pilih strategi sesuai konteks data.

Hapus Baris/Kolom

Buang baris yang datanya hilang, cocok bila jumlahnya sedikit (<5% dari total data).

Imputasi Statistik

Isi dengan mean (rata-rata), median, atau modus dari kolom yang sama.

Prediksi Model

Gunakan model sederhana (mis. regresi) untuk menebak nilai hilang berdasarkan kolom lain.

Jangan langsung hapus semua baris bermasalah — kalau missing value tersebar di banyak baris, Anda bisa kehilangan mayoritas data berharga.

Imputasi adalah istilah teknis untuk "mengisi nilai yang hilang dengan tebakan terbaik" — kata ini akan sering Anda temui dalam literatur data mining maupun dokumentasi pustaka Python seperti pandas dan scikit-learn. Strategi paling sederhana adalah menghapus baris yang datanya hilang, tetapi ini hanya masuk akal kalau porsinya kecil, misalnya kurang dari 5 persen; kalau dipaksakan pada data yang bolong-bolong 40 persen, Anda akan kehilangan informasi berharga dari pelanggan UMKM yang datanya justru tidak lengkap karena baru bergabung. Alternatif yang lebih umum dipakai adalah imputasi statistik, yaitu mengisi nilai kosong dengan rata-rata atau median dari kolom yang sama — teknik inilah yang akan kita hitung langkah demi langkah pada slide berikutnya. Pilihan ketiga yang lebih canggih adalah memprediksi nilai hilang menggunakan model, misalnya menebak pendapatan seorang nasabah BBCA berdasarkan pola transaksi lainnya.

Hitung dari Nol: Imputasi Rata-Rata

Data omzet harian sebuah kedai kopi UMKM (juta Rupiah) selama 6 hari: 5, 7, 6, hilang, 8, 6.

Langkah	Perhitungan	Nilai
1. Jumlahkan data yang tersedia (5 hari)	5 + 7 + 6 + 8 + 6	32
2. Hitung banyak data yang tersedia	n data valid (tanpa yang hilang)	5
3. Hitung rata-rata (mean)	32 ÷ 5	6,4
4. Isi nilai yang hilang dengan mean	ganti data hilang → 6,4	6,4

Data Terisi Lengkap

6,4

Rp 6,4 juta — menggantikan nilai yang hilang di hari ke-4

Coba Sendiri: Isi Data Hilang dengan Imputasi Rata-Rata

Ubah nilai omzet harian yang tersedia, amati bagaimana nilai mean yang dipakai mengisi data hilang ikut berubah.

Noise dan Outlier: Bedanya Apa?

Noise

Galat acak dalam pengukuran atau pencatatan data — biasanya kesalahan kecil dan tersebar merata. Contoh: sensor GPS ojek online meleset beberapa meter akibat gangguan sinyal.

Outlier

Nilai yang jauh menyimpang dari pola mayoritas data — bisa jadi galat, bisa jadi kejadian nyata yang penting. Contoh: satu transaksi Rp 500 juta di antara transaksi rata-rata Rp 200 ribu.

Z = (x − μ) ÷ σ

μ (mu) = rata-rata data, σ (sigma) = simpangan baku (standar deviasi). Aturan umum: |Z| > 2 dianggap potensi outlier.

Penting bagi Anda membedakan noise dan outlier karena penanganannya berbeda — noise biasanya kita kurangi dengan smoothing atau pembulatan, sedangkan outlier perlu diperiksa satu per satu apakah ia kesalahan data atau justru sinyal bisnis yang berharga. Rumus Z-score di slide ini adalah alat standar untuk mendeteksi outlier secara kuantitatif: kita hitung seberapa jauh sebuah nilai x menyimpang dari rata-rata mu, lalu kita bagi dengan standar deviasi sigma yang mengukur seberapa lebar sebaran data secara keseluruhan. Semakin besar nilai mutlak Z, semakin jauh titik data itu dari kebiasaan mayoritas, dan konvensi umum menyatakan |Z| lebih dari 2 sudah pantas dicurigai sebagai outlier. Sebagai gambaran nyata, kalau mayoritas transaksi GoPay pengguna berkisar puluhan ribu rupiah lalu tiba-tiba muncul transaksi Rp 50 juta, Z-score membantu sistem anti-fraud menandainya untuk diperiksa lebih lanjut.

Hitung dari Nol: Deteksi Outlier dengan Z-Score

Durasi baca artikel di sebuah media digital (menit), n = 8: 2, 4, 4, 4, 5, 5, 7, 9.

Langkah	Perhitungan	Nilai
1. Hitung rata-rata (mean)	(2+4+4+4+5+5+7+9) ÷ 8	5
2. Hitung variansi populasi	Σ(x−5)² ÷ 8 = 32 ÷ 8	4
3. Hitung standar deviasi (σ)	√4	2
4. Hitung Z-score untuk x = 9	(9 − 5) ÷ 2	2

Kesimpulan

Z = 2

Tepat di batas ambang — layak diperiksa lebih lanjut sebagai potensi outlier

Perhatikan bagaimana empat langkah ini saling bersandar satu sama lain untuk menghasilkan satu angka akhir yang bermakna. Kita mulai dengan menjumlahkan delapan data durasi baca artikel lalu membaginya dengan delapan, menghasilkan rata-rata 5 menit. Selanjutnya kita hitung variansi, yaitu rata-rata dari kuadrat selisih setiap data terhadap mean — hasilnya 4 — lalu kita akarkan untuk mendapatkan standar deviasi sebesar 2 menit, yang menggambarkan seberapa lebar sebaran waktu baca pengguna di sekitar rata-rata. Terakhir kita hitung Z-score untuk nilai 9 menit, yaitu selisihnya terhadap mean dibagi standar deviasi, menghasilkan Z sama dengan 2 — tepat di ambang batas umum sehingga data ini layak diperiksa lebih lanjut, misalnya apakah pengguna itu benar-benar antusias membaca atau tab artikelnya dibiarkan terbuka saat pengguna sedang mengerjakan hal lain.

Bagian 2 dari 3

Transformasi dan Integrasi Data

Setelah data bersih, kita perlu menyamakan skala, meringkas volume, dan menggabungkan sumber data yang berbeda.

Normalisasi: Menyamakan Skala Data

Kasus: menggabungkan variabel usia (tahun) dan pendapatan (Rupiah) dalam satu model — skalanya jauh berbeda.

Walkthrough: Min-Max Scaling

1. Rumus: x' = (x − min) ÷ (max − min)

2. Data pendapatan berkisar Rp 2 juta – Rp 20 juta.

3. Pendapatan Rp 8 juta → (8−2)÷(20−2) = 6÷18 = 0,33.

4. Hasil selalu di rentang 0 sampai 1, sebanding antar-variabel.

Walkthrough: Z-Score Scaling

1. Rumus: x' = (x − μ) ÷ σ (sama seperti deteksi outlier).

2. Cocok saat data punya nilai ekstrem yang masih ingin dipertahankan.

3. Hasil biasanya berkisar −3 sampai +3.

4. Dipakai luas pada algoritma berbasis jarak: K-means, SVM, neural network.

Bayangkan Anda membangun model untuk memprediksi apakah nasabah layak diberi kredit oleh sebuah fintech, dengan variabel usia yang berkisar 20 hingga 60, sementara pendapatan berkisar jutaan rupiah — tanpa normalisasi, algoritma akan menganggap pendapatan jauh lebih "penting" hanya karena angkanya lebih besar, padahal itu cuma soal skala satuan. Min-max scaling menyelesaikan ini dengan memetakan semua nilai ke rentang 0 sampai 1 berdasarkan nilai minimum dan maksimum kolom tersebut, seperti yang kita hitung untuk pendapatan Rp 8 juta menjadi 0,33. Z-score scaling adalah alternatif yang memakai mean dan standar deviasi, sama seperti rumus yang Anda pelajari untuk deteksi outlier tadi, dan lebih tahan terhadap pengaruh nilai ekstrem karena tidak bergantung ketat pada nilai minimum-maksimum. Kedua teknik ini wajib Anda kuasai karena hampir semua algoritma supervised dan unsupervised learning yang sudah dipelajari — K-means, SVM, neural network — sangat sensitif terhadap skala data mentah.

Coba Sendiri: Bandingkan Min-Max dan Z-Score Scaling

Ubah nilai minimum dan maksimum data pendapatan, amati bagaimana hasil min-max scaling dan z-score scaling berbeda satu sama lain.

Reduksi Data: Meringkas Tanpa Kehilangan Makna

Data besar tidak selalu perlu diproses utuh — reduksi membuat komputasi lebih ringan dan cepat.

Sampling

Ambil sebagian data secara acak yang mewakili keseluruhan populasi, mis. 10.000 dari 1 juta transaksi.

Reduksi Dimensi

↓D

Kurangi jumlah variabel dengan PCA/SVD (sudah dipelajari pertemuan 2–4) tanpa banyak kehilangan informasi.

Agregasi

Ringkas data transaksi harian menjadi total mingguan atau bulanan untuk analisis tren.

Ingat kembali PCA (pertemuan 2), SVD dan ICA (pertemuan 3): itulah bentuk reduksi dimensi yang sudah Anda kuasai — di sini kita menempatkannya sebagai bagian dari tahap preprocessing.

Anda mungkin bertanya, kenapa harus mengurangi data kalau tujuannya justru mendapatkan hasil analisis yang akurat? Jawabannya adalah efisiensi: memproses satu juta baris data transaksi e-commerce nasional setiap kali melatih model sangat mahal dari sisi waktu dan komputasi, sementara sampel yang representatif seringkali memberi hasil yang hampir sama baiknya. Reduksi dimensi seperti PCA dan SVD yang sudah Anda pelajari mendalam di pertemuan kedua dan ketiga semester ini juga termasuk bentuk reduksi data — di sana kita mengurangi jumlah kolom atau variabel, bukan jumlah baris. Agregasi adalah pendekatan lain, misalnya sebuah minimarket waralaba tidak perlu menganalisis tiap struk belanja secara individual untuk melihat tren, cukup meringkasnya menjadi total penjualan per minggu atau per bulan agar pola musiman lebih mudah terlihat.

Diskritisasi: Mengubah Angka Jadi Kategori

Kasus: mengelompokkan usia pelanggan sebuah aplikasi e-wallet menjadi kategori generasi.

Walkthrough Bertahap: Binning Usia

1. Data mentah: usia pelanggan berupa angka kontinu (17, 23, 35, 48, 61, ...).

2. Tentukan batas interval (bin): 17–25, 26–40, 41–60, 61+.

3. Beri label kategori: "Gen Z", "Milenial", "Gen X", "Baby Boomer".

4. Setiap pelanggan dipetakan ke satu kategori, mis. usia 23 → "Gen Z".

5. Hasil: variabel kategori ini lebih mudah dipakai untuk segmentasi pemasaran & decision tree (pertemuan 11).

Diskritisasi, atau sering disebut binning, adalah proses mengubah data numerik yang kontinu menjadi kelompok-kelompok kategori yang lebih mudah diinterpretasikan manusia maupun beberapa algoritma tertentu. Prosesnya dimulai dari data usia mentah yang berbentuk angka bebas, lalu kita tentukan batas-batas interval atau bin, misalnya rentang 17 sampai 25 tahun, 26 sampai 40 tahun, dan seterusnya. Setiap interval kemudian diberi label yang mudah dipahami tim pemasaran, seperti "Gen Z" atau "Milenial", sehingga pelanggan berusia 23 tahun otomatis masuk kategori Gen Z. Teknik ini sangat berguna ketika tim marketing sebuah aplikasi dompet digital ingin menyusun kampanye promosi berbeda untuk tiap generasi, dan juga mempermudah algoritma decision tree yang akan Anda pelajari pekan depan dalam membuat aturan percabangan yang lebih rapi.

Integrasi Data: Menggabungkan Banyak Sumber

Perusahaan jarang punya satu sumber data tunggal — integrasi menimbulkan tantangan baru.

Tantangan Umum

Skema berbeda: kolom "nama_produk" vs "product_name"
Kunci penggabung (ID) tidak konsisten antar-sistem
Redundansi: variabel yang sama terhitung dua kali

Contoh Nyata

Toko ritel menggabungkan data kasir toko fisik dan data marketplace (mis. Tokopedia/Shopee) untuk melihat total penjualan lintas kanal — ID pelanggan dan format tanggal harus disamakan lebih dulu.

Duplikasi data ditangani dengan mencocokkan kunci unik (ID transaksi) lalu membuang baris yang identik atau nyaris identik.

Bayangkan Anda bekerja untuk sebuah brand fesyen lokal yang berjualan lewat toko fisik sekaligus lapak di Tokopedia dan Shopee — setiap kanal punya sistem pencatatan sendiri dengan nama kolom dan format tanggal yang berbeda. Integrasi data adalah proses menggabungkan sumber-sumber ini menjadi satu tabel yang konsisten, dan di sinilah tantangan seperti skema kolom yang berbeda nama tapi maknanya sama sering muncul. Kunci penggabung, misalnya nomor identitas pelanggan, juga sering tidak konsisten formatnya antar-sistem sehingga harus disamakan dulu sebelum digabung, kalau tidak Anda akan salah menghitung pelanggan yang sama sebagai dua orang berbeda. Setelah data tergabung, duplikasi sering muncul dan harus dibersihkan dengan mencocokkan kunci unik seperti nomor transaksi, lalu membuang baris yang benar-benar identik.

Bagian 3 dari 3

Eksplorasi Data (EDA)

Setelah data bersih dan rapi, saatnya "mengobrol" dengan data lewat statistik ringkas dan visualisasi sebelum memodelkannya.

Statistik Deskriptif: Meringkas Data

Sebelum membuat grafik, kenali dulu angka-angka ringkas yang menggambarkan data Anda.

Tendensi Sentral

x̄

Mean (rata-rata), median (nilai tengah), modus (nilai tersering) — menggambarkan "pusat" data.

Sebaran

Variansi dan standar deviasi mengukur seberapa lebar data tersebar dari pusatnya (dihitung slide 8).

Bentuk Sebaran

Q1–Q3

Kuartil membagi data jadi 4 bagian sama rata; jarak Q1–Q3 disebut IQR (Interquartile Range).

Median lebih tahan terhadap outlier dibanding mean — gunakan median saat data punya nilai ekstrem, mis. gaji karyawan dengan satu direktur bergaji jauh di atas rata-rata.

Statistik deskriptif adalah bahasa ringkas untuk menggambarkan seluruh dataset hanya dengan beberapa angka, tanpa harus membaca ribuan baris satu per satu. Tendensi sentral seperti mean, median, dan modus memberi tahu Anda di mana "pusat" data berada — mean adalah rata-rata aritmetika, median adalah nilai tengah setelah data diurutkan, sedangkan modus adalah nilai yang paling sering muncul. Ukuran sebaran seperti variansi dan standar deviasi, yang sudah Anda hitung sendiri di slide sebelumnya, menunjukkan seberapa jauh data tersebar dari pusatnya, sementara kuartil membagi data menjadi empat bagian sama besar untuk melihat bentuk sebaran secara lebih rinci. Contoh nyata pentingnya memilih ukuran yang tepat: kalau Anda menghitung rata-rata gaji karyawan sebuah startup yang punya satu CEO bergaji sangat tinggi, mean akan terdistorsi ke atas, sedangkan median memberi gambaran yang lebih representatif tentang gaji "tipikal" karyawan.

Coba Sendiri: Ringkas Data dengan Statistik Deskriptif

Ubah nilai data mentah termasuk menambah satu nilai ekstrem, amati bagaimana mean, median, dan kuartil bereaksi berbeda.

Visualisasi: Melihat Pola dengan Mata

Histogram

Sebaran frekuensi 1 variabel, mis. distribusi usia pelanggan.

Boxplot

Kuartil & outlier (lingkaran) — ringkas sebaran & nilai ekstrem.

Scatter Plot

Hubungan 2 variabel, mis. durasi pakai aplikasi vs jumlah transaksi.

Ketiga jenis grafik ini adalah alat wajib dalam eksplorasi data, dan masing-masing menjawab pertanyaan berbeda. Histogram menunjukkan bagaimana satu variabel tersebar, misalnya apakah usia pelanggan aplikasi ojek online mayoritas berkisar 20 sampai 35 tahun atau justru merata di semua kelompok umur. Boxplot meringkas sebaran data lewat kuartil sekaligus menandai outlier sebagai titik terpisah di luar kotak, sangat berguna untuk cepat melihat apakah ada transaksi yang janggal dalam laporan keuangan bulanan. Scatter plot menampilkan hubungan antara dua variabel numerik sekaligus, misalnya apakah semakin lama pengguna membuka aplikasi e-commerce semakin banyak pula barang yang mereka beli — pola visual seperti ini sering menjadi petunjuk awal sebelum kita menghitung korelasi secara formal di slide berikutnya.

Korelasi: Mengukur Hubungan Dua Variabel

Koefisien korelasi (r) berkisar dari −1 sampai +1 — menunjukkan arah dan kekuatan hubungan linear.

Walkthrough Interpretasi

1. r mendekati +1: hubungan positif kuat — mis. lama sesi belanja di Shopee vs jumlah item di keranjang.

2. r mendekati −1: hubungan negatif kuat — mis. harga diskon vs jumlah komplain retur.

3. r mendekati 0: hampir tidak ada hubungan linear — mis. warna latar aplikasi vs nilai transaksi.

4. Peringatan: korelasi bukan sebab-akibat — dua variabel bisa berkorelasi karena faktor ketiga yang tersembunyi.

Korelasi adalah salah satu alat eksplorasi paling populer karena satu angka saja bisa merangkum kekuatan hubungan antara dua variabel. Ketika koefisien korelasi mendekati positif satu, artinya kedua variabel bergerak searah, misalnya semakin lama pengguna menghabiskan waktu berbelanja di Shopee, semakin banyak pula barang yang mereka masukkan ke keranjang. Sebaliknya, korelasi mendekati negatif satu berarti kedua variabel bergerak berlawanan arah, sedangkan korelasi mendekati nol menandakan hampir tidak ada hubungan linear yang bisa diandalkan antar keduanya. Yang paling penting untuk Anda ingat, dan sering menjadi kesalahan pemula, adalah korelasi tidak sama dengan sebab-akibat — misalnya penjualan payung dan kecelakaan motor bisa sama-sama naik di musim hujan, tetapi bukan berarti payung menyebabkan kecelakaan, keduanya hanya sama-sama dipengaruhi faktor cuaca.

Coba Sendiri: Ubah Sebaran, Amati Koefisien Korelasi

Geser titik-titik data pada scatter plot, amati bagaimana koefisien korelasi r berubah dari mendekati +1, 0, sampai -1.

Studi Kasus: Alur Preprocessing UMKM Digital

Sebuah UMKM fesyen daring ingin menganalisis data 3 bulan transaksinya sebelum membangun model prediksi penjualan.

Walkthrough Alur Kerja

1. Kumpulkan: gabungkan data dari marketplace + toko fisik (integrasi data).

2. Bersihkan: isi harga yang hilang dengan median, buang baris duplikat transaksi.

3. Deteksi outlier: cek transaksi dengan Z-score — satu order senilai Rp 50 juta ternyata pesanan grosir, bukan galat, sehingga dipertahankan.

4. Transformasi: normalisasi harga & diskritisasi usia pelanggan jadi kategori generasi.

5. Eksplorasi: histogram penjualan per bulan & korelasi harga diskon vs jumlah unit terjual.

6. Data siap → lanjut ke tahap klasifikasi & decision tree pekan depan.

Studi kasus ini merangkum seluruh materi hari ini menjadi satu alur kerja nyata yang bisa Anda bayangkan terjadi di sebuah bisnis fesyen daring skala kecil-menengah. Pertama, tim data mengumpulkan dan mengintegrasikan transaksi dari marketplace seperti Shopee dengan catatan toko fisik, lalu membersihkan data dengan mengisi harga yang hilang memakai median dan membuang baris duplikat akibat sinkronisasi ganda. Langkah deteksi outlier menunjukkan pentingnya penilaian manusia — satu transaksi Rp 50 juta yang Z-score-nya tinggi ternyata bukan kesalahan data, melainkan pesanan grosir dari reseller, sehingga tim memutuskan mempertahankannya, bukan menghapusnya. Setelah data ditransformasi dan dieksplorasi lewat histogram serta analisis korelasi, barulah data ini benar-benar siap masuk ke tahap pemodelan klasifikasi yang akan Anda pelajari pada pertemuan berikutnya.

Latihan Kelas: Giliran Anda Menghitung

Kerjakan berpasangan (5 menit), lalu kita bahas bersama.

Data lama nonton video edukasi di sebuah platform belajar daring (menit), n = 6: 10, 12, 11, 13, 12, hilang.

Soal 1: Isi nilai yang hilang menggunakan imputasi mean dari 5 data yang tersedia.
Soal 2: Dataset lain n = 5: 3, 5, 5, 5, 22. Hitung mean, variansi, standar deviasi, lalu Z-score untuk nilai 22. Apakah nilai ini potensi outlier (|Z| > 2)?

Petunjuk Soal 1

Jumlahkan 5 data ÷ 5 — ikuti pola slide 6

Petunjuk Soal 2

Ikuti 4 langkah pola slide 8 secara berurutan

Sekarang giliran Anda mempraktikkan langsung apa yang baru saja kita hitung bersama, silakan berpasangan dengan teman sebangku dan gunakan waktu lima menit untuk menyelesaikan kedua soal ini di kertas atau catatan digital Anda. Soal pertama melatih kembali teknik imputasi mean yang sudah kita hitung untuk kasus omzet kedai kopi, sedangkan soal kedua melatih seluruh rangkaian langkah deteksi outlier mulai dari mean, variansi, standar deviasi, hingga Z-score. Setelah waktu habis, saya akan meminta beberapa pasangan mempresentasikan jawaban mereka di depan kelas, jadi pastikan Anda benar-benar memahami setiap langkah perhitungannya, bukan hanya menyalin dari teman. Latihan seperti ini penting karena ujian tengah maupun akhir semester sering menguji kemampuan Anda menghitung langkah demi langkah, bukan sekadar menghafal definisi istilah.

Rangkuman & Menuju Pertemuan 11

Tahap	Teknik Kunci	Tujuan
Pembersihan	Imputasi mean/median, hapus duplikat	Data lengkap & tidak berulang
Deteksi Anomali	Z-score, \|Z\| > 2	Temukan noise & outlier
Transformasi	Min-max/Z-score scaling, binning	Skala seragam & kategori jelas
Eksplorasi	Statistik deskriptif, histogram, korelasi	Pahami pola sebelum modeling

Minggu Depan (P11)

Klasifikasi Data dan Teknik Decision Tree, Bayesian, Ensemble — data yang sudah kita siapkan hari ini akan langsung dipakai membangun model klasifikasi pertama Anda.

Tugas

Bawa 1 dataset kecil (boleh dari Kaggle/BPS) yang punya missing value/outlier untuk dipraktikkan di P11

Mari kita rangkum perjalanan dua jam kita hari ini: kita mulai dari memahami mengapa data mentah selalu bermasalah, lalu belajar membersihkannya lewat imputasi dan deteksi outlier dengan Z-score, dilanjutkan dengan transformasi skala dan kategori, dan ditutup dengan eksplorasi data lewat statistik deskriptif serta visualisasi. Keempat tahap ini bukan urutan kaku yang harus selalu linear, dalam praktik nyata seorang data scientist di perusahaan seperti Gojek atau Bukalapak sering bolak-balik antar-tahap saat menemukan masalah baru di tengah jalan. Minggu depan kita akan langsung memanfaatkan data yang sudah bersih ini untuk membangun model klasifikasi pertama Anda menggunakan decision tree, naive Bayes, dan metode ensemble, jadi pastikan konsep preprocessing hari ini benar-benar melekat karena akan terus dipakai. Sebagai tugas mandiri, silakan cari satu dataset kecil dari sumber terbuka seperti Kaggle atau BPS yang memiliki missing value atau outlier, karena Anda akan mempraktikkan teknik hari ini langsung pada data tersebut di pertemuan berikutnya.