‹ Daftar slide
Pertemuan 3: Pengumpulan & Validasi Data
Data Science
Pertemuan 3
CPMK-1 · CPMK-2
Pengumpulan & Validasi Data
Merancang proses pengumpulan data yang valid & menilai dimensi kualitas data
Program Studi Bisnis Digital · 150 menit
Agenda Pertemuan
Teori (75 menit)
- Metode pengumpulan data: survei, sensor, web scraping
- Prinsip GIGO dan dimensi kualitas data
- Data profiling & quality assessment
- Studi kasus perusahaan Indonesia
Praktik & Diskusi (75 menit)
- Latihan memetakan sumber data untuk kasus bisnis
- Identifikasi masalah kualitas pada dataset contoh
- Diskusi tugas: data profiling sederhana
- Preview P4: Eksplorasi Data (EDA)
Tujuan Pembelajaran
1
- Menjelaskan tiga metode utama pengumpulan data digital: survei, sensor, dan web scraping
- Memilih metode yang tepat sesuai konteks bisnis
2
- Memahami prinsip GIGO dan konsekuensinya pada keputusan bisnis
- Mengidentifikasi dimensi kualitas data (akurasi, kelengkapan, konsistensi, ketepatan waktu)
3
- Melakukan data profiling dasar untuk mendeteksi anomali dan missing values
4
- Merancang proses pengumpulan data yang valid untuk permasalahan bisnis nyata
Topik 1
Metode Pengumpulan Data
Survei · Sensor · Web Scraping
Metode 1: Survei
Pengumpulan data terstruktur melalui pertanyaan kepada responden — digital maupun offline.
| Aspek | Detail |
|---|---|
| Jenis | Online (Google Forms, Typeform), telepon, tatap muka |
| Skala data | Nominal, ordinal, interval, rasio |
| Kelebihan | Terstruktur, mudah kuantifikasi, jangkauan luas |
| Keterbatasan | Response bias, non-response bias, biaya tinggi |
| Contoh bisnis | NPS Telkomsel, survei kepuasan BCA, riset pasar Unilever |
Desain Survei yang Baik
- Pertanyaan singkat dan tidak ambigu
- Urutan logis (umum → spesifik)
- Pilihan jawaban mutually exclusive & exhaustive
- Pilot test sebelum distribusi massal
- Pertimbangkan sampling strategy (purposive, random, stratified)
Response Rate Target: ≥30% untuk survei online; ≥60% untuk survei akademis yang valid secara statistik
Metode 2: Sensor & IoT
Data dikumpulkan secara otomatis oleh perangkat fisik yang terhubung ke internet.
Jenis Sensor
- GPS & lokasi
- Suhu & kelembaban
- Akselerometer (gerak)
- Kamera & optik
- RFID & barcode
Contoh Indonesia
- GPS driver Gojek/Grab
- Sensor ATM BRI real-time
- Smart meter PLN
- Kamera tol elektronik
- Sensor gudang Tokopedia
| Karakteristik | Implikasi |
|---|---|
| Volume tinggi | Perlu storage scalable (cloud) |
| Velocity cepat | Stream processing (bukan batch) |
| Otomatis | Mengurangi human error |
| Noise & outlier | Perlu validasi sensor drift |
| Biaya hardware | ROI harus dihitung per use case |
Metode 3: Web Scraping
Ekstraksi data secara otomatis dari halaman web menggunakan program/skrip.
Teknik Utama
- HTML Parsing — ekstrak struktur DOM (BeautifulSoup, Cheerio)
- API Resmi — JSON/XML terstruktur, legal & stabil (Twitter/X API, BPS API)
- Headless Browser — tangkap konten dinamis JavaScript (Playwright, Puppeteer)
- RSS & Sitemap — konten berita & blog terstruktur
Prinsip Legal: Periksa
robots.txt, Terms of Service, dan UU ITE sebelum scraping. Data publik ≠ data bebas diambil sembarangan.| Use Case | Contoh Indonesia |
|---|---|
| Monitoring harga | Scraping Tokopedia/Shopee untuk price intelligence |
| Analisis sentimen | Komentar Twitter/X tentang merek lokal |
| Riset kompetitor | Lowongan kerja di Jobstreet & Glints |
| Data publik | Statistik BPS, APBN Kemenkeu |
| Review produk | Rating & ulasan di Google Maps, Tokopedia |
Topik 2
Validasi & Kualitas Data
GIGO · Dimensi Kualitas · Praktik Validasi
Prinsip GIGO: Garbage In, Garbage Out
"Jika data yang masuk ke sistem analitik berkualitas buruk, maka output — prediksi, keputusan, atau rekomendasi — pasti berkualitas buruk pula, terlepas dari secanggih apapun algoritmanya."
Dampak Operasional
- Rekomendasi produk tidak relevan (e-commerce)
- Fraud detection meleset
- Stok habis atau over-stock
Dampak Finansial
- Budget iklan terbuang ke segmen salah
- Kredit macet karena scoring error
- Rugi akibat keputusan harga yang keliru
Dampak Reputasi
- Laporan keuangan tidak akurat
- Diskriminasi model AI (bias data)
- Kepercayaan pengguna menurun
Studi kasus: Pada 2018, Amazon menonaktifkan alat rekrutmen AI-nya karena data training historis bias terhadap pelamar perempuan — contoh nyata GIGO berskala besar.
Enam Dimensi Kualitas Data
| Dimensi | Definisi | Contoh Masalah | Cara Deteksi |
|---|---|---|---|
| Akurasi | Data benar & sesuai realitas | Usia pelanggan = 200 tahun | Range check, cross-validation |
| Kelengkapan | Tidak ada nilai yang hilang | 30% kolom alamat kosong | Missing value count per kolom |
| Konsistensi | Tidak ada kontradiksi antar data | "Jakarta" vs "DKI Jakarta" untuk kota yang sama | Duplikasi & standardisasi |
| Ketepatan Waktu | Data mutakhir & relevan | Harga produk dari 2 tahun lalu | Timestamp audit |
| Keunikan | Tidak ada duplikasi rekord | Pelanggan terdaftar 3 kali dengan ID berbeda | Deduplication check |
| Validitas | Format & domain sesuai aturan | Email tanpa "@", NPWP digit salah | Regex & format validator |
Teknik Validasi Data
Validasi Otomatis (Rule-Based)
| Teknik | Contoh Aturan |
|---|---|
| Range check | Usia: 0–120; Harga: >0 |
| Format check | Email harus ada "@" dan domain |
| Referential integrity | ID pelanggan harus ada di tabel master |
| Business rule | Tanggal kirim > tanggal pesan |
| Uniqueness check | NIK tidak boleh duplikat |
Validasi Statistik
- Z-score outlier — nilai >3 standar deviasi dari rata-rata patut dicurigai
- IQR method — outlier di luar Q1-1.5×IQR dan Q3+1.5×IQR
- Distribution check — apakah distribusi data wajar untuk domain?
- Correlation anomaly — hubungan antar variabel yang tidak masuk akal
Tools: Python (pandas-profiling / ydata-profiling), Great Expectations, dbt tests, Apache Griffin
Topik 3
Data Profiling & Quality Assessment
Mengenal Dataset Sebelum Menganalisis
Data Profiling: Mengenal Dataset Anda
Data profiling adalah proses sistematis untuk memahami struktur, konten, dan kualitas dataset sebelum analisis dimulai.
Pertanyaan Kunci Saat Profiling
- Berapa jumlah baris dan kolom?
- Tipe data setiap kolom (numerik, kategori, teks, tanggal)?
- Berapa % missing values per kolom?
- Apakah ada outlier ekstrem?
- Apakah ada duplikasi?
- Apa distribusi nilai untuk kolom kunci?
| Metrik Profiling | Informasi yang Diperoleh |
|---|---|
| Count / null count | Kelengkapan data |
| Mean, median, std | Tendensi sentral & dispersi |
| Min, max, quartile | Range & potensi outlier |
| Cardinality | Jumlah nilai unik (cek ID duplikat) |
| Top N values | Pola dominan, typo kategori |
| Data type | Konsistensi format |
Studi Kasus: Gojek — Data Pipeline
Konteks
Gojek memproses jutaan transaksi harian dari layanan transportasi, pesan antar makanan, dan pembayaran digital (GoPay). Kualitas data sangat kritikal untuk algoritma pricing, ETA, dan fraud detection.
Tantangan Kualitas Data
- GPS drift di area dengan gedung tinggi (urban canyon)
- Duplikasi order akibat koneksi tidak stabil
- Missing data saat driver offline
- Inkonsistensi nama restoran dari berbagai sumber
Solusi yang Diterapkan
| Masalah | Solusi |
|---|---|
| GPS drift | Map snapping & Kalman filtering |
| Duplikasi order | Idempotency key per transaksi |
| Missing data | Imputation & cache lokal di app |
| Inkonsistensi nama | Entity resolution dengan fuzzy matching |
Gojek memproses ~ 1 miliar+ transaksi per bulan (estimasi berdasarkan laporan publik 2023) — validasi data real-time adalah keharusan mutlak.
Studi Kasus: BCA & BRImo — Data Perbankan
BCA — Fraud Detection
BCA mengumpulkan data transaksi dari ~ 30 juta+ rekening aktif (2023). Sistem fraud detection real-time menganalisis pola transaksi untuk mendeteksi anomali.
- Data dikumpulkan: waktu, lokasi, nominal, merchant, device
- Validasi: konsistensi profil perilaku nasabah
- Challenge: transaksi legitimate yang "mirip" fraud
BRImo — Inklusi Keuangan
BRImo (Bank BRI) melayani segmen unbanked/underbanked di daerah 3T dengan koneksi internet tidak stabil.
- Challenge: data tidak lengkap akibat gagal sinkronisasi
- Solusi: offline-first architecture, sinkronisasi saat sinyal ada
- Validasi: rekonsiliasi data antara server lokal & pusat
Pelajaran: Konteks penggunaan menentukan prioritas dimensi kualitas data — fraud detection prioritaskan akurasi & ketepatan waktu; inklusi keuangan prioritaskan kelengkapan & keandalan sinkronisasi.
Framework Penilaian Kualitas Data
Proses Assessment (4 Langkah)
1
Inventory — Daftar semua sumber data, format, frekuensi update
2
Profile — Jalankan statistik deskriptif & distribusi per kolom
3
Score — Beri skor 1–5 per dimensi kualitas (akurasi, kelengkapan, dll)
4
Remediate — Prioritaskan perbaikan berdasarkan dampak bisnis
Data Quality Scorecard (Contoh)
| Dimensi | Bobot | Skor | Nilai |
|---|---|---|---|
| Akurasi | 30% | 4/5 | 2.4 |
| Kelengkapan | 25% | 3/5 | 1.5 |
| Konsistensi | 20% | 4/5 | 1.6 |
| Ketepatan Waktu | 15% | 5/5 | 1.5 |
| Keunikan | 10% | 4/5 | 0.8 |
| Total Score | 7.8/10 | ||
Skor ≥8: Siap analisis · 6–8: Perlu perbaikan parsial · <6: Stop, perbaiki dulu
Coba Sendiri: Hitung Skor Kualitas Data Anda
Geser bobot dan skor tiap dimensi kualitas data, amati bagaimana total score berubah dan kapan status berpindah dari "stop" ke "siap analisis".
Alur Pengumpulan & Validasi Data
Rangkuman Pertemuan 3
Key Takeaways
- Tiga metode pengumpulan data — survei (terstruktur, tergantung responden), sensor/IoT (otomatis, volume tinggi), web scraping (fleksibel, perlu perhatikan legalitas) — masing-masing punya kelebihan dan batasan unik.
- GIGO adalah hukum besi data science — data buruk menghasilkan keputusan buruk, terlepas dari algoritma yang dipakai. Validasi bukan opsional, melainkan wajib.
- Enam dimensi kualitas data (akurasi, kelengkapan, konsistensi, ketepatan waktu, keunikan, validitas) adalah kerangka standar untuk menilai dan mengkomunikasikan kualitas data secara objektif.
- Data profiling adalah langkah pertama sebelum analisis apapun — pahami struktur, konten, dan anomali dataset Anda sebelum membangun model atau membuat laporan.
- Konteks bisnis menentukan prioritas — tidak ada standar kualitas yang universal; fraud detection memprioritaskan akurasi real-time, sementara inklusi keuangan memprioritaskan kelengkapan dan keandalan sinkronisasi.
Tugas & Diskusi
Tugas Individu (dikumpul P4)
Pilih satu perusahaan Indonesia (e-commerce, fintech, logistik, atau perbankan). Lakukan analisis:
- Identifikasi minimal 3 sumber data yang kemungkinan digunakan perusahaan tersebut
- Untuk setiap sumber, jelaskan metode pengumpulan dan potensi masalah kualitas
- Rancang 5 aturan validasi yang relevan untuk salah satu sumber data
- Buat data quality scorecard sederhana (skala 1–5 per dimensi)
Format: 1–2 halaman A4 atau presentasi 5 slide · Sumber: laporan tahunan, berita teknologi, blog engineering perusahaan
Diskusi Kelas (15 menit)
Kasus: Sebuah startup e-commerce baru ingin membangun sistem rekomendasi produk. Mereka memiliki data transaksi 3 bulan, tetapi 40% data alamat pelanggan kosong dan 15% data harga tidak konsisten antar sistem.
- Apa yang harus dilakukan sebelum membangun model?
- Dimensi kualitas mana yang paling kritis untuk use case ini?
- Bagaimana Anda memprioritaskan perbaikan dengan sumber daya terbatas?
Referensi tambahan: Dokumentasi engineering Gojek (gojek.com/blog), Towards Data Science (towardsdatascience.com), dokumentasi ydata-profiling (GitHub)
Tanya Jawab & Preview P4
Pertanyaan Refleksi
- Metode pengumpulan data mana yang paling relevan untuk industri yang Anda minati?
- Pernahkah Anda menemukan keputusan buruk akibat data yang tidak akurat? Apa pelajarannya?
- Bagaimana organisasi dapat membangun budaya "data quality first"?
Silakan ajukan pertanyaan
?
Preview Pertemuan 4: Eksplorasi Data (EDA)
Setelah data dikumpulkan dan divalidasi, langkah berikutnya adalah memahaminya lebih dalam melalui Exploratory Data Analysis.
- Statistik deskriptif lanjutan
- Distribusi data & central tendency
- Korelasi antar variabel
- Visualisasi dasar: histogram, scatter plot, box plot
- Deteksi pola & anomali visual
Persiapan: Install Python + pandas + matplotlib/seaborn, atau akses Google Colab. Bawa laptop untuk sesi praktik.