Program Studi Bisnis Digital • FEB UNDIP

Laboratorium Sains Data

Pertemuan 10 — Teknologi Big Data: Hadoop, MapReduce & NoSQL

Ketika data sudah terlalu besar untuk satu komputer, bagaimana caranya menyimpan dan mengolahnya? Kita bongkar arsitektur di balik cara Tokopedia, BEI, dan platform digital besar lain menangani jutaan transaksi setiap hari.

RPS minggu 11 · 2x50 menit

Selamat datang, Anda sudah melewati sembilan pertemuan berlatih data science dengan dataset yang relatif kecil dan muat di laptop Anda sendiri — mulai hari ini kita bicara soal skala yang jauh lebih besar. Bayangkan Anda bekerja di tim data Tokopedia atau BEI, di mana data transaksi masuk jutaan baris setiap hari dan tidak mungkin diproses satu komputer saja; di sinilah teknologi big data seperti Hadoop, MapReduce, dan NoSQL berperan. Sesi ini murni konseptual dan arsitektural, tanpa perlu Anda instal software apa pun, karena tujuan utamanya adalah membangun pemahaman "cara kerja di baliknya" sebelum Anda bertemu tools ini di dunia kerja. Jangan khawatir kalau istilah seperti node, cluster, atau NoSQL masih asing — kita akan bangun pemahamannya pelan-pelan dari masalah nyata yang dihadapi bisnis digital.

Tujuan Pembelajaran Hari Ini

Setelah pertemuan ini, Anda diharapkan mampu menjelaskan dan memilih teknologi big data yang tepat untuk skenario bisnis digital. Secara rinci:

CAPAIAN 1

BATAS SISTEM TRADISIONAL

Menjelaskan mengapa basis data relasional biasa kesulitan menangani big data.

CAPAIAN 2

HDFS & MAPREDUCE

Menjelaskan arsitektur penyimpanan dan pemrosesan terdistribusi Hadoop.

CAPAIAN 3

NOSQL DATABASE

Membedakan NoSQL dari SQL serta mengenali empat jenis NoSQL utama.

CAPAIAN 4

PEMILIHAN TEKNOLOGI

Menentukan teknologi paling sesuai untuk kasus bisnis digital tertentu.

Empat capaian ini berjenjang: dua yang pertama membangun pemahaman "kenapa" dan "bagaimana" teknologi big data bekerja secara teknis, sementara dua yang terakhir mengasah kemampuan Anda mengambil keputusan sebagai calon analis atau product manager bisnis digital. Ingatkan mahasiswa bahwa mereka tidak dituntut menjadi administrator Hadoop, tetapi harus paham cukup dalam untuk bisa berdiskusi dengan tim engineering ketika perusahaan mempertimbangkan investasi infrastruktur data. Contohnya, ketika sebuah startup e-commerce mulai kewalahan menangani log aktivitas pengguna, andalah yang perlu tahu apakah solusinya menambah RAM server atau justru pindah ke arsitektur terdistribusi. Di akhir sesi, Anda akan bisa menjawab pertanyaan sederhana namun penting: "kapan sebenarnya kita butuh Hadoop atau NoSQL, dan kapan basis data biasa saja masih cukup?"

Bagian 1 dari 3

Mengapa Basis Data Biasa Tidak Cukup

Sebelum mengenal Hadoop, kita perlu memahami dulu masalah yang membuatnya diciptakan: data yang tumbuh lebih cepat daripada kemampuan satu komputer untuk menampungnya.

Mengingat Kembali: Karakteristik Big Data

Di Pertemuan 1 Anda sudah berkenalan dengan big data — data yang volumenya sangat besar, mengalir cepat, dan formatnya beragam sehingga tak lagi bisa ditangani cara konvensional. Lima ciri utamanya (5V):

VOLUME

Ukuran data — dari gigabyte ke terabyte, bahkan petabyte per hari.

VELOCITY

Kecepatan data masuk — misal transaksi real-time di aplikasi e-commerce.

VARIETY

Ragam format — teks, gambar, video, log, bukan cuma tabel rapi.

VERACITY

Kualitas & kepercayaan data — banyak noise, duplikasi, data tidak lengkap.

VALUE

Nilai bisnis yang bisa digali — tujuan akhir dari semua pemrosesan.

Dua Strategi Menghadapi Pertumbuhan Data

Ketika satu server sudah "kepenuhan", ada dua jalan: scale-up (perbesar satu server) atau scale-out (tambah banyak server yang bekerja sama).

Scale-up murah untuk skala kecil, tapi ada batas fisik (harga server raksasa naik drastis) dan jadi single point of failure — kalau server itu mati, semuanya berhenti.

Scale-out (pendekatan Hadoop) memakai banyak komputer biasa (commodity hardware) yang murah — kalau satu mati, yang lain tetap jalan.

Komputasi Terdistribusi: Node & Cluster

Pendekatan scale-out disebut komputasi terdistribusi (distributed computing) — banyak komputer bekerja sama seolah satu sistem besar.

ISTILAH KUNCI

Node — satu unit komputer di dalam cluster.
Cluster — kumpulan node yang bekerja sama sebagai satu sistem.
Master node — mengatur & membagi tugas ke node lain.
Worker node — mengerjakan tugas & menyimpan data.

Analogi: cluster seperti tim gudang UMKM — satu supervisor (master) membagi tugas packing ke beberapa staf (worker), bukan satu orang mengerjakan semuanya sendiri.

Bagian 2 dari 3

Hadoop: HDFS & MapReduce

Framework yang mempopulerkan pendekatan scale-out untuk big data — kita bedah dua komponen intinya: cara menyimpan data (HDFS) dan cara mengolahnya (MapReduce).

Apa Itu Hadoop?

Hadoop adalah framework open-source (gratis & kode sumbernya terbuka) untuk menyimpan dan memproses big data secara terdistribusi di banyak komputer biasa sekaligus.

HDFS

PENYIMPANAN

Hadoop Distributed File System — menyebar & menyalin file besar ke banyak node.

MAPREDUCE

PEMROSESAN

Model pemrograman untuk mengolah data besar secara paralel di banyak node sekaligus.

YARN

MANAJEMEN SUMBER DAYA

Yet Another Resource Negotiator — mengatur alokasi CPU & memori antar-tugas di cluster.

Dianalogikan sederhana: HDFS = lemari penyimpanan raksasa yang tersebar, MapReduce = cara membagi pekerjaan ke banyak tangan, YARN = pengatur jadwal siapa mengerjakan apa dan kapan.

Sampaikan definisi Hadoop dengan tenang karena istilahnya terdengar teknis namun konsepnya sebenarnya sederhana begitu dipecah menjadi tiga bagian ini. HDFS menjawab pertanyaan "di mana data disimpan", MapReduce menjawab "bagaimana data diolah", dan YARN menjawab "siapa mengerjakan apa dan kapan" agar semua node tidak berebut sumber daya. Contohkan skenario nyata: ketika sebuah platform seperti Traveloka ingin menganalisis pola pemesanan tiket dari lima tahun terakhir, HDFS-lah yang menyimpan file log sebesar puluhan terabyte itu tersebar di ratusan komputer, sementara MapReduce yang menghitung pola-polanya secara paralel. Tekankan sekali lagi bahwa Hadoop bersifat open-source, artinya perusahaan tidak perlu membayar lisensi mahal seperti software basis data komersial tertentu — ini salah satu alasan popularitasnya meledak sejak pertengahan 2000-an.

Arsitektur HDFS: NameNode & DataNode

HDFS memecah file besar menjadi blok-blok (default 128MB), lalu menyebar & mereplikasi (menyalin) tiap blok ke beberapa komputer berbeda agar data tetap aman.

NAMENODE

Node "master" — menyimpan metadata (peta lokasi blok).
Tidak menyimpan data asli, hanya "daftar isi"-nya.

DATANODE

Node "worker" — menyimpan blok data sesungguhnya.
Replication factor default = 3 salinan per blok.

Cara Kerja MapReduce

MapReduce membagi satu pekerjaan besar menjadi tugas-tugas kecil yang diproses paralel (bersamaan) di banyak node, lalu menggabungkan hasilnya.

MAP

Tiap node memproses potongan data sendiri → hasilkan pasangan key-value.

SHUFFLE & SORT

Kumpulkan & kelompokkan semua value dengan key yang sama.

REDUCE

Gabungkan/agregasi tiap kelompok key menjadi satu hasil akhir.

Hitung dari Nol: MapReduce Word Count

Kasus: tim data sebuah marketplace ingin menghitung berapa kali kata "bagus" muncul di seluruh ulasan produk bulan ini.

Langkah	Perhitungan	Nilai
Total kalimat ulasan yang diproses (input Map)	Data mentah bulan ini	100.000 kalimat
Rata-rata kata per kalimat ulasan	Hasil hitung sampel	12 kata
Total pasangan kata (key-value) hasil tahap Map	100.000 × 12	1.200.000 kata
Kemunculan kata "bagus" hasil tahap Reduce (≈2% dari total kata)	1.200.000 × 2%	24.000 kali

HASIL AKHIR REDUCE

24.000

kemunculan kata "bagus" di seluruh ulasan bulan ini

Jalankan perhitungan ini baris demi baris di depan mahasiswa, jangan langsung tampilkan hasil akhirnya. Mulai dari volume data mentah seratus ribu kalimat ulasan, lalu kalikan dengan rata-rata dua belas kata per kalimat untuk mendapatkan total satu koma dua juta kata yang diproses tahap Map — ini angka yang sengaja besar untuk menegaskan mengapa satu komputer saja akan kewalahan mengerjakannya sendirian secara berurutan. Setelah shuffle and sort mengelompokkan kata yang sama, tahap Reduce menjumlahkan setiap kelompok, dan dalam kasus ini kata "bagus" muncul sekitar dua persen dari total kata sehingga hasil akhirnya dua puluh empat ribu kemunculan. Tekankan bahwa keunggulan MapReduce bukan pada rumus matematikanya yang sederhana, melainkan pada kemampuannya membagi pekerjaan menghitung satu koma dua juta kata itu ke ratusan komputer sekaligus sehingga selesai dalam hitungan detik, bukan jam.

Coba Sendiri: Simulasikan MapReduce Word Count

Ubah teks masukan dan lihat langsung tahap Map, Shuffle-Sort, dan Reduce menghitung kemunculan tiap kata.

Ekosistem Hadoop: Lebih dari Sekadar HDFS

Di sekitar HDFS & MapReduce, tumbuh banyak tools pendukung yang membuat Hadoop lebih mudah dipakai oleh analis data, bukan cuma programmer.

Tool	Fungsi	Analoginya
Hive	Query data di HDFS pakai bahasa mirip SQL	"Excel formula" untuk data raksasa
Pig	Bahasa skrip untuk alur transformasi data	Pipeline pengolahan data bertahap
Spark	Mesin pemrosesan jauh lebih cepat dari MapReduce klasik (di memori)	"Penerus" MapReduce yang populer sekarang
Sqoop	Memindahkan data antara RDBMS & HDFS	"Jembatan" basis data lama ke Hadoop
HBase	Basis data NoSQL kolom yang berjalan di atas HDFS	"Rak arsip" super cepat di atas HDFS

Yang perlu diingat: HDFS & MapReduce adalah fondasi, sedangkan tools ini membuat fondasi tersebut praktis dipakai sehari-hari oleh tim data — termasuk analis bisnis yang tidak menulis kode Java.

Bagian 3 dari 3

NoSQL: Basis Data untuk Big Data

Selain masalah penyimpanan & pemrosesan, big data juga menantang cara kita memodelkan data itu sendiri — di sinilah NoSQL menawarkan alternatif dari basis data relasional (SQL).

SQL vs NoSQL: Apa Bedanya?

NoSQL ("Not Only SQL") adalah basis data yang tidak terikat struktur tabel kaku seperti basis data relasional (SQL) — lebih fleksibel dan lebih mudah discale-out.

Aspek	SQL (Relasional)	NoSQL
Struktur data	Tabel baris & kolom tetap	Fleksibel: dokumen, key-value, graf, dll.
Skema	Kaku, ditentukan di awal	Dinamis, bisa berubah antar-record
Skalabilitas	Umumnya scale-up	Dirancang untuk scale-out
Konsistensi	ACID (sangat konsisten & ketat)	Sering BASE (lebih longgar, demi kecepatan & skala)
Contoh produk	MySQL, PostgreSQL, Oracle	MongoDB, Cassandra, Redis, Neo4j
Cocok untuk	Data transaksi keuangan yang butuh presisi tinggi	Data volume besar, format beragam, berubah cepat

Sampaikan bahwa NoSQL bukan berarti "lebih baik" dari SQL secara mutlak, melainkan alat yang berbeda untuk masalah yang berbeda — jangan sampai mahasiswa menyimpulkan NoSQL selalu menggantikan SQL. Contohkan sistem pencatatan transaksi saham di BEI yang butuh konsistensi ketat lewat prinsip ACID (Atomicity, Consistency, Isolation, Durability) — di sini kesalahan sedikit saja bisa fatal, sehingga basis data relasional tetap jadi pilihan tepat. Bandingkan dengan sistem rekomendasi produk Tokopedia yang menyimpan miliaran interaksi klik pengguna — di sini kecepatan dan skala jauh lebih penting daripada konsistensi sempurna setiap saat, sehingga NoSQL lebih cocok. Istilah BASE (Basically Available, Soft state, Eventually consistent) cukup disebut sebagai lawan dari ACID tanpa perlu dihafal detail rumusnya oleh mahasiswa bisnis digital.

Empat Jenis Utama NoSQL Database

NoSQL bukan satu jenis basis data, melainkan payung untuk beberapa model penyimpanan yang berbeda.

KEY-VALUE STORE

Contoh: Redis

Data disimpan sebagai pasangan kunci-nilai sederhana. Cocok untuk cache keranjang belanja atau sesi login pengguna.

DOCUMENT STORE

Contoh: MongoDB

Data disimpan sebagai dokumen (mirip JSON) yang fleksibel per-record. Cocok untuk katalog produk marketplace.

COLUMN-FAMILY

Contoh: Cassandra, HBase

Data disimpan per kolom, sangat cepat untuk tulis data volume tinggi. Cocok untuk log sensor IoT atau aktivitas pengguna.

GRAPH DATABASE

Contoh: Neo4j

Data disimpan sebagai simpul & relasi. Cocok untuk jejaring sosial atau sistem rekomendasi "teman dari teman".

Untuk setiap jenis, kaitkan langsung dengan aplikasi bisnis digital yang mahasiswa gunakan sehari-hari agar tidak terasa abstrak. Key-value store seperti Redis biasa dipakai untuk menyimpan sesi login Anda supaya Anda tidak perlu login ulang setiap membuka halaman baru di sebuah aplikasi. Document store seperti MongoDB sangat pas untuk katalog produk karena setiap kategori barang punya atribut berbeda — sepatu punya ukuran dan warna, sementara laptop punya RAM dan prosesor, dan document store mengizinkan struktur berbeda-beda ini tanpa harus mengubah skema tabel seluruh sistem. Column-family seperti Cassandra dipakai raksasa teknologi untuk menangani volume tulis data yang sangat tinggi seperti histori transaksi, sementara graph database seperti Neo4j adalah rahasia di balik fitur "orang yang mungkin Anda kenal" di media sosial karena sangat efisien memetakan relasi antar-entitas.

Contoh: Document Store untuk Katalog Produk

Bandingkan cara SQL vs document store (NoSQL) menyimpan data produk marketplace yang atributnya berbeda-beda per kategori.

SQL — TABEL KAKU

Semua produk harus punya kolom yang sama — kolom kosong untuk atribut yang tidak relevan.

id	nama	ukuran	ram
1	Sepatu	42	NULL
2	Laptop	NULL	16GB

NOSQL — DOKUMEN FLEKSIBEL

{ id: 1, nama: "Sepatu", ukuran: 42 }
{ id: 2, nama: "Laptop", ram: "16GB" }

Tiap dokumen menyimpan hanya atribut yang relevan untuk produk itu — tanpa kolom kosong.

Hitung dari Nol: Kebutuhan Storage Cluster Hadoop

Kasus: tim data sebuah platform e-commerce ingin menghitung berapa kapasitas cluster HDFS yang perlu disiapkan.

Langkah	Perhitungan	Nilai
Volume data mentah yang masuk per hari (log & transaksi)	Estimasi tim data	10 TB
Replication factor default HDFS (tiap blok disalin 3x)	10 TB × 3	30 TB
Overhead sistem (metadata, log, file sementara) ≈20%	30 TB × 20%	6 TB
Total kapasitas cluster yang harus disediakan	30 TB + 6 TB	36 TB

TOTAL KAPASITAS DIBUTUHKAN

36 TB

untuk menampung 10 TB data mentah per hari dengan aman

Perhitungan ini penting bagi mahasiswa bisnis digital karena menyentuh sisi biaya infrastruktur yang harus dipertimbangkan manajemen, bukan cuma sisi teknis semata. Mulai dari sepuluh terabyte data mentah yang masuk setiap hari — ini angka realistis untuk platform e-commerce menengah yang mencatat log klik, pencarian, dan transaksi penggunanya. Kalikan dengan replication factor tiga karena setiap blok data HDFS disalin ke tiga node berbeda demi keamanan, sehingga kebutuhan naik menjadi tiga puluh terabyte, lalu tambahkan sekitar dua puluh persen untuk overhead sistem seperti metadata dan file sementara, sehingga totalnya tiga puluh enam terabyte. Ajak mahasiswa berpikir sebagai calon product manager: kalau replication factor bisa diturunkan menjadi dua demi menghemat biaya penyimpanan, apa risikonya terhadap keamanan data jika node yang menyimpan satu-satunya salinan cadangan mengalami kerusakan?

Coba Sendiri: Hitung Kebutuhan Storage Cluster Anda

Ubah volume data harian, replication factor, dan overhead sistem, lalu lihat total kebutuhan storage terhitung otomatis.

Kapan Pakai Hadoop/NoSQL, Kapan RDBMS Biasa?

Keputusan ini bukan soal teknologi mana yang "lebih canggih", melainkan mana yang cocok dengan karakteristik data & kebutuhan bisnis.

PAKAI RDBMS (SQL) TRADISIONAL

Data terstruktur rapi & volumenya masih wajar (GB–puluhan GB).
Butuh konsistensi & akurasi sangat tinggi (transaksi keuangan).
Contoh: pencatatan order & pembayaran BEI, sistem payroll perusahaan.

PAKAI HADOOP / NOSQL

Data sangat besar (TB–PB) dan/atau formatnya beragam.
Butuh skalabilitas tinggi & toleran sedikit inkonsistensi sementara.
Contoh: log clickstream Tokopedia, katalog produk, rekomendasi.

Di praktik nyata, kebanyakan perusahaan digital memakai keduanya sekaligus — RDBMS untuk data transaksi inti, Hadoop/NoSQL untuk data volume besar seperti log & analitik.

Latihan: Pilih Teknologi yang Tepat

Kerjakan berpasangan (10 menit), lalu siap dipanggil untuk presentasi singkat di depan kelas.

INSTRUKSI

Pilih satu skenario bisnis digital lokal: UMKM online, aplikasi ojek daring, atau platform edukasi.
Identifikasi satu jenis data yang dihasilkan bisnis tersebut (mis. transaksi, ulasan pelanggan, log aktivitas).
Tentukan: cocok pakai RDBMS biasa, Hadoop, atau NoSQL — dan jenis NoSQL apa jika relevan.
Jelaskan alasan Anda memakai minimal satu karakteristik data (Volume/Velocity/Variety) dari 5V.

Tidak ada jawaban tunggal yang benar — fokus latihan ini pada alasan di balik pilihan Anda, bukan sekadar menebak nama teknologi.

Ringkasan Pertemuan 10

YANG SUDAH DIPELAJARI

Basis data tradisional terbatas oleh scale-up; big data butuh scale-out lewat cluster.
HDFS menyimpan data lewat blok & replikasi; MapReduce mengolahnya lewat Map → Shuffle → Reduce.
NoSQL menawarkan skema fleksibel dalam 4 bentuk: key-value, document, column-family, graph.
Pemilihan teknologi bergantung karakteristik data & kebutuhan bisnis, bukan tren semata.

MINGGU DEPAN

VISUALISASI DATA EFEKTIF

Pertemuan 11: bagaimana menyajikan hasil analisis big data ini menjadi visual yang mudah dipahami pengambil keputusan bisnis.

Tutup pertemuan dengan menegaskan bahwa hari ini adalah materi paling "infrastruktur" dari seluruh mata kuliah, dan itu sengaja diletakkan menjelang akhir semester karena mahasiswa sudah punya konteks dari sembilan pertemuan analisis data sebelumnya. Ingatkan bahwa mereka tidak perlu menjadi ahli administrasi Hadoop, tetapi harus bisa berdiskusi dengan percaya diri saat tim engineering atau vendor menyebut istilah seperti cluster, replikasi, atau NoSQL dalam rapat. Sampaikan bahwa minggu depan kita berpindah topik ke visualisasi data — bagaimana hasil analisis dari data sebesar apa pun, termasuk yang diproses lewat Hadoop, akhirnya harus dikemas menjadi grafik atau dashboard yang bisa dipahami direksi dalam hitungan detik. Ucapkan Terima Kasih atas partisipasi aktif hari ini dan ingatkan untuk membaca ringkasan sebelum pertemuan berikutnya.