Program Studi Bisnis Digital • FEB

Laboratorium Sains Data

Pertemuan 9 — Analisis Teks: Pra-pemrosesan & Analisis Sentimen

Dari kalimat mentah (ulasan, tweet, chat pelanggan) menjadi wawasan bisnis terstruktur: pembersihan teks, representasi numerik, dan klasifikasi sentimen positif/negatif.

RPS MINGGU 10 • 2 X 50 MENIT

Selamat pagi/siang, Anda semua. Hari ini kita masuk ke salah satu jenis data yang paling sering diabaikan mahasiswa bisnis digital padahal jumlahnya luar biasa besar: teks. Setiap kali seseorang menulis ulasan di Tokopedia, mengomentari unggahan Instagram sebuah brand, atau mengetik keluhan di live chat customer service, itu adalah data — hanya saja bentuknya kalimat, bukan angka rapi di kolom Excel. Pertemuan ke-9 ini akan mengajarkan Anda dua keterampilan inti: pertama, bagaimana membersihkan dan menyeragamkan teks yang berantakan lewat tahap pra-pemrosesan; kedua, bagaimana mengubah teks bersih itu menjadi angka lalu mengklasifikasikannya sebagai opini positif atau negatif lewat analisis sentimen. Ini bekal langsung dipakai untuk memantau reputasi brand, memahami keluhan pelanggan massal, dan mendukung keputusan bisnis berbasis data yang selama ini mungkin Anda kira hanya bisa dilakukan dengan angka penjualan saja.

Bagian 1 dari 3

Mengapa Teks Perlu Diproses?

Sebagian besar data yang dihasilkan bisnis digital setiap hari bukan angka rapi di spreadsheet, melainkan kalimat bebas: ulasan produk, komentar media sosial, dan tiket keluhan pelanggan.

Data Teks: Tambang Emas yang Belum Digali

Riset industri memperkirakan mayoritas data yang dihasilkan organisasi berbentuk tidak terstruktur (teks, gambar, audio) — bukan tabel rapi seperti yang kita olah di pertemuan-pertemuan sebelumnya.

DATA TAK TERSTRUKTUR

~80%

Perkiraan porsi data organisasi (estimasi industri, bukan sensus resmi)

Teks bebas: ulasan, caption, chat, email, transkrip telepon — tidak punya kolom/baris seperti data terstruktur.

DATA TERSTRUKTUR

~20%

Tabel transaksi, database penjualan

Jenis data yang sudah kita olah di Pertemuan 4–8: rapi dalam baris & kolom, siap dihitung statistik.

Karena tak berbentuk tabel, teks butuh tahap tambahan sebelum bisa dianalisis secara statistik — itulah fokus pertemuan hari ini.

Text Mining & NLP: Definisi

NLP (Natural Language Processing, pemrosesan bahasa alami) adalah cabang kecerdasan buatan yang membuat komputer bisa "membaca" dan mengolah bahasa manusia. Text mining adalah proses menggali pola dan informasi dari kumpulan teks besar — kumpulan dokumen ini disebut korpus.

Tiga Tahap Besar Analisis Teks

Pra-pemrosesan — membersihkan & menyeragamkan teks mentah (fokus utama hari ini).
Representasi — mengubah teks bersih menjadi angka yang bisa dihitung komputer.
Analisis — memakai angka itu untuk klasifikasi (mis. sentimen), pengelompokan topik, atau ringkasan.

Sumber Data Teks di Bisnis Digital

Di Indonesia, data teks bisnis paling sering muncul dari tiga kanal berikut.

MARKETPLACE

Ulasan Produk

Komentar bintang 1–5 di Tokopedia/Shopee: "barang bagus tapi kirim lambat".

MEDIA SOSIAL

Mention & Cuitan

Komentar Instagram/X yang menyebut brand, mis. keluhan layanan BBCA mobile banking.

LAYANAN PELANGGAN

Tiket & Live Chat

Transkrip keluhan di WhatsApp Business atau tiket CS yang menumpuk tiap hari.

Ketiga sumber ini adalah "korpus" mentah yang akan kita proses sepanjang pertemuan ini.

Alur Analisis Teks: Dari Mentah ke Wawasan

Hari ini kita berjalan dari kotak kedua sampai keempat: pra-pemrosesan → representasi → contoh analisis sentimen.

Diagram ini adalah peta perjalanan kita hari ini, mirip dengan siklus analisis data yang sudah Anda kenal, hanya diberi nama tahap yang lebih spesifik untuk teks. Teks mentah masuk dari kiri — bisa berupa ribuan ulasan produk skincare lokal seperti Somethinc — lalu melewati pra-pemrosesan agar bersih dan seragam, diubah jadi angka lewat representasi, diproses model untuk misalnya mendeteksi sentimen, dan akhirnya keluar sebagai wawasan yang bisa dibaca manajer, misalnya "35 persen ulasan bulan ini mengeluhkan kemasan bocor". Perhatikan bahwa keempat panah ini berurutan dan saling bergantung — kalau tahap pra-pemrosesan dilewati atau dikerjakan sembarangan, hasil di ujung kanan akan menyesatkan meskipun modelnya canggih. Itulah mengapa dua jam ke depan kita habiskan porsi besar waktu justru di tahap "membersihkan", bukan langsung ke model.

Bagian 2 dari 3

Pra-pemrosesan Teks
(Text Preprocessing)

Sebelum komputer bisa "membaca" makna, teks mentah yang berantakan — huruf besar-kecil campur, tanda baca, kata tak bermakna — harus dibersihkan dan diseragamkan lebih dulu.

Langkah 1–2: Case Folding & Cleaning

1. Case Folding

Menyeragamkan semua huruf menjadi huruf kecil (lowercase), supaya "BAGUS", "Bagus", dan "bagus" dihitung sebagai kata yang sama oleh komputer.

"SANGAT Lambat" → "sangat lambat"

2. Cleaning

Membuang elemen yang tidak bermakna untuk analisis: URL, tanda baca berlebih, angka acak, dan emoji.

"bagus!! http://toko.com" → "bagus"

Langkah 3: Tokenisasi

Tokenisasi adalah memecah satu kalimat panjang menjadi unit-unit terkecil yang disebut token — biasanya kata per kata (disebut unigram).

"paket cepat sampai" → ["paket", "cepat", "sampai"]

Setelah tokenisasi, kalimat berubah menjadi daftar kata yang bisa dihitung satu per satu — inilah pintu masuk ke semua analisis berikutnya.

Langkah 4: Stopword Removal

Stopword adalah kata yang sangat sering muncul tapi minim makna untuk analisis — contoh Bahasa Indonesia: "yang", "di", "dan", "ke", "ini", "itu", "dengan".

["paket", "yang", "saya", "beli", "sudah", "sampai"] → ["paket", "beli", "sampai"]

Hati-hati: kata negasi seperti "tidak" atau "kurang" jangan ikut dibuang sebagai stopword — kata itu justru krusial untuk analisis sentimen di bagian tiga nanti ("tidak bagus" berarti negatif, bukan positif).

Langkah 5: Stemming (Sastrawi)

Stemming memotong imbuhan (awalan/akhiran) agar kata kembali ke bentuk dasarnya, sehingga variasi kata dianggap satu makna yang sama.

VARIASI 1

membeli

VARIASI 2

dibeli

VARIASI 3

pembelian

semua → kata dasar: "beli"

Sastrawi adalah pustaka (library) Python populer khusus untuk stemming Bahasa Indonesia, karena aturan imbuhan kita jauh lebih kompleks daripada Bahasa Inggris.

Tanpa stemming, komputer akan menghitung "membeli", "dibeli", dan "pembelian" sebagai tiga kata yang sama sekali berbeda, padahal ketiganya berbicara tentang konsep yang identik yaitu transaksi pembelian. Ini penting sekali dalam Bahasa Indonesia karena morfologi kita — istilah untuk aturan pembentukan kata — sangat kaya imbuhan dibanding Bahasa Inggris, sehingga satu kata dasar bisa punya belasan variasi bentuk. Pustaka Sastrawi dikembangkan khusus untuk menangani kerumitan ini, mengenali pola awalan seperti "me-", "di-", "pe-" dan akhiran seperti "-kan", "-an" agar semuanya dikembalikan ke akar katanya. Efeknya langsung terasa pada akurasi analisis: tanpa stemming, kata "beli" bisa tercatat tersebar di lima bentuk berbeda dengan frekuensi kecil masing-masing, padahal seharusnya digabung jadi satu kata dengan frekuensi tinggi yang benar-benar mencerminkan topik pembicaraan.

Hitung dari Nol: Pipeline Preprocessing 1 Kalimat

Kalimat ulasan asli: "Pengiriman dari Jakarta SANGAT lambat, tapi produknya bagus banget!! http://tokopedia.com/toko123" — 10 token bila dipisah spasi.

Langkah	Perhitungan	Nilai
Token mentah (pisah spasi)	Hitung kata pada kalimat asli	10 token
Cleaning: hapus URL & tanda baca	10 token − 1 (URL) = 9	9 token
Case folding: ke huruf kecil	9 token, jumlah tetap	9 token
Stopword removal: buang "dari", "tapi"	9 token − 2 stopword = 7	7 token

HASIL AKHIR

7 token

Siap direpresentasikan jadi angka (Bagian 3)

Mari kita jalankan seluruh pipeline yang baru kita pelajari pada satu kalimat nyata, langkah demi langkah, sehingga Anda bisa melihat angkanya turun secara bertahap dan masuk akal. Kalimat aslinya punya sepuluh token kalau dihitung dari spasi; setelah cleaning membuang tautan Tokopedia, tersisa sembilan token; case folding tidak mengubah jumlah token, hanya bentuk hurufnya; lalu stopword removal membuang "dari" dan "tapi" karena keduanya minim makna, menyisakan tujuh token bersih. Perhatikan bahwa kata "sangat", "lambat", "produknya", "bagus", dan "banget" semuanya bertahan karena mengandung informasi sentimen yang penting — inilah mengapa urutan dan kehati-hatian tiap langkah sangat menentukan kualitas hasil akhir. Tujuh token inilah yang nanti akan kita ubah menjadi angka lewat TF-IDF di bagian berikutnya.

Coba Sendiri: Jalankan Pipeline Preprocessing Teks

Masukkan kalimat Anda sendiri dan lihat tiap tahap — cleaning, case folding, tokenisasi, stopword removal — memangkas token satu per satu.

Bagian 3 dari 3

Representasi Teks &
Analisis Sentimen

Setelah bersih, teks harus diubah menjadi angka agar bisa diproses model — lalu angka itu dipakai untuk mengklasifikasikan opini pelanggan sebagai positif, negatif, atau netral.

Sekarang kita masuk ke bagian yang menjawab pertanyaan besar: setelah teks bersih dan terpecah jadi token, bagaimana caranya komputer benar-benar "menghitung" makna kalimat itu? Jawabannya adalah mengubah kata menjadi angka lewat teknik bernama TF-IDF yang akan kita hitung manual seperti biasa, lalu memakai angka itu sebagai bahan baku untuk model klasifikasi sentimen — konsep yang sebenarnya sudah Anda kenal dari Naive Bayes dan decision tree di Pertemuan 8, hanya saja sekarang fiturnya berupa kata, bukan angka rasio keuangan. Kita juga akan melihat studi kasus nyata ulasan produk UMKM Indonesia yang diklasifikasikan menjadi sentimen positif dan negatif, serta cara mengevaluasi seberapa akurat model tersebut. Ini adalah puncak dari seluruh kerja pra-pemrosesan yang sudah kita lakukan di bagian dua.

Bag of Words & TF-IDF

Bag of Words (BoW) merepresentasikan dokumen sebagai "tas kata" beserta frekuensi kemunculannya, mengabaikan urutan kata. TF-IDF (Term Frequency–Inverse Document Frequency) memberi bobot lebih tinggi pada kata yang sering muncul di satu dokumen tapi jarang di dokumen lain — sehingga kata yang benar-benar khas lebih menonjol daripada kata umum.

TF-IDF = TF × IDF, dengan IDF = log₂(N ÷ DF)

TF (Term Frequency): seberapa sering kata muncul dalam 1 dokumen.

DF (Document Frequency): pada berapa dokumen (dari total N) kata itu muncul.

Bag of Words adalah cara paling sederhana untuk mengubah teks jadi angka: bayangkan Anda menuangkan semua kata dari sebuah ulasan ke dalam tas, lalu menghitung berapa kali tiap kata muncul, tanpa peduli urutannya — "produk bagus" dan "bagus produk" dianggap sama persis. TF-IDF menyempurnakan ide ini dengan logika yang cukup intuitif: kata seperti "produk" mungkin sering muncul di hampir semua ulasan sehingga kurang informatif, sedangkan kata seperti "lambat" yang hanya muncul di sebagian ulasan justru lebih menandai karakteristik dokumen tersebut, karena itu diberi bobot lebih tinggi. Semakin sering sebuah kata muncul di satu dokumen tapi semakin jarang muncul di dokumen-dokumen lain dalam korpus, semakin tinggi skor TF-IDF-nya — itulah yang membuatnya lebih tajam dibanding BoW biasa untuk membedakan topik antar-ulasan. Di slide berikutnya kita akan menghitung skor ini secara manual pada contoh nyata.

Hitung dari Nol: Skor TF-IDF

Korpus 4 dokumen ulasan pengiriman (setelah pra-pemrosesan). Dokumen 1 = "kirim lambat paket rusak" (4 token). Kata "lambat" muncul di 2 dari 4 dokumen. Hitung skor TF-IDF kata "lambat" pada Dokumen 1.

Langkah	Perhitungan	Nilai
TF: frekuensi "lambat" di Dok. 1	1 kemunculan ÷ 4 token	0,25
DF: jumlah dokumen memuat "lambat"	2 dari 4 dokumen	DF = 2
IDF: log₂(N ÷ DF)	log₂(4 ÷ 2) = log₂(2)	1
Skor TF-IDF = TF × IDF	0,25 × 1	0,25

HASIL AKHIR

0,25

Skor TF-IDF kata "lambat" pada Dokumen 1

Perhatikan bahwa saya sengaja memilih angka yang bersih agar Anda bisa mengikuti perhitungan tanpa kalkulator: kata "lambat" muncul satu kali dari empat token di Dokumen 1, sehingga TF-nya seperempat atau 0,25. Lalu kita cek di seluruh korpus empat dokumen, kata "lambat" hanya muncul di dua dokumen, sehingga document frequency-nya 2, dan IDF-nya adalah logaritma basis dua dari empat dibagi dua, yaitu logaritma basis dua dari dua, yang hasilnya tepat 1. Mengalikan TF 0,25 dengan IDF 1 memberi skor akhir 0,25 — dalam praktik nyata dengan korpus ribuan dokumen, skor ini akan jauh lebih kecil untuk kata umum dan lebih besar untuk kata langka dan khas. Bandingkan bila kata itu muncul di semua empat dokumen: DF menjadi 4, IDF menjadi log₂(4÷4) = log₂(1) = 0, sehingga skor TF-IDF-nya nol — inilah cara matematis menghukum kata yang terlalu umum untuk dianggap penting.

Coba Sendiri: Hitung Skor TF-IDF Kata Anda

Ubah jumlah kemunculan kata dalam dokumen dan jumlah dokumen yang memuatnya, lalu lihat skor TF, IDF, dan TF-IDF terhitung otomatis.

Analisis Sentimen: Dari Teks ke Opini

Analisis sentimen adalah klasifikasi otomatis polaritas opini dalam teks: positif, negatif, atau netral. Ada dua pendekatan utama.

PENDEKATAN 1

Lexicon-Based

Memakai kamus kata bersentimen (mis. "bagus" = +1, "lambat" = −1) lalu menjumlahkan skor per kalimat. Cepat & tanpa perlu data latih.

PENDEKATAN 2

Machine Learning

Memakai model seperti Naive Bayes/Decision Tree (Pertemuan 8) yang dilatih dengan fitur TF-IDF dari ulasan berlabel positif/negatif.

Pendekatan lexicon-based mirip cara manusia menilai secara cepat: setiap kata dicocokkan ke kamus sentimen yang sudah disusun sebelumnya, misalnya kata "mantap" bernilai positif dan kata "kecewa" bernilai negatif, lalu skor seluruh kalimat dijumlahkan untuk menentukan label akhirnya — kelebihannya sederhana dan tidak butuh data latih, kekurangannya sulit menangkap konteks seperti sarkasme. Pendekatan machine learning lebih canggih: ingat kembali Naive Bayes dan decision tree yang Anda pelajari di Pertemuan 8 untuk klasifikasi data tabel — logikanya sama persis di sini, hanya saja fitur yang dipakai bukan lagi angka rasio keuangan, melainkan skor TF-IDF dari kata-kata dalam ulasan. Model ini perlu dilatih dulu dengan ribuan contoh ulasan yang sudah diberi label positif atau negatif oleh manusia, baru kemudian bisa memprediksi label ulasan baru yang belum pernah dilihat. Kedua pendekatan ini sering dipakai bersamaan dalam praktik nyata industri untuk saling mengecek konsistensi hasil.

Studi Kasus: Sentimen Ulasan Produk UMKM

Walkthrough A — Ulasan Positif

1. Teks asli: "Produknya MANTAP, kirim cepat banget, recommended!"

2. Setelah pra-pemrosesan: ["produk","mantap","kirim","cepat","recommended"]

3. Kata kunci lexicon: "mantap"(+), "cepat"(+), "recommended"(+)

4. Label: POSITIF

Walkthrough B — Ulasan Negatif

1. Teks asli: "Kecewa, paket rusak dan pengiriman lambat sekali"

2. Setelah pra-pemrosesan: ["kecewa","paket","rusak","kirim","lambat"]

3. Kata kunci lexicon: "kecewa"(−), "rusak"(−), "lambat"(−)

4. Label: NEGATIF

Mari kita telusuri dua ulasan nyata gaya UMKM lokal langkah demi langkah, persis alur yang sudah kita bangun sejak awal pertemuan. Pada Walkthrough A, ulasan "produknya mantap, kirim cepat banget, recommended" setelah dibersihkan menyisakan lima kata kunci yang semuanya bermuatan positif dalam kamus sentimen, sehingga sistem dengan percaya diri melabelinya positif. Pada Walkthrough B, ulasan "kecewa, paket rusak dan pengiriman lambat sekali" menyisakan kata-kata seperti kecewa, rusak, dan lambat yang semuanya bermuatan negatif, sehingga label akhirnya negatif. Perhatikan bahwa kata "kirim" muncul di kedua ulasan tapi tidak membawa muatan sentimen sendiri — di sinilah kata-kata sentimen seperti mantap, cepat, kecewa, rusak, dan lambat menjadi penentu sebenarnya, mengonfirmasi pentingnya tahap pra-pemrosesan yang tepat agar kata-kata kunci ini tidak ikut terbuang sebagai stopword.

Coba Sendiri: Skor Sentimen dengan Kamus Leksikon

Masukkan kalimat ulasan Anda sendiri dan lihat kata mana yang tercocokkan ke kamus sentimen serta bagaimana skor akhirnya dijumlahkan.

Evaluasi Model & Word Cloud

Evaluasi Akurasi

Sama seperti Pertemuan 8 (Naive Bayes/Decision Tree): bandingkan label prediksi model dengan label asli lewat confusion matrix.

Akurasi = (Prediksi Benar) ÷ (Total Ulasan)

Word Cloud

Visualisasi eksploratif: kata yang lebih sering muncul digambar dengan font lebih besar. Cepat menampilkan tema dominan pada kumpulan ulasan tanpa membaca satu per satu.

Untuk mengetahui seberapa bisa dipercaya model sentimen kita, caranya sama persis dengan yang Anda lakukan di Pertemuan 8 saat mengevaluasi Naive Bayes dan decision tree: bandingkan label yang diprediksi model dengan label asli yang sebenarnya lewat confusion matrix, lalu hitung akurasi sebagai jumlah prediksi benar dibagi total ulasan yang diuji. Word cloud adalah alat eksplorasi berbeda yang sering dipakai sebelum atau sesudah analisis sentimen — bayangkan sebuah tim marketing Indomie ingin cepat melihat tema apa yang paling sering dibicarakan netizen tanpa membaca ribuan cuitan satu per satu, word cloud langsung menunjukkan kata "enak", "pedas", atau "harga" dengan ukuran font besar kalau memang paling sering muncul. Keduanya saling melengkapi: confusion matrix mengukur ketepatan model secara kuantitatif, sedangkan word cloud memberi gambaran kualitatif cepat tentang isi keseluruhan korpus. Di praktik industri, dashboard social listening biasanya menampilkan kedua alat ini berdampingan.

Latihan Praktik Mandiri

Kerjakan berkelompok (3–4 orang) dengan dataset ulasan sederhana yang disediakan dosen.

Instruksi

1. Ambil 5 kalimat ulasan mentah dari dataset — lakukan case folding, cleaning, tokenisasi, stopword removal, dan stemming secara manual.
2. Hitung skor TF-IDF untuk 1 kata pilihan Anda pada 1 dokumen, ikuti langkah di slide "Hitung dari Nol".
3. Tentukan sentimen (positif/negatif) untuk 3 kalimat memakai pendekatan lexicon-based sederhana.
4. Siapkan hasil untuk dibahas 10 menit terakhir kelas.

Rangkuman & Menuju Pertemuan Berikutnya

Cheat Sheet Pipeline Hari Ini

Case folding → Cleaning → Tokenisasi → Stopword removal → Stemming
Representasi: Bag of Words & TF-IDF (TF × IDF)
Analisis sentimen: lexicon-based vs machine learning
Evaluasi: confusion matrix & akurasi (sama seperti Pertemuan 8)

MINGGU DEPAN

Big Data

Pertemuan 10: teknologi Hadoop, MapReduce & NoSQL untuk data berskala sangat besar. Bawa laptop & review materi pra-pemrosesan hari ini.

Mari kita rangkum perjalanan dua jam kita: kita mulai dari kesadaran bahwa sebagian besar data bisnis berbentuk teks tak terstruktur, lalu mempelajari lima langkah pra-pemrosesan yang mengubah kalimat berantakan menjadi token bersih, kemudian mengubah token itu menjadi angka lewat TF-IDF, dan akhirnya memakai angka tersebut untuk mengklasifikasikan sentimen ulasan sebagai positif atau negatif. Keterampilan ini sangat relevan untuk karier Anda di bisnis digital, misalnya menjadi analis social listening yang memantau reputasi brand secara real-time, atau tim customer experience yang memprioritaskan keluhan paling mendesak dari ribuan tiket masuk. Minggu depan, di Pertemuan 10, kita akan naik level ke topik big data — bagaimana teknologi seperti Hadoop, MapReduce, dan database NoSQL menangani data dalam skala yang jauh lebih besar daripada yang bisa ditangani spreadsheet biasa. Sebelum pertemuan berikutnya, saya sarankan Anda mengulang catatan hari ini dan mencoba menjalankan pipeline pra-pemrosesan pada ulasan pilihan Anda sendiri menggunakan Python.

📖 Baca juga: Dcf Valuation — penjelasan mendalam dan contoh numerik.