Program Studi Bisnis Digital • FEB UNDIP

Analisis Perilaku Konsumen Digital

Pertemuan 9 — Eksperimen Perilaku: A/B Testing dan Interpretasi Hasilnya

Bagaimana tim produk digital seperti Tokopedia, Shopee, atau Gojek membuktikan bahwa perubahan desain benar-benar mengubah perilaku, bukan sekadar kebetulan angka.

RPS MINGGU 10 • 2 × 50 MENIT

Selamat datang di pertemuan kesembilan. Minggu lalu Anda sudah belajar membaca clickstream, funnel konversi, dan kohort — hari ini kita naik satu tingkat: bagaimana cara membuktikan secara ilmiah bahwa sebuah perubahan pada aplikasi benar-benar menyebabkan perubahan perilaku konsumen, bukan hanya kebetulan. Sampaikan kepada mahasiswa bahwa setiap kali mereka membuka Tokopedia atau Shopee, ada kemungkinan besar mereka sedang menjadi bagian dari sebuah eksperimen tanpa sadar — tombol warna oranye yang mereka lihat hari ini mungkin berbeda dari yang dilihat teman sebangku mereka. Jelaskan bahwa topik A/B testing ini sangat aplikatif dan banyak dicari perusahaan digital Indonesia untuk posisi product analyst maupun growth analyst. Ajak mahasiswa untuk aktif bertanya karena materi ini akan langsung dipakai pada tugas praktik hari ini.

Bagian 1 dari 3

Mengapa Eksperimen, Bukan Sekadar Observasi?

Dari korelasi ke kausalitas: logika dasar eksperimen perilaku dan anatomi sebuah A/B test.

Masalah Korelasi: Data Historis Bisa Menipu

Contoh Kasus

Aplikasi BeliAja mencatat: pengguna yang melihat rekomendasi produk membeli 2x lebih banyak
Tim naik simpulan: “rekomendasi menyebabkan pembelian” — lalu perbesar fitur ini
Padahal bisa jadi: pengguna yang sudah berniat beli lebih sering scroll dan melihat rekomendasi

Akar Masalah

Variabel pengganggu (confounding variable): niat beli, bukan rekomendasi
Data observasional tidak bisa memisahkan sebab dari akibat
Solusi: manipulasi terkontrol — inilah eksperimen

Apa Itu A/B Testing?

Eksperimen terkontrol acak (randomized controlled experiment) yang membagi pengguna secara acak ke dua versi produk untuk mengukur dampak sebab-akibat dari satu perubahan.

Versi A

Kontrol

Tampilan/fitur yang berjalan saat ini (baseline) — tidak diubah.

Versi B

Perlakuan

Satu elemen diubah (treatment) — misalnya warna tombol, teks, atau urutan tampilan.

Pengguna dibagi secara acak ke A atau B — keacakan inilah yang menyingkirkan variabel pengganggu, sehingga selisih hasil bisa diklaim sebagai akibat dari perubahan itu sendiri.

Anatomi Sebuah Eksperimen: 5 Komponen

1Hipotesis

Pernyataan terukur, mis. “tombol oranye meningkatkan klik ≥5%”

2Unit Eksperimen

Siapa yang diacak — per pengguna, per sesi, atau per perangkat

3Metrik Utama

Satu ukuran keberhasilan yang disepakati sebelum eksperimen dimulai

4Durasi & Ukuran Sampel

Berapa lama dan berapa banyak pengguna agar hasil bisa dipercaya

5Kriteria Keputusan

Aturan main sebelum eksperimen: kapan B dianggap “menang”

Alur Eksperimen: Dari Ide sampai Keputusan

Alur ini bersifat siklis: hasil pertemuan 9 sering memicu hipotesis baru untuk eksperimen berikutnya — inilah budaya experimentation di perusahaan digital.

Merumuskan Hipotesis yang Baik

Jika [perubahan], maka [metrik] akan [naik/turun] sebesar [besaran], karena [alasan perilaku]

Contoh Lemah

“Tombol oranye lebih bagus.” — tidak terukur, tidak ada dasar perilaku.

Contoh Kuat

“Jika tombol beli diubah oranye, klik naik ≥5%, karena oranye kontras tinggi menarik perhatian visual.”

Bagian 2 dari 3

Membaca Hasil: Signifikansi dan Ukuran Sampel

Bagaimana memastikan selisih angka yang terlihat bukan sekadar kebetulan acak.

Konsep Kunci: Signifikansi Statistik

Pertanyaan Inti

Selisih konversi A vs B terlihat besar — tapi apakah itu nyata atau kebetulan sampel?
p-value: peluang selisih sebesar ini muncul kalau sebenarnya TIDAK ada perbedaan nyata
Ambang umum: p < 0,05 → dianggap signifikan (peluang kebetulan <5%)

Analogi Sederhana

Seperti melempar koin 10 kali dan dapat 7 gambar. Apakah koin curang, atau ini masih wajar secara kebetulan? Uji statistik menjawab pertanyaan itu dengan angka, bukan tebakan.

Hitung dari Nol: Tingkat Konversi Dua Kelompok

BeliAja menguji tombol beli: Grup A (lama, abu-abu) vs Grup B (baru, oranye), masing-masing 1.000 pengguna.

Langkah	Perhitungan	Nilai
1. Pengguna Grup A yang membeli	Data eksperimen (dicatat)	120 dari 1.000
2. Tingkat konversi Grup A	120 ÷ 1.000 × 100	12,0%
3. Pengguna Grup B yang membeli	Data eksperimen (dicatat)	150 dari 1.000
4. Tingkat konversi Grup B	150 ÷ 1.000 × 100	15,0%
5. Selisih absolut (uplift)	15,0% − 12,0%	+3,0 poin
6. Selisih relatif	3,0 ÷ 12,0 × 100	~25% relatif

Coba Sendiri: Hitung Uplift Konversi A/B Test Anda

Masukkan jumlah pengguna dan konversi Grup A vs Grup B pada eksperimen lain, lalu lihat langsung selisih absolut dan selisih relatifnya.

Hitung dari Nol: Interval Kepercayaan Sederhana

Selisih 3,0 poin itu perlu diuji: apakah rentang kemungkinannya masih mencakup nol (tidak ada beda)?

Langkah	Perhitungan	Nilai
1. Standard error pendekatan (rumus disederhanakan)	≈ 1,4 poin (dihitung software/kalkulator statistik)	SE ≈ 1,4
2. Margin kesalahan (tingkat kepercayaan 95%)	1,96 × 1,4	≈ 2,7 poin
3. Batas bawah interval	3,0 − 2,7	0,3 poin
4. Batas atas interval	3,0 + 2,7	5,7 poin
5. Kesimpulan	Interval [0,3 ; 5,7] TIDAK mencakup nol	Signifikan

Ukuran Sampel: Mengapa “Cukup Lama” Itu Penting

Sampel Terlalu Kecil

Hasil sangat berfluktuasi hari ke hari
Rentan “menang” secara kebetulan (false positive)
Tim tergoda hentikan eksperimen begitu terlihat “menang” — ini p-hacking

Praktik yang Benar

Hitung ukuran sampel minimum sebelum mulai (kalkulator daya statistik)
Jalankan penuh minimal 1–2 siklus mingguan (tangkap pola hari kerja vs akhir pekan)
Jangan intip dan hentikan lebih awal hanya karena sudah “terlihat menang”

Coba Sendiri: Hitung Ukuran Sampel Minimum Eksperimen

Atur baseline konversi dan uplift minimum yang ingin dideteksi, lalu lihat langsung berapa ukuran sampel minimum yang dibutuhkan sebelum eksperimen dimulai.

Jebakan Umum dalam Interpretasi A/B Test

Jebakan 1

Novelty Effect

Pengguna tertarik karena BARU, bukan karena lebih baik — efeknya memudar dalam beberapa minggu.

Jebakan 2

Simpson's Paradox

B menang di total, tapi kalah di setiap subgrup (mis. per kota) — komposisi sampel menipu.

Jebakan 3

Multiple Testing

Uji 20 metrik sekaligus → wajar satu “signifikan” secara kebetulan (5% × 20).

Bahas tiga jebakan ini satu per satu dengan contoh konkret. Novelty effect bisa dijelaskan dengan analogi restoran baru yang ramai pengunjung penasaran di bulan pertama lalu sepi kembali — begitu juga fitur baru di aplikasi yang awalnya banyak diklik karena rasa penasaran, bukan karena benar-benar lebih baik. Simpson's paradox agak lebih rumit, jelaskan dengan contoh sederhana: bisa saja versi B menang secara total karena proporsi pengguna Jakarta (yang konversi tinggi) lebih banyak masuk grup B secara kebetulan, padahal di kota Jakarta maupun Surabaya secara terpisah, versi A justru lebih baik. Multiple testing jelaskan dengan analogi: kalau Anda melempar koin adil 20 kali dengan ambang p<0,05, wajar salah satu percobaan "kelihatan curang" secara kebetulan — begitu juga kalau tim menguji terlalu banyak metrik sekaligus tanpa koreksi statistik.

Signifikan Secara Statistik ≠ Penting Secara Bisnis

Kasus: BeliAja menguji headline baru ke 500.000 pengguna. Hasil: konversi naik dari 10,00% menjadi 10,08% — p < 0,05 (signifikan!). Tapi apakah layak diimplementasi?

Argumen “Rilis Saja”

Signifikan secara statistik, sampel besar membuat efek kecil pun terdeteksi — tetap untung meski tipis.

Argumen “Tahan Dulu”

Uplift 0,08 poin terlalu kecil dibanding biaya maintenance kode, risiko bug, dan waktu tim — perlu practical significance.

Bagian 3 dari 3

Dari Eksperimen ke Keputusan Produk

Etika eksperimen, variasi desain lanjutan, dan praktik langsung merancang A/B test.

Etika dalam Eksperimen Perilaku Digital

Isu yang Muncul

Pengguna TIDAK tahu sedang jadi “kelinci percobaan” — berbeda dari eksperimen laboratorium
Kasus Facebook 2014: eksperimen memanipulasi emosi 700 ribu pengguna tanpa izin eksplisit — kontroversi global
Eksperimen bisa dipakai untuk dark pattern: menguji desain yang manipulatif, bukan sekadar persuasif

Prinsip Minimum

Tidak merugikan pengguna secara finansial atau psikologis
Tidak menguji manipulasi harga secara diskriminatif tanpa dasar
Ada tinjauan internal (mis. tim legal/privasi) sebelum eksperimen sensitif dijalankan

Ajak mahasiswa merenungkan sisi etis dari topik yang baru saja mereka pelajari secara teknis. Ceritakan kasus Facebook 2014 yang terkenal, di mana peneliti memanipulasi feed berita hampir 700 ribu pengguna untuk melihat efeknya pada emosi yang mereka ekspresikan, tanpa persetujuan eksplisit — kasus ini memicu perdebatan besar tentang batas etika eksperimen digital dan masih dikutip dalam banyak diskusi tata kelola data hingga sekarang. Kaitkan dengan materi UX dan dark pattern dari pertemuan 6 — tanyakan kepada kelas, di mana batas antara menguji desain yang persuasif (sah) dan desain yang manipulatif (tidak etis)? Ingatkan bahwa sebagai calon praktisi bisnis digital Indonesia, mereka akan sering berada di posisi yang merancang eksperimen semacam ini, dan pertanggungjawaban etis ada di tangan mereka.

Melampaui A/B: Varian Desain Eksperimen

Desain	Cara Kerja	Kapan Dipakai
A/B/n Test	Lebih dari 2 versi diuji bersamaan (A, B, C, D...)	Menguji banyak variasi desain sekaligus
Multivariate Test (MVT)	Menguji kombinasi beberapa elemen sekaligus (warna × teks × posisi)	Traffic besar, ingin tahu interaksi antar-elemen
Sequential/Bandit Test	Trafik makin diarahkan ke versi “pemenang sementara” secara dinamis	Ingin minimalkan kerugian selama eksperimen berjalan

Perluas wawasan mahasiswa bahwa A/B test dua-versi hanyalah bentuk paling dasar dari eksperimen perilaku. Jelaskan A/B/n test sebagai perluasan sederhana — Traveloka misalnya bisa menguji empat variasi tampilan hasil pencarian tiket sekaligus. Multivariate test lebih rumit karena menguji kombinasi elemen, cocok untuk perusahaan dengan trafik sangat besar seperti Tokopedia yang bisa menguji kombinasi warna tombol, posisi banner, dan teks promosi secara bersamaan. Bandit test atau multi-armed bandit jelaskan dengan analogi mesin slot di kasino — algoritma secara otomatis mengalihkan lebih banyak “lengan tarik” (trafik pengguna) ke versi yang sementara terlihat lebih baik, sehingga kerugian dari versi buruk diminimalkan selama eksperimen berjalan. Tidak perlu masuk ke matematika bandit, cukup intuisi konsepnya.

Latihan Praktik: Rancang A/B Test Anda

Skenario: Anda adalah product analyst di sebuah aplikasi UMKM (mis. platform pembukuan digital untuk pedagang pasar). Tim ingin menaikkan jumlah pengguna yang menyelesaikan pendaftaran akun (onboarding).

Dalam kelompok 3–4 orang, rancang satu eksperimen A/B lengkap dengan komponen berikut, tuliskan di kertas/dokumen bersama:

Hipotesis (format: jika...maka...karena...)
Metrik utama & metrik pendukung

Unit eksperimen & estimasi ukuran sampel
Kriteria keputusan (kapan B dianggap menang)

Ringkasan: Alur Berpikir Eksperimen Perilaku

Yang Sudah Dipelajari

Korelasi ≠ kausalitas — eksperimen memisahkan sebab dari akibat
A/B test: kontrol vs perlakuan, dibagi secara acak
p-value & interval kepercayaan menjawab “apakah ini kebetulan?”
Signifikan statistik ≠ penting secara bisnis
Jebakan: novelty effect, Simpson's paradox, p-hacking, multiple testing

Terhubung ke Depan

Pertemuan 10 akan membahas personalisasi dan sistem rekomendasi — sering kali fitur personalisasi itu sendiri lahir dari serangkaian A/B test yang Anda pelajari hari ini.

Refleksi & Persiapan Pertemuan Berikutnya

Pertanyaan reflektif: Sebutkan satu fitur di aplikasi yang sering Anda pakai (mis. Gojek, Shopee, Instagram) yang menurut Anda kemungkinan besar lahir dari hasil A/B test. Apa buktinya?

Tugas Sebelum Pertemuan 10

Baca ringkas tentang sistem rekomendasi (collaborative vs content-based filtering)
Bawa hasil rancangan eksperimen kelompok hari ini dalam bentuk rapi

Kontak & Konsultasi

Pertanyaan lanjutan tentang statistik atau tugas kelompok dapat disampaikan melalui forum diskusi kelas atau jam konsultasi dosen.