‹ Daftar slidePertemuan 11: Kasus Rocket Fuel: Mengukur Efektivitas Iklan Daring
RPS minggu 11 · 2x50 menit
Kasus Rocket Fuel
Mengukur Efektivitas Iklan Daring
Programmatic advertising, incrementality, dan jebakan korelasi dalam keputusan investasi media digital
Bagian 1 dari 3
Ekosistem Programmatic & Masalah Pengukuran
Pertanyaan diskusi: Kalau tingkat konversi pengguna yang "melihat" iklan Anda lebih tinggi daripada yang tidak — apakah itu bukti iklan Anda berhasil?
Rocket Fuel dan Model Bisnis Programmatic
Posisi Rocket Fuel dalam rantai nilai
Demand-Side Platform (DSP): membeli inventori iklan atas nama pengiklan lewat real-time bidding (RTB)
Menggunakan machine learning untuk menentukan siapa yang ditayangkan iklan, kapan, dan berapa bid
Klien membayar berdasarkan klaim "lift" konversi — insentif Rocket Fuel untuk melaporkan angka tinggi
Masalah keagenan (agency problem): penyedia jasa mengukur efektivitas jasanya sendiri
Mengapa kasus ini relevan untuk manajer
Setiap kali Anda menyetujui anggaran digital ads dari proposal agency, Anda menghadapi masalah yang sama seperti dewan direksi Rocket Fuel: bagaimana memverifikasi klaim efektivitas pihak yang punya insentif melebih-lebihkannya. Ini bukan soal skeptis terhadap teknologi, tapi soal literasi desain pengukuran sebagai bagian dari tata kelola pemasaran (marketing governance).
Masalah Inti: Korelasi Bukan Kausalitas
Kesalahan pengukuran klasik (naive comparison): membandingkan konversi pengguna yang terpapar iklan versus yang tidak terpapar, tanpa memperhitungkan bahwa siapa yang terpapar TIDAK acak.
Selection Effect
Sistem RTB cenderung menayangkan iklan pada pengguna yang lebih aktif berselancar (lebih banyak halaman dilihat) — kelompok ini punya niat beli lebih tinggi terlepas dari iklan.
Reverse Causality Risk
Pengguna yang sudah berniat membeli menghasilkan lebih banyak "kesempatan iklan menang lelang" — bukan iklan yang menyebabkan niat beli, tapi niat beli yang mendahului paparan iklan.
Lewis & Rao (2015) menyebut ini "near impossibility of measuring advertising effectiveness" lewat observational data — solusinya adalah eksperimen acak terkontrol (RCT).
Desain Eksperimen dalam Kasus Rocket Fuel
Perbedaan konversi antar-grup kini murni akibat konten iklan, karena penugasan grup acak — bukan hasil pilihan pengguna atau algoritma penargetan.
Hitung dari Nol #1: Bias Perbandingan Observasional
Langkah
Perhitungan
Nilai
1. Konversi kelompok "terpapar" iklan (self-selected, bukan RCT)
3.000 konversi ÷ 500.000 pengguna terpapar × 100
0,60%
2. Konversi kelompok "tidak terpapar" (kalah lelang / non-target)
300 konversi ÷ 150.000 pengguna × 100
0,20%
3. "Lift" naif yang sering dilaporkan agency
(0,60% − 0,20%) ÷ 0,20% × 100
200%
4. Sumber bias: siapa yang "menang" tayangan iklan
Pengguna aktif browsing → makin sering ikut lelang → makin tinggi niat beli dasar (baseline)
confounded
Kesimpulan
200% ≠ efek kausal
Angka ini mencampur efek iklan dengan perbedaan karakteristik pengguna sejak awal — inilah yang dibongkar RCT pada slide berikutnya.
Bagian 2 dari 3
RCT sebagai Gold Standard Pengukuran
Pertanyaan diskusi: Jika RCT terbukti paling valid, mengapa tidak semua perusahaan digital di Indonesia menjalankannya untuk tiap kampanye?
Merancang RCT: Test Group vs PSA Control
Mengapa PSA, bukan "tanpa iklan"?
Kontrol harus tetap "menempati" slot iklan agar pengalaman pengguna (loading, layout) identik antar grup
Menghindari efek confound dari slot kosong / iklan pesaing yang tayang menggantikan
PSA (public service announcement) dipilih netral secara komersial — tak mendorong maupun menghalangi pembelian
Syarat validitas RCT digital
Randomisasi terjadi SEBELUM lelang, di level cookie/user ID — bukan setelah tahu siapa yang menang
Ukuran sampel cukup besar — efek iklan pada konversi biasanya kecil (low base rate)
Periode observasi cukup panjang menangkap lag antara paparan dan pembelian
Bagi manajer: pastikan tim data/agency dapat menunjukkan bukti randomisasi (bukan sekadar "grup pembanding"), sebelum menerima klaim incrementality dalam laporan performa kampanye.
Hitung dari Nol #2: Incremental Lift & ROI Kampanye
Langkah
Perhitungan
Nilai
1. Conversion rate test group (1.000.000 pengguna, tayang iklan produk)
5.200 konversi ÷ 1.000.000 × 100
0,520%
2. Conversion rate control group (1.000.000 pengguna, tayang PSA)
4.550 konversi ÷ 1.000.000 × 100
0,455%
3. Incremental lift (poin persentase)
0,520% − 0,455%
0,065 pp
4. Incremental lift relatif (yang layak dilaporkan ke direksi)
0,065% ÷ 0,455% × 100
~14,3%
5. Konversi tambahan akibat iklan (incremental conversions)
Lift RCT yang valid (~14,3%) jauh lebih kecil dari lift naif observasional (200%, slide sebelumnya) — namun tetap menghasilkan ROI positif yang KREDIBEL untuk keputusan anggaran.
Coba Sendiri: Simulasikan Uji Holdout Rocket Fuel
Ubah ukuran grup test dan control serta conversion rate masing-masing, lalu amati bagaimana incremental lift, konversi tambahan, dan ROI kampanye berubah.
Selection Bias & Confounding di Programmatic Ads
Confounder Umum
Waktu browsing, riwayat pembelian, device (mobile vs desktop), lokasi geografis — semua ini memengaruhi BAIK peluang menang lelang MAUPUN peluang konversi.
Mengapa Regresi Saja Tak Cukup
Mengontrol variabel yang teramati (observed) lewat regresi tidak menutup celah variabel tak teramati (unobserved) seperti niat beli laten — hanya randomisasi yang menutup keduanya sekaligus.
Konsep terkait dari ekonometrika terapan: endogeneity pada model regresi konversi-vs-paparan iklan menyebabkan estimasi bias ke atas (overstate) — sejalan dengan temuan Lewis, Rao & Reiley (2011) tentang "endogeneity bias" dalam pengukuran iklan daring.
Kerangka Analisis Kasus: RCT vs Observational
Langkah Analisis
Pertanyaan Kunci
Implikasi Keputusan
1. Identifikasi klaim efektivitas
Metrik apa yang diklaim, dan dibandingkan terhadap apa?
Tolak klaim tanpa definisi kelompok pembanding yang jelas
2. Uji sumber randomisasi
Apakah penugasan grup terjadi sebelum atau sesudah sistem "tahu" karakteristik pengguna?
Kalau sesudah → risiko selection bias tinggi
3. Nilai skala & biaya eksperimen
Apakah base rate konversi cukup besar untuk RCT terjangkau secara statistik & biaya?
Base rate rendah → butuh sampel sangat besar, evaluasi trade-off biaya
4. Bandingkan dengan proxy alternatif
Kalau RCT tak feasible, metode kausal alternatif apa (geo-experiment, DiD regional)?
Pilih metode "kedua terbaik" bukan kembali ke naive comparison
Gunakan kerangka ini setiap kali menerima proposal pengukuran ROI dari vendor media — sebelum menyetujui anggaran lanjutan.
Mini-Kasus Indonesia: Kampanye App-Install Marketplace
Keputusan Manajerial (ilustrasi)
Sebuah marketplace nasional menjalankan kampanye programmatic app-install senilai ~Rp2 miliar/bulan lewat beberapa DSP. Tim performance marketing melaporkan "install lift 180%" berdasarkan perbandingan pengguna yang klik iklan versus yang tidak — mirip pola bias di slide Hitung dari Nol #1.
CFO meminta verifikasi independen sebelum memperpanjang kontrak dengan DSP
Tim data internal mengusulkan geo-experiment: aktifkan kampanye hanya di sebagian kota (test), matikan di kota pembanding (control) dengan karakteristik demografis serupa
Hasil geo-experiment menunjukkan incremental lift instalasi aplikasi jauh lebih moderat — sejalan dengan pola pada kasus Rocket Fuel
Keputusan manajerial: alokasikan ulang sebagian anggaran dari platform dengan klaim tak terverifikasi ke kanal dengan bukti incrementality yang lebih kredibel, bukan otomatis memotong seluruh anggaran digital.
Frekuensi Tayang dan Efektivitas Iklan
Pola umum incrementality testing: lift naik lalu melandai/menurun (ad fatigue) setelah frekuensi optimal — bukan hubungan linear "makin sering tayang, makin efektif".
Standar industri (MRC/IAB): min. 50% piksel iklan tampil ≥1 detik (display) atau ≥2 detik (video). Prasyarat, bukan bukti efektivitas.
Brand Lift Study
Survei terhadap test vs control group untuk mengukur ad recall, brand awareness, purchase intent — melengkapi metrik konversi transaksional.
Incrementality Testing
Kerangka payung (termasuk RCT/geo-experiment) yang mengukur dampak KAUSAL bersih iklan terhadap outcome bisnis, bukan sekadar korelasi paparan.
Ketiganya saling melengkapi: viewability memastikan iklan berkesempatan dilihat, brand lift mengukur dampak persepsi, incrementality testing mengukur dampak pada outcome bisnis akhir (penjualan, install, akuisisi nasabah).
Bagian 3 dari 3
Dari Data ke Keputusan Manajerial
Pertanyaan diskusi: Sebagai manajer pemasaran, informasi minimum apa yang akan Anda syaratkan dalam kontrak sebelum menyetujui klaim ROI dari vendor programmatic?
Kerangka Keputusan: Alokasi Anggaran Programmatic
Kerangka Audit Klaim Attribution Vendor
Langkah Analisis
Pertanyaan Kunci
Implikasi Keputusan
1. Minta metodologi tertulis
Apakah vendor bisa menjelaskan desain eksperimen secara spesifik (bukan hanya istilah "AI-powered attribution")?
Tolak laporan tanpa dokumentasi metodologi
2. Cek unit analisis & ukuran sampel
Berapa besar test & control group, dan apakah cukup untuk signifikansi statistik?
Sampel terlalu kecil → klaim lift bisa noise, bukan sinyal
3. Bandingkan lintas-vendor
Apakah beberapa vendor mengklaim kontribusi konversi yang sama secara berlebihan (over-crediting)?
Total klaim melebihi 100% konversi aktual → butuh model atribusi terpadu
4. Uji ulang periodik
Apakah incrementality diuji ulang secara berkala, atau hanya sekali saat awal kontrak?
Efektivitas kanal bergeser seiring waktu — audit berkala jadi klausul kontrak
Praktik umum yang perlu diwaspadai: beberapa DSP/platform mengklaim kontribusi terhadap konversi yang sama secara bersamaan — total klaim lintas-kanal dapat melebihi 100% dari total konversi aktual perusahaan.
UU No. 27/2022 (Pelindungan Data Pribadi/PDP): persetujuan eksplisit untuk pemrosesan data personal, termasuk untuk profiling iklan
Implikasi: incrementality testing berbasis user-level ID makin bergantung pada consent management yang rapi
Tren industri bergeser ke agregat/geo-level experiment sebagai respons — lebih tahan terhadap keterbatasan privasi
Latihan Kelas: Audit Klaim Kampanye
Instruksi
Bekerja dalam kelompok kecil (3-4 orang). Diberikan skenario: sebuah bank digital melaporkan "peningkatan aplikasi kartu kredit 250%" setelah kampanye programmatic 2 bulan, dibandingkan pengguna yang klik iklan versus tidak klik.
Terapkan kerangka analisis kasus (RCT vs observational) dari slide sebelumnya pada skenario ini
Identifikasi minimal 2 sumber selection bias yang mungkin terjadi
Rancang desain RCT atau geo-experiment alternatif yang lebih valid, sebutkan test group dan control group-nya secara spesifik
Siapkan 1 rekomendasi keputusan anggaran untuk direksi (lanjutkan / uji ulang / hentikan), dengan justifikasi singkat
Ringkasan & Keterkaitan dengan Pertemuan Berikutnya
Takeaway Utama
Korelasi paparan-konversi ≠ efek kausal iklan — selection bias sistematis dalam sistem RTB
RCT (test vs PSA control) adalah gold standard; geo-experiment adalah alternatif praktis saat user-level RCT tak feasible
Anggaran pemasaran digital sebaiknya mengikuti bukti incrementality, bukan volume impresi/klik semata
Menuju Pertemuan 12
Studi kasus RugsPlanet.com: praktik e-commerce dan optimisasi customer acquisition
Kerangka incrementality hari ini akan dipakai kembali untuk mengevaluasi keputusan channel-mix e-commerce
Bawa pertanyaan: bagaimana LTV pelanggan berinteraksi dengan biaya akuisisi per kanal?
Kompetensi kunci pertemuan ini: kemampuan membaca laporan performa iklan secara kritis dan menuntut bukti kausal sebelum menyetujui alokasi anggaran — bukan sekadar memahami istilah teknis programmatic advertising.