Modern DiD: Callaway-Sant'Anna 2021

Pemerintah pusat menggulirkan satu program bantuan ke seluruh provinsi, tetapi tidak serentak. Sebagian provinsi kebagian lebih dulu, sebagian menyusul dua tahun kemudian, sebagian lagi paling belakangan. Anda diminta menjawab satu pertanyaan sederhana: apakah program itu menaikkan kesejahteraan?

Naluri pertama: pakai metode beda-dalam-beda (difference-in-differences, DiD) yang sudah Anda kenal — bandingkan yang sudah dapat program dengan yang belum, sebelum dan sesudah. Masukkan saja semuanya ke satu regresi besar dengan efek tetap unit dan waktu. Selesai.

Di sinilah jebakannya. Selama hampir dua dekade itulah cara baku semua orang. Lalu sekitar 2020 sederet makalah menunjukkan hal yang mengejutkan: ketika waktu perlakuan berbeda-beda antar unit (disebut perlakuan bertahap atau staggered), regresi baku tadi bisa memberi jawaban yang salah tanda — melaporkan program merugikan padahal sesungguhnya menguntungkan. Bukan sekadar kurang tepat; benar-benar terbalik. Artikel ini menjelaskan kenapa itu terjadi, dan cara modern yang memperbaikinya: estimator Callaway-Sant’Anna.

Intuisi: Kenapa “Masukkan Semua ke Satu Regresi” Bisa Menyesatkan

Bayangkan tiga rombongan provinsi. Rombongan pelopor mulai dapat program tahun 2019, rombongan penyusul tahun 2020, dan satu rombongan yang tak pernah dapat sampai akhir pengamatan. DiD klasik butuh kelompok kontrol yang belum kena perlakuan. Saat semua waktu mulai sama (DiD 2×2 baku), kontrolnya jelas. Tapi di sini, kapan persisnya “belum”?

Regresi baku — namanya two-way fixed effects (TWFE: efek tetap dua arah, satu untuk tiap unit dan satu untuk tiap waktu) — diam-diam memakai siapa pun yang outcome-nya tidak sedang berubah status perlakuan sebagai pembanding. Masalahnya: rombongan pelopor yang sudah dapat program ikut dipakai sebagai “kontrol” saat menilai rombongan penyusul. Padahal pelopor itu sedang merasakan efek programnya sendiri — outcome-nya naik karena perlakuan, bukan karena tren alami.

Memakai unit yang sudah diperlakukan sebagai kontrol persis seperti mengukur tinggi badan anak dengan penggaris yang diam-diam memanjang. Kontrol yang ikut “naik karena program” membuat selisihnya tampak kecil, bahkan negatif — dan racun ini menetes ke seluruh estimasi. Itulah inti masalah yang akan kita bedah.

Persiapan: TWFE dan Notasinya

Selama bertahun-tahun, resep DiD untuk banyak periode adalah satu regresi ini:

Tiap lambang:

• $Y_{it}$ = outcome unit $i$ pada waktu $t$ (misalnya tingkat kesejahteraan provinsi $i$ tahun $t$).
• $\alpha_i$ = efek tetap unit — satu konstanta per unit, menyerap segala perbedaan antar unit yang tak berubah waktu (geografi, budaya). Inilah “arah pertama”.
• $\gamma_t$ = efek tetap waktu — satu konstanta per periode, menyerap guncangan yang dialami semua unit serentak (resesi nasional, pandemi). Inilah “arah kedua”; karena ada dua arah, namanya two-way.
• $D_{it}$ = penanda perlakuan, bernilai 1 kalau unit $i$ sedang diperlakukan pada waktu $t$, dan 0 kalau belum/tidak.
• $\beta$ = koefisien yang kita kira “efek rata-rata perlakuan”. Inilah angka yang ternyata bisa salah.
• $\varepsilon_{it}$ = sisa (galat) yang tak dijelaskan model.

Untuk DiD 2×2 klasik (dua kelompok, dua periode, satu waktu mulai), $\beta$ persis sama dengan estimasi dua-selisih yang Anda kenal. Persoalan muncul hanya saat waktu mulai perlakuan beragam.

Mengapa TWFE Gagal: Bobot Negatif Goodman-Bacon

Goodman-Bacon (2021) membuktikan satu fakta penting: koefisien TWFE $\hat{\beta}$ sebetulnya adalah rata-rata tertimbang dari banyak perbandingan DiD 2×2 yang bisa dibentuk dari data.

Tiap lambang:

• $\widehat{DiD}_k$ = satu perbandingan 2×2 antara sepasang kelompok pada sepasang periode (selisih-dari-selisih, seperti DiD klasik).
• $w_k$ = bobot perbandingan ke-$k$. Bobot ini ditentukan oleh ukuran kelompok dan ragam penanda perlakuan — bukan oleh kita.

Sebagian perbandingan ini bersih: kelompok yang baru diperlakukan dibandingkan dengan kelompok yang masih murni-belum-diperlakukan. Bagus. Tapi sebagian lagi terlarang: kelompok yang baru diperlakukan dibandingkan dengan kelompok yang sudah lebih dulu diperlakukan. Di perbandingan terlarang itu, kontrolnya sedang bergerak karena efeknya sendiri.

Bahaya sesungguhnya: kalau efek perlakuan membesar seiring waktu (kasus paling lazim — kebijakan butuh waktu untuk matang), perbandingan terlarang tadi bisa masuk ke rata-rata dengan bobot negatif $w_k < 0$. Sebuah perbandingan yang efek sebenarnya positif, dikalikan bobot negatif, menyumbang ke arah yang salah. Cukup banyak racun, dan $\hat{\beta}$ keseluruhan ikut terbalik.

Contoh angka: TWFE memberi tanda yang salah

Mari buktikan dengan data sekecil mungkin yang bisa Anda hitung tangan. Dua unit, empat periode ($t = 1, 2, 3, 4$). Unit pelopor mulai diperlakukan di $t = 2$, unit penyusul mulai di $t = 4$.

Kita rancang datanya supaya kebenarannya kita tahu pasti: tanpa perlakuan, kedua unit naik 1 poin per periode (tren paralel sempurna). Efek perlakuan positif dan membesar: 1 poin di tahun pertama paparan, 4 poin di tahun kedua, 7 poin di tahun ketiga. Hasilnya:

Periksa pelopor: tanpa perlakuan nilainya akan 5, 6, 7, 8. Yang teramati 5, 7, 11, 15 — selisihnya 0, 1, 4, 7, persis efek yang kita tanam. Penyusul baru kena di $t=4$: tanpa perlakuan 5, 6, 7, 8; teramati 5, 6, 7, 9 — efek 1 poin. Semua efek positif. Rata-rata efek pada seluruh pengamatan yang diperlakukan:

Sekarang jalankan TWFE pada tabel ini (regresi $Y_{it}$ terhadap $D_{it}$ plus efek tetap unit dan waktu). Hasilnya:

Negatif. Padahal tiap efek sebenarnya positif (1 sampai 7) dan ATT sejatinya +3,25. TWFE bukan cuma meleset besar — ia melaporkan program merugikan. Inilah “salah tanda” yang membuat ekonometrika gempar sekitar 2020.

Dari mana tanda minus itu datang?

Lacak ke perbandingan 2×2 yang menyusunnya. Saat menilai si penyusul di $t=4$, TWFE memakai si pelopor sebagai kontrol — padahal pelopor sudah diperlakukan sejak $t=2$. Hitung selisih-dari-selisih untuk perbandingan terlarang ini, dengan jendela $t=3 \to t=4$:

Si penyusul memang naik 2 (efeknya baru mulai), tapi si “kontrol” pelopor naik 4 karena efeknya sendiri sedang melonjak. Selisihnya jadi −2 — sebuah DiD 2×2 negatif, lahir bukan dari efek negatif mana pun, melainkan dari kontrol yang terkontaminasi. Bobot negatif Goodman-Bacon menyeret estimasi keseluruhan ke wilayah minus.

Catatan penting. Masalah ini tidak muncul kalau efek perlakuan benar-benar konstan dan seragam antar kohor, atau kalau semua unit mulai diperlakukan di waktu yang sama. Tapi keduanya jarang berlaku di dunia nyata. Karena itu DiD modern menjadi standar baru, bukan sekadar pelengkap.

Callaway-Sant’Anna: Estimasi Group-Time ATT

Penawar racun di atas sederhana secara konsep: jangan pernah memakai unit yang sudah diperlakukan sebagai kontrol. Estimator Callaway-Sant’Anna (CS, 2021) menjalankannya dengan cara memecah pertanyaan besar menjadi banyak pertanyaan kecil yang bersih.

Alih-alih satu $\beta$ tunggal, CS menaksir satu efek terpisah untuk tiap kohor pada tiap waktu — disebut group-time average treatment effect, ditulis $ATT(g, t)$:

Tiap lambang:

• $g$ = kohor, yaitu periode saat sekelompok unit mulai diperlakukan. Provinsi yang mulai 2019 ada di kohor $g = 2019$; yang mulai 2020 di kohor $g = 2020$. Unit dikelompokkan menurut kapan mereka kena, bukan dijadikan satu adonan.
• $t$ = periode tempat efek itu diukur.
• $Y_t(1)$ = outcome seandainya unit diperlakukan; $Y_t(0)$ = outcome seandainya tidak. Angka “(1)” dan “(0)” adalah dua hasil potensial — kita hanya pernah melihat salah satunya, yang lain harus ditaksir.
• $\mathbb{E}[\,\cdot \mid G = g]$ = “rata-rata, khusus untuk unit di kohor $g$”.

Membaca $ATT(g, t)$ secara polos: “untuk unit yang mulai diperlakukan di tahun $g$, seberapa besar perlakuan mengubah outcome mereka pada tahun $t$.”

Cara menghitung satu $ATT(g,t)$: dua selisih, kontrol yang bersih

Tiap $ATT(g,t)$ dihitung dengan logika dua-selisih DiD klasik, tapi dengan dua aturan disiplin:

1. Garis dasar (baseline) selalu diambil tepat sebelum kohor itu diperlakukan, yaitu periode $g-1$.
2. Kelompok pembanding harus unit yang bersih — salah satu dari:
   • never-treated: unit yang tak pernah diperlakukan sepanjang pengamatan;
   • not-yet-treated: unit yang belum diperlakukan sampai waktu $t$ (boleh dipakai selama statusnya masih bersih).

Rumusnya:

Tiap lambang:

• $\bar{Y}_g(t)$ = rata-rata outcome kohor $g$ pada waktu $t$; $\bar{Y}_g(g{-}1)$ = rata-rata kohor $g$ di garis dasar (sebelum diperlakukan).
• $\bar{Y}_C(t)$ dan $\bar{Y}_C(g{-}1)$ = rata-rata yang sama untuk kelompok pembanding bersih $C$.
• Kurung pertama = perubahan outcome kohor yang diperlakukan; kurung kedua = perubahan kelompok bersih (perkiraan tren alami). Selisih keduanya = efek yang dibersihkan dari tren.

Versi “doubly robust” yang dipakai paket statistik menambahkan penyesuaian kovariat (lewat skor kecenderungan dan regresi outcome), tapi tulang punggungnya tetap dua selisih di atas.

Contoh hitung $ATT(g,t)$ dari nol

Pakai data tiga kohor berikut — satu unit wakil per kohor, lima titik cukup untuk melihat seluruh mekanismenya. Periode 2018–2021. Pelopor mulai 2019 ($g=2019$), penyusul mulai 2020 ($g=2020$), never-treated tak pernah.

Data ini dirancang dengan tren paralel sempurna (semua naik 1/tahun tanpa perlakuan) dan efek yang kita tanam: pelopor mendapat 2, 4, 6 poin di tahun ke-0, 1, 2 paparan; penyusul mendapat 1, 2 poin di tahun ke-0, 1. Mari pulihkan angka itu dari data, memakai never-treated sebagai kontrol.

Pelopor, $g = 2019$, garis dasar $= 2018$.

Penyusul, $g = 2020$, garis dasar $= 2019$.

Hasilnya — 2, 4, 6 untuk pelopor dan 1, 2 untuk penyusul — persis efek yang kita tanam. Tidak ada bobot negatif, tidak ada kontrol terkontaminasi: tiap $ATT(g,t)$ memakai pembanding yang bersih dan garis dasar pra-perlakuan yang benar. Inilah yang membedakan CS dari TWFE.

Agregasi: Dari Banyak Angka Menjadi Satu Cerita

CS menghasilkan banyak $ATT(g,t)$ — berguna tapi terlalu banyak untuk dilaporkan mentah. Langkah berikutnya: mengagregasi menjadi ringkasan yang bisa dibaca. Yang paling informatif adalah agregasi event-study (event-time), yaitu merata-ratakan efek menurut lama paparan $e = t - g$ (berapa periode sejak unit mulai diperlakukan):

Tiap lambang:

• $e$ = lama paparan (event time): $e = 0$ tahun mulai, $e = 1$ setahun setelahnya, dan seterusnya. Nilai $e < 0$ adalah periode pra-perlakuan.
• $\theta(e)$ = efek rata-rata pada lama paparan $e$, menggabungkan semua kohor yang punya pengamatan di $e$ itu.
• $\omega_g$ = bobot kohor (biasanya proporsi unit tiap kohor; di contoh kita pakai bobot sama).

Dari $ATT(g,t)$ yang baru kita hitung, agregasi per lama paparan (bobot sama antar kohor):

• $e = 0$: rata-rata dari $ATT(2019,2019)=2$ dan $ATT(2020,2020)=1$ → $\theta(0) = \dfrac{2+1}{2} = 1{,}5$
• $e = 1$: rata-rata dari $ATT(2019,2020)=4$ dan $ATT(2020,2021)=2$ → $\theta(1) = \dfrac{4+2}{2} = 3{,}0$
• $e = 2$: hanya $ATT(2019,2021)=6$ → $\theta(2) = 6{,}0$

Kurva $\theta(e)$ inilah yang diplot sebagai event-study: sumbu mendatar lama paparan, sumbu tegak efek. Ia menjawab “bagaimana efek berkembang seiring waktu”, dan polanya — naik dari 1,5 ke 3,0 ke 6,0 — menggambarkan kebijakan yang efeknya menguat.

Selain itu CS menyediakan dua ringkasan lain:

• Overall ATT — rata-rata semua $ATT(g,t)$ pasca-perlakuan, satu angka untuk “efek rata-rata keseluruhan”. Pada data kita: rata-rata dari {2, 4, 6, 1, 2} $= 3{,}0$.
• Cohort ATT — rata-rata per kohor, untuk membandingkan kohor pelopor vs penyusul.

Membaca uji pra-tren dari plot yang sama

Bagian event-study yang $e < 0$ (sebelum perlakuan) seharusnya mendekati nol — karena belum ada perlakuan, belum boleh ada efek. CS menaksir $ATT(g,t)$ untuk $t < g$ juga, dan secara teori:

Kalau koefisien pra-perlakuan jauh dari nol dan signifikan, itu lampu merah: tren kedua kelompok ternyata tidak paralel bahkan sebelum perlakuan, sehingga asumsi inti DiD goyah dan estimasinya tak bisa dipercaya. Visualisasi ini — koefisien pra-perlakuan dekat nol, koefisien pasca-perlakuan menjauh dari nol — adalah uji baku yang wajib ada di makalah DiD modern. Coba sendiri di widget berikut: geser besar efek dan besar pelanggaran pra-tren, dan amati kapan plot menyatakan asumsi gagal.

Memilih Kelompok Pembanding

CS memberi dua pilihan kontrol bersih; pilih sesuai data:

• Never-treated — paling sederhana dan paling kebal-kontaminasi, tapi hanya tersedia kalau memang ada unit yang tak pernah diperlakukan. Banyak kebijakan nasional akhirnya menjangkau semua unit, sehingga kelompok ini kosong.
• Not-yet-treated — memanfaatkan unit yang akan diperlakukan tapi belum pada waktu $t$. Tersedia hampir selalu (selama ada variasi waktu mulai) dan memakai data lebih efisien. Syaratnya: selama dipakai sebagai kontrol, statusnya masih benar-benar belum-diperlakukan.

Kalau ada never-treated yang memadai, banyak praktisi memakainya sebagai kontrol baku; kalau tidak, not-yet-treated adalah jalan keluar standar. Apa pun pilihannya, asumsi tren paralel tetap harus dipertanggungjawabkan lewat uji pra-tren.

Implementasi di Perangkat Lunak

Anda tidak menghitung $ATT(g,t)$ satu per satu di proyek nyata — paket khusus melakukannya, lengkap dengan galat baku yang dikelompokkan (clustered) dan koreksi inferensi serentak. Berikut pola bakunya.

R — paket did (dari Callaway & Sant’Anna sendiri):

library(did)

# Taksir semua ATT(g, t)
att <- att_gt(
  yname         = "outcome",       # variabel outcome
  tname         = "year",          # variabel waktu
  idname        = "province",      # pengenal unit
  gname         = "first_treat",   # tahun MULAI perlakuan (0 = never-treated)
  xformla       = ~ kontrol1 + kontrol2,
  data          = dat,
  control_group = "notyettreated", # atau "nevertreated"
  est_method    = "dr"             # doubly robust
)

# Agregasi event-study (efek per lama paparan)
agg <- aggte(att, type = "dynamic")
summary(agg)
ggdid(agg)                          # plot event-study + pra-tren

Stata — paket csdid:

ssc install csdid, replace
ssc install drdid,  replace

csdid outcome kontrol1 kontrol2, ///
    ivar(province) time(year) gvar(first_treat) method(dripw)

estat event, window(-5 5)          // agregasi event-study
csdid_plot                          // plot

Catatan: kolom gname/gvar harus berisi tahun mulai perlakuan tiap unit (lazimnya 0 untuk never-treated), bukan penanda 0/1 per periode.

Keluarga DiD Modern: CS Bukan Satu-satunya

Callaway-Sant’Anna adalah salah satu dari beberapa estimator modern yang semuanya mengatasi masalah bobot negatif. Pilih sesuai struktur data dan pertanyaan:

Untuk perlakuan biner sekali-untuk-selamanya dengan waktu mulai beragam — kasus paling umum di evaluasi kebijakan — CS adalah titik awal yang aman dan paling banyak dipakai.

Cek Pemahaman

1. Data dua kohor, kontrol never-treated. Kohor pelopor mulai diperlakukan di tahun 2021. Outcome rata-rata: pelopor 20 (2020) → 27 (2021); never-treated 14 (2020) → 16 (2021). Hitung $ATT(2021, 2021)$ dari nol.

2. (Soal transfer.) Anda mengevaluasi program pelatihan UMKM yang digulirkan bertahap ke kabupaten-kabupaten selama 2018–2023, dan efeknya diduga menguat tiap tahun setelah ikut. Seorang rekan menyarankan: “Cukup satu regresi TWFE — outcome terhadap penanda ‘sedang ikut program’ plus efek tetap kabupaten dan tahun.” (a) Kenapa saran ini berisiko? (b) Apa yang Anda usulkan sebagai gantinya, dan kontrol seperti apa yang dipakai kalau semua kabupaten akhirnya kebagian program pada 2023?

Kesalahan Umum

Memakai TWFE untuk perlakuan bertahap tanpa diagnosis. Ini kesalahan paling mahal: hasilnya bisa salah tanda. Sebelum percaya koefisien TWFE pada data staggered, jalankan dekomposisi Goodman-Bacon untuk melihat berapa bobot yang negatif — atau langsung pakai estimator modern.

Menjadikan unit yang sudah diperlakukan sebagai kontrol. Akar dari seluruh masalah. Kontrol yang sah hanya never-treated atau not-yet-treated. Unit “already-treated” outcome-nya tercemar efeknya sendiri.

Melewatkan uji pra-tren. Plot event-study dengan koefisien pra-perlakuan adalah bukti minimal bahwa asumsi tren paralel masuk akal. Tanpa itu, klaim kausal DiD modern pun rapuh. Koefisien $e<0$ harus dekat nol dan tak signifikan.

Menganggap tren paralel pasti berlaku. Bahkan saat pra-tren mulus, tren bisa menyimpang setelah perlakuan karena sebab lain. Laporkan analisis sensitivitas Rambachan-Roth (2023): seberapa besar pelanggaran tren paralel yang sanggup membalik kesimpulan.

Mengira CS hanya relevan kalau efek heterogen. Justru kalau Anda tidak tahu apakah efek homogen (hampir selalu begitu di praktik), CS adalah pilihan aman: ia tetap benar saat efek homogen, dan tetap benar saat heterogen. TWFE hanya selamat di kasus pertama.

Dipakai di Dunia Nyata

• Evaluasi kebijakan publik Indonesia. Banyak program digulirkan bertahap antar daerah: desentralisasi fiskal pasca-otonomi daerah, perluasan program bantuan sosial, atau implementasi kebijakan pendidikan provinsi yang waktunya berbeda-beda. Persis kasus staggered yang menuntut CS, bukan TWFE.
• Riset keuangan dan akuntansi. Adopsi standar pelaporan (misalnya tahap-tahap penerapan PSAK baru) atau perubahan regulasi pasar modal yang berlaku berbeda waktu antar emiten dianalisis dengan DiD modern agar efek pengumuman tak terkontaminasi emiten yang sudah lebih dulu terdampak.
• Ekonomi pembangunan. Pembangunan infrastruktur — termasuk proyek kerja sama pemerintah-badan usaha yang waktu operasinya berbeda per lokasi — dievaluasi dampaknya terhadap outcome ekonomi lokal memakai event-study CS untuk memetakan efek per tahun sejak beroperasi.
• Makalah target jurnal bereputasi. Sejak sekitar 2020, penyunting dan penelaah jurnal ekonomi/keuangan terkemuka rutin meminta penulis mengganti TWFE dengan estimator robust (CS, Sun-Abraham, atau setara) plus plot event-study untuk setiap desain DiD bertahap. Naskah yang masih memakai TWFE polos pada data staggered kerap diminta revisi.

Lanjutan

DiD modern adalah puncak dari rangkaian gagasan kausal yang dibangun dari dua selisih sederhana.

• Sebelumnya: DiD klasik dan asumsi tren paralel — fondasi dua selisih dan logika kontrafaktual yang seluruh artikel ini perluas.
• Berkaitan erat: Event study design — kerangka efek dinamis per periode yang menjadi bentuk agregasi favorit DiD modern.
• Untuk inferensi yang benar: Galat baku klaster pada data panel — DiD selalu menuntut pengelompokan galat baku di tingkat unit perlakuan.

Referensi

• Callaway, B. & Sant’Anna, P. H. C. (2021). “Difference-in-Differences with Multiple Time Periods”. Journal of Econometrics, 225(2), 200–230.
• Goodman-Bacon, A. (2021). “Difference-in-differences with variation in treatment timing”. Journal of Econometrics, 225(2), 254–277.
• Sun, L. & Abraham, S. (2021). “Estimating dynamic treatment effects in event studies with heterogeneous treatment effects”. Journal of Econometrics, 225(2), 175–199.
• Roth, J., Sant’Anna, P. H. C., Bilinski, A. & Poe, J. (2023). “What’s trending in difference-in-differences? A synthesis of the recent econometrics literature”. Journal of Econometrics, 235(2), 2218–2244.
• Rambachan, A. & Roth, J. (2023). “A More Credible Approach to Parallel Trends”. Review of Economic Studies, 90(5), 2555–2591.