Sub-CPMK 6: melakukan backtesting sederhana atas model risiko. Empat indikator capaian.
Jam ke-1 (50 menit)
Konsep backtesting VaR; ekspektasi exception
Hitung dari nol: exception VaR 99% pada 250 hari
Membangun deret exception & uji Kupiec POF
Jam ke-2 (50 menit)
Uji Christoffersen independensi (clustering)
Tiga zona Basel: hijau, kuning, merah
Studi kasus treasury 2013; persiapan P7 (stress test)
Posisi: P6 validasi model; P7 stress test untuk skenario ekstrem di luar backtesting.
Mengapa Model Harus Divalidasi
Tanpa validasi, model risiko hanyalah klaim. Backtesting memberi bukti empiris apakah model akurat.
Ekspektasi Exception VaR 99%
~2,5 / 250 hari
250 × 1% = 2,5; jumlah aktual harus mendekati ini
Exception di Zona Merah
≥ 10 / 250
pengali modal otomatis naik ke 4 (BCBS 1996)
Pertanyaan pemantik: model dengan 0 exception tentu bagus — atau justru terlalu konservatif?
Bagian 1 · 1/4
Konsep Backtesting
Diskusi kelas: pilih rentang historis untuk backtesting VaR — apa trade-off window panjang vs pendek?
Definisi Backtesting VaR
Backtesting VaR adalah proses membandingkan prediksi VaR dengan realisasi kerugian selama periode historis. Setiap kali kerugian melebihi VaR disebut exception. (Kupiec, 1995; BCBS, 1996)
Exception
Hari di mana loss > VaR
Ekspektasi
(1−α) × jumlah hari
Window
250 hari (1 tahun) — standar Basel
Backtesting hanya menjawab pertanyaan: apakah jumlah exception sesuai ekspektasi?
Ekspektasi Exception: 1−α per Hari
Probabilitas exception harian sama dengan 1−α. Pada 250 hari, ekspektasi total = 250 × (1−α).
α VaR
P(exception)
Ekspektasi / 250 hari
Implikasi
95%
5%
12,5
Lebih banyak exception; sensitif
99%
1%
2,5
Standar Basel
99,5%
0,5%
1,25
Estimasi sangat kasar
99,9%
0,1%
0,25
Terlalu sedikit untuk uji statistik
E[exception] = N × (1 − α)
Membangun Deret Exception
Deret exception berupa biner 0/1 — input untuk uji Kupiec (jumlah) dan Christoffersen (pola).
Hitung dari Nol: Hitung Exception VaR 99% pada 250 Hari
Skenario: Pada backtesting treasury bank selama 250 hari, diketahui 8 hari mengalami loss melebihi VaR 99%. Ekspektasi teoretis = 2,5. Apakah indikasi masalah model?
Langkah
Perhitungan
Nilai
1. Ekspektasi exception
250 × (1−0,99)
2,5
2. Exception aktual
dihitung dari deret loss
8
3. Rasio aktual/ekspektasi
8 ÷ 2,5
3,2× lebih banyak
4. Interpretasi awal
3× lebih banyak dari ekspektasi
Indikasi underestimate
5. Zona Basel
8 exception di 250 hari
Zona kuning (5-9) → pengali naik
Kesimpulan
8 exception → zona kuning
Model underestimate; pengali modal naik dari 3 ke 3,65-3,75 (BCBS)
Bagian 2 · 2/4
Uji Kupiec & Christoffersen
Diskusi kelas: mengapa jumlah exception saja tidak cukup — apa informasi yang hilang jika hanya menghitung total?
Uji Kupiec POF (Proportion of Failures)
Uji Kupiec POF menguji apakah proporsi exception aktual sesuai dengan ekspektasi 1−α. Hipotesis nol: π = 1−α. Statistik uji berdistribusi χ²(1). (Kupiec, 1995)
Uji Christoffersen (1998) memeriksa apakah exception independen atau ter-cluster — pola temporal yang menunjukkan model tidak menangkap perubahan rezim volatilitas.
Konsep Dasar
Hitung transisi biner: 00, 01, 10, 11
Bandingkan P(1|1) vs P(1|0)
Jika P(1|1) >> P(1|0) → clustering
Statistik uji χ²(1), kritis 3,841
Implikasi Clustering
Model statis tidak menangkap volatilitas bergerak
GAGAL di krisis — exception beruntun
Solusi: model volatilitas dinamis (GARCH)
Basel menyensor tambahan untuk clustering
Exception yang terjadi beruntun dalam satu krisis adalah sinyal kuat model tidak responsif — meski total exception mungkin normal.
Mengapa Independensi Penting
Dua portofolio dengan jumlah exception sama bisa sangat berbeda: satu tersebar merata (sehat), satu ter-cluster (berbahaya).
Pola Exception (8 dari 250)
Distribusi
Interpretasi
Merata
Sebaran acak sepanjang tahun
Model responsif; jumlah sedikit di atas ekspektasi
Cluster (satu krisis)
8 exception dalam 2 minggu
Model statis; tidak menangkap rezim baru
Uji Kupiec
Sama untuk keduanya
Tidak membedakan pola
Uji Christoffersen
Bedanya signifikan
Mendeteksi clustering; wajib
Pelajaran: validasi model VaR butuh kedua uji — Kupiec untuk jumlah, Christoffersen untuk pola.
Hitung dari Nol: LR Kupiec pada 8 Exception dari 250 Hari
Skenario: Pada backtesting VaR 99% selama 250 hari dengan 8 exception. Ekspektasi π = 0,01. Hitung LR_POF dan keputusan uji pada signifikansi 5%.
Langkah
Perhitungan
Nilai
1. Proporsi aktual p
8 ÷ 250
0,032
2. Log-likelihood numerator
(1−0,032)^242 · 0,032^8
(estimasi)
3. Log-likelihood denominator
(1−0,01)^242 · 0,01^8
(estimasi)
4. LR_POF
-2 ln(numer/denom)
~5,91
5. Keputusan
5,91 > 3,841 → reject H0
Model underestimate
Kesimpulan
LR ≈ 5,91 > 3,841
Reject H0 — model VaR 99% underestimate pada signifikansi 5%
Bagian 3 · 3/4
Tiga Zona Basel
Diskusi kelas: mengapa Basel tidak langsung menghukum setiap exception di atas ekspektasi? Mengapa ada zona kuning?
Zona Hijau (0-4 Exception)
Zona hijau: jumlah exception dalam rentang yang konsisten dengan model akurat — tidak ada sanksi tambahan.
Karakter Zona Hijau
0-4 exception pada 250 hari (VaR 99%)
Pengali modal tetap 3,0
Tidak ada tindakan otomatis
Model dianggap akurat secara statistik
Catatan Praktis
0 exception bisa jadi over-conservative
Tetap jalankan Christoffersen untuk clustering
Dokumentasi backtesting wajib untuk regulator
Zona hijau bukan berarti model sempurna — tetap perlu monitoring berkelanjutan.
Zona Kuning (5-9) & Merah (≥10)
Zona kuning memicu pengali modal naik bertahap; zona merah memaksa pengali 4 otomatis — sanksi berat.
Exception
Zona
Pengali Modal
Tindakan
0-4
Hijau
3,0
Tidak ada
5
Kuning
3,40
Konsultasi regulator
6
Kuning
3,50
Eskalasi
7
Kuning
3,65
Investigasi model
8
Kuning
3,75
Penyesuaian wajib
9
Kuning
3,85
Peringatan formal
≥10
Merah
4,00
Pengali 4 otomatis; audit model
Setiap tambahan exception di zona kuning menambah pengali modal — insentif kuat untuk menjaga kualitas model.
Eksplorasi Interaktif: Backtest Traffic Light
Atur jumlah exception dan hari observasi untuk melihat zona Basel dan verdict Kupiec test — simulasi pengalaman chief risk officer saat membaca laporan backtest.
Studi Kasus: Backtesting Treasury Bank pada Taper Tantrum
Selama taper tantrum 2013, treasury bank mengalami clustering exception — pola yang menunjukkan model statis tidak responsif.
Periode
Exception
Pola
Jan-Apr 2013
1-2 exception tersebar
Zona hijau; model responsif
Mei-Ags 2013 (taper)
6 exception beruntun 8 minggu
Clustering; gagal Christoffersen
Implikasi
Total tahunan ~8
Zona kuning; pengali naik 3,75
Pelajaran
Model statis under-responsive
Perlu GARCH / EWMA untuk volatilitas dinamis
Pelajaran: clustering adalah sinyal kuat bahwa model perlu upgrade — bukan sekadar masalah modal.
Bagian 4 · 4/4
Keterbatasan Backtesting
Diskusi kelas: model yang lulus backtesting apakah dijamin bagus untuk masa depan? Mengapa tidak?
Backtesting Tidak Menjamin Masa Depan
Model yang lulus backtesting tetap bisa gagal di masa depan — terutama saat structural break atau skenario baru yang belum terjadi historis.