Effect Size

Anda menguji apakah aplikasi belajar baru menaikkan nilai mahasiswa. Datanya raksasa: lima puluh ribu mahasiswa di tiap kelompok. Hasilnya keluar dengan p sangat kecil — “sangat signifikan”, kata laporan. Atasan Anda gembira.

Lalu Anda lihat angka mentahnya: kelompok yang pakai aplikasi rata-rata 50,3; yang tidak pakai 50,1. Selisihnya dua per sepuluh poin di skala nol sampai seratus. Aplikasi mahal, hasilnya selisih yang nyaris tak terasa siapa pun.

Apa yang terjadi? Uji hipotesis hanya menjawab “apakah ada beda yang sulit dijelaskan oleh kebetulan”. Ia tidak menjawab “seberapa besar bedanya”. Dengan sampel raksasa, beda sekecil apa pun bisa lolos sebagai “signifikan”. Yang hilang dari cerita adalah besar efek — ukuran seberapa besar bedanya, lepas dari banyaknya data.

Signifikan Bukan Berarti Besar

Ada dua pertanyaan yang sering dikira sama, padahal berbeda:

• Apakah efeknya nyata? Ini soal signifikansi statistik — dijawab p-value. Maknanya: “kalau sebenarnya tidak ada beda, seberapa mengejutkan data ini?”
• Apakah efeknya besar? Ini soal besar efek (effect size) — dijawab ukuran tersendiri seperti Cohen’s d. Maknanya: “seberapa jauh dua kelompok ini berbeda?”

Kuncinya: p-value bergantung pada banyaknya data, besar efek tidak. Perbesar sampel terus-menerus, dan p-value akan mengecil bahkan untuk beda yang remeh. Itulah sebabnya jurnal bereputasi (Q1) modern mewajibkan laporan besar efek di samping p-value, bukan p-value saja.

Perhatikan sel kiri-bawah: beda kecil + data banyak = “signifikan” yang menipu. Itulah jebakan pada kisah pembuka.

Tiga Wajah Besar Efek

Besar efek punya banyak bentuk, tergantung jenis perbandingannya. Tiga yang paling sering dipakai:

Kita bahas Cohen’s d paling dalam (karena paling sering dan paling intuitif), lalu r dan $\eta^2$ lebih ringkas.

Cohen’s d: Jarak Dua Rata-rata

Bayangkan dua kelompok, masing-masing punya rata-rata sendiri dan sebarannya sendiri. Cohen’s d bertanya sederhana: berapa jauh dua rata-rata itu, diukur dalam satuan “lebar sebaran”?

Kenapa diukur dalam satuan sebaran, bukan dalam satuan asli (poin nilai, Rupiah, kg)? Karena beda 5 poin terasa besar kalau semua orang berkerumun rapat, tapi terasa kecil kalau nilai bertebaran ke mana-mana. Membagi dengan ukuran sebaran membuat besar efek tanpa satuan — bisa dibandingkan lintas studi dan lintas alat ukur.

Inilah inti seluruh materi ini, dalam satu gambar:

Makin besar d, makin terpisah dua kurva, makin sedikit tumpang-tindihnya. Itulah cara membaca besar efek secara visual.

Rumusnya

$$d = \frac{\bar{x}_1 - \bar{x}_2}{s_{\text{gab}}}$$

Penjelasan tiap lambang:

• $\bar{x}_1$ dan $\bar{x}_2$ (dibaca “x-bar”) = rata-rata kelompok ke-1 dan ke-2. Pembilangnya cuma selisih dua rata-rata. Misalnya kalau kelompok 1 rata-rata 72 dan kelompok 2 rata-rata 78, pembilangnya $72 - 78 = -6$.
• $s_{\text{gab}}$ = simpangan baku gabungan (pooled standard deviation) — semacam rata-rata sebaran dua kelompok, jadi penyebutnya satu angka tunggal yang mewakili lebar khas data.

Tanda d boleh negatif (kalau kelompok 1 lebih rendah dari kelompok 2); yang dipakai untuk menilai besar efek adalah nilai mutlaknya, $|d|$.

Simpangan baku gabungan dihitung dengan menimbang varians tiap kelompok menurut banyak datanya:

$$s_{\text{gab}} = \sqrt{\frac{(n_1 - 1)\,s_1^2 + (n_2 - 1)\,s_2^2}{n_1 + n_2 - 2}}$$

Di sini $n_1, n_2$ = banyak data tiap kelompok, dan $s_1^2, s_2^2$ = varians (kuadrat simpangan baku) tiap kelompok. Bentuknya mirip varians sampel biasa, hanya saja menggabungkan dua kelompok dengan pembagi $n_1 + n_2 - 2$ (dua derajat kebebasan hilang karena dua rata-rata sudah dipakai).

Cara membaca angkanya

Cohen mengusulkan patokan kasar berikut:

| $|d|$ | Sebutan | Tumpang-tindih dua kurva | |—|—|—| | 0,2 | kecil | sekitar 92% | | 0,5 | sedang | sekitar 80% | | 0,8 | besar | sekitar 69% |

Kolom kanan memberi makna konkret: pada $d = 0{,}2$ kedua kelompok hampir tak terbedakan (kurva-nya 92% bertindih); pada $d = 0{,}8$ tumpang-tindihnya turun jadi 69% — kelompok mulai jelas berbeda. Patokan ini kasar, bukan hukum: di bidang tertentu, $d = 0{,}3$ sudah dianggap besar.

Contoh Hitung Cohen’s d dari Nol

Data. Dua kelas statistika diajar dengan metode berbeda, lalu diuji.

• Kelas A (tatap muka): $n_1 = 30$, rata-rata $\bar{x}_1 = 72$, simpangan baku $s_1 = 8$.
• Kelas B (daring): $n_2 = 30$, rata-rata $\bar{x}_2 = 78$, simpangan baku $s_2 = 10$.

Selisih rata-rata 6 poin. Apakah ini besar? Mari hitung d.

Langkah 1 — varians tiap kelompok (kuadratkan simpangan bakunya):

Langkah 2 — simpangan baku gabungan. Pembaginya $n_1 + n_2 - 2 = 30 + 30 - 2 = 58$:

$$s_{\text{gab}} = \sqrt{\frac{1856 + 2900}{58}} = \sqrt{\frac{4756}{58}} = \sqrt{82} \approx 9{,}06$$

Langkah 3 — masukkan ke rumus d:

$$d = \frac{\bar{x}_1 - \bar{x}_2}{s_{\text{gab}}} = \frac{72 - 78}{9{,}06} = \frac{-6}{9{,}06} \approx -0{,}66$$

Jadi $|d| \approx 0{,}66$ — besar efek sedang (di atas patokan 0,5, mendekati 0,8). Selisih 6 poin itu setara dengan dua-pertiga simpangan baku. Diterjemahkan ke gambar: kedua kurva masih tumpang-tindih sekitar 74%, tapi sudah cukup terpisah sehingga rata-rata mahasiswa kelas B unggul atas sekitar 75% mahasiswa kelas A. Perbedaan yang nyata, tapi bukan jurang.

Bereksperimen Sendiri

Geser jarak dua rata-rata dan lebar sebarannya, lalu amati bagaimana Cohen’s d serta daerah tumpang-tindih dua distribusi berubah.

Pearson r: Keeratan Hubungan

Saat yang dibandingkan bukan dua kelompok, melainkan dua variabel yang sama-sama menjuru (misal jam belajar dan nilai ujian), ukuran besar efeknya adalah koefisien korelasi Pearson, $r$.

Nilai $r$ berkisar dari $-1$ sampai $+1$:

• $r$ mendekati $+1$: dua hal naik bersama (makin banyak belajar, makin tinggi nilai).
• $r$ mendekati $-1$: satu naik, satu turun (makin banyak begadang, makin rendah nilai).
• $r$ mendekati $0$: tidak ada hubungan lurus.

$r$ sudah merupakan besar efek dengan sendirinya — tidak perlu diolah lagi. Patokan kasarnya:

| $|r|$ | Sebutan | |—|—| | 0,1 | kecil | | 0,3 | sedang | | 0,5 | besar |

Satu hal penting: kuadrat dari $r$, yaitu $r^2$, adalah bagian keragaman satu variabel yang bisa dijelaskan oleh variabel lain. Jangan tertukar antara $r$ dan $r^2$.

• $r = 0{,}5$ → $r^2 = 0{,}25$ → 25% keragaman terjelaskan.
• $r = 0{,}7$ → $r^2 = 0{,}49$ → 49% keragaman terjelaskan.

Naik dari $r = 0{,}5$ ke $r = 0{,}7$ terlihat sedikit, tapi daya jelasnya hampir dua kali lipat.

Eta-kuadrat: Besar Efek untuk Banyak Kelompok

Cohen’s d hanya untuk dua kelompok. Saat membandingkan tiga kelompok atau lebih (analisis ragam / ANOVA), besar efeknya adalah eta-kuadrat, $\eta^2$ (dibaca “eta-kuadrat”):

$$\eta^2 = \frac{SS_{\text{antar}}}{SS_{\text{total}}}$$

Penjelasan tiap lambang:

• $SS_{\text{antar}}$ = jumlah kuadrat antar-kelompok — bagian keragaman yang disebabkan perbedaan antar rata-rata kelompok.
• $SS_{\text{total}}$ = jumlah kuadrat total — seluruh keragaman dalam data.

Jadi $\eta^2$ adalah bagian keragaman total yang dijelaskan oleh perbedaan kelompok, sebuah angka antara 0 dan 1 (atau 0% sampai 100%).

Contoh. Sebuah ANOVA menghasilkan $SS_{\text{antar}} = 90$ dan $SS_{\text{total}} = 600$:

$$\eta^2 = \frac{90}{600} = 0{,}15$$

Artinya 15% keragaman nilai dijelaskan oleh perbedaan antar kelompok. Patokan Cohen: $\eta^2 = 0{,}01$ kecil, $0{,}06$ sedang, $0{,}14$ besar — jadi 0,15 tergolong besar.

Memadukan Signifikansi dan Besar Efek

Inilah inti praktisnya. Selalu baca dua angka bersama: p-value (apakah nyata) dan besar efek (apakah besar).

Baris terakhir adalah kisah pembuka: data raksasa membuat efek sepele tampak “sangat signifikan”. Dan baris keempat adalah kebalikannya — efek besar yang luput dinyatakan signifikan karena datanya kurang banyak; di sinilah analisis daya (power) berperan.

Cara Melaporkan

Dalam tulisan ilmiah modern, satu kalimat hasil sebaiknya memuat semuanya sekaligus. Contoh format yang lengkap:

Kelompok eksperimen rata-rata 80,2 (SD = 9,1); kelompok kontrol rata-rata 75,3 (SD = 8,7). Uji-t Welch $t(57{,}4) = 2{,}18$; $p = 0{,}033$; Cohen’s $d = 0{,}55$ (95% SK: 0,05–1,05), besar efek sedang.

Komponen yang sebaiknya ada: rata-rata tiap kelompok + simpangan bakunya, statistik uji + derajat kebebasan, p-value, lalu besar efek beserta selang kepercayaan 95% dan sebutan kualitatifnya. Selang kepercayaan menunjukkan seberapa presisi taksiran besar efek itu.

Cek Pemahaman

1. Dua kelompok kecil diukur. Kelompok X: 10, 12, 14. Kelompok Y: 16, 18, 20. Tiap kelompok punya simpangan baku $s = 2$. Hitung Cohen’s d dari nol.

Lihat jawaban

Rata-rata: $\bar{x}_X = (10+12+14)/3 = 12$, $\bar{x}_Y = (16+18+20)/3 = 18$. Selisihnya $12 - 18 = -6$.

Simpangan baku gabungan: kedua varians $s^2 = 2^2 = 4$, dan $n_1 = n_2 = 3$, jadi

$$s_{\text{gab}} = \sqrt{\frac{(3-1)\cdot 4 + (3-1)\cdot 4}{3+3-2}} = \sqrt{\frac{8+8}{4}} = \sqrt{4} = 2.$$

Maka $d = \dfrac{12 - 18}{2} = -3{,}0$, jadi $|d| = 3{,}0$. Besar efek sangat besar (jauh di atas 0,8) — masuk akal, karena dua kelompok ini bahkan tidak punya satu nilai pun yang sama.

2. (Transfer) Seorang peneliti melaporkan: “Hubungan jam tidur dan nilai ujian signifikan, $p = 0{,}002$, $r = 0{,}12$.” Atasannya menyimpulkan hubungannya kuat. Apakah benar? Apa kira-kira yang membuat $p$ kecil padahal $r$ kecil?

Lihat jawaban

Tidak benar. $r = 0{,}12$ tergolong besar efek kecil — hubungannya lemah. Daya jelasnya pun tipis: $r^2 = 0{,}12^2 \approx 0{,}014$, hanya sekitar 1,4% keragaman nilai yang terkait jam tidur. P-value yang kecil ($0{,}002$) hampir pasti karena sampelnya besar: dengan cukup banyak data, korelasi selemah apa pun bisa lolos sebagai signifikan. Pelajarannya sama dengan kisah pembuka — signifikan bukan berarti besar. Yang benar: hubungannya nyata tapi lemah.

Kesalahan Umum

Melaporkan p-value tanpa besar efek. Pembaca tidak tahu apakah efeknya besar atau sepele. Banyak jurnal bereputasi langsung menolak naskah yang hanya melaporkan signifikansi. Laporkan keduanya.

Menyamakan signifikan dengan besar. “Signifikan” hanya berarti “sulit dijelaskan oleh kebetulan”, bukan “besar”. Dengan sampel raksasa, beda sepele pun bisa signifikan.

Menukar $r$ dengan $r^2$. $r = 0{,}5$ tidak sama dengan menjelaskan 50% keragaman — yang benar $r^2 = 0{,}25$, yaitu 25%. Daya jelas selalu lewat $r^2$.

Memakai patokan Cohen secara kaku. Angka 0,2 / 0,5 / 0,8 adalah pegangan kasar lintas-bidang, bukan hukum. Di bidang dengan efek yang biasanya kecil, $d = 0{,}3$ sudah berarti banyak; di bidang lain bisa sebaliknya. Selalu pertimbangkan konteks.

Lupa selang kepercayaan untuk besar efek. Taksiran besar efek dari satu sampel punya ketidakpastian. Selang kepercayaan 95% menunjukkan seberapa lebar kemungkinan nilai sebenarnya — $d = 0{,}55$ dengan selang 0,05–1,05 jauh kurang meyakinkan daripada selang 0,50–0,60.

Dipakai di Dunia Nyata

• Penelitian klinis. Obat baru bisa menurunkan tekanan darah secara “signifikan”, tetapi kalau Cohen’s d-nya kecil, penurunannya mungkin tak berarti klinis. Regulator menuntut besar efek, bukan sekadar p-value.
• Pendidikan. Metode mengajar dibandingkan lewat Cohen’s d nilai siswa; intervensi dengan $d$ besar layak diadopsi luas, yang $d$-nya tipis belum tentu sepadan biayanya.
• Meta-analisis. Ratusan studi digabung dengan menyatukan besar efeknya (yang tanpa satuan, jadi bisa dijumlahkan), bukan p-value-nya — inilah tulang punggung sintesis bukti modern.
• Psikologi dan krisis replikasi. Sejak reformasi pelaporan statistik, besar efek + selang kepercayaan jadi standar wajib agar temuan bisa diuji ulang dan dibandingkan antar-laboratorium.

Lanjutan

• Balik ke Uji hipotesis — pasangan wajib besar efek; di sanalah p-value dan signifikansi dijelaskan.
• Lanjut ke Analisis daya (power) — besar efek adalah bahan masukan utamanya: makin besar efek yang ingin dideteksi, makin sedikit data yang dibutuhkan.
• Pelajari Selang kepercayaan — cara menyatakan rentang ketidakpastian untuk besar efek.
• Untuk korelasi dan $r$ lebih dalam, lihat materi regresi linear sederhana.