Factor Analysis dan Linear Discriminant Learning

Pembelajaran Dalam dan Pembelajaran Mesin

RPS minggu 4 · 2x50 menit

Mereduksi puluhan variabel jadi beberapa faktor tersembunyi, lalu memisahkan kelompok data secara optimal

Agenda & Tujuan Pembelajaran

Agenda Hari Ini

Recap singkat: PCA, SVD, ICA (minggu 2-3)
Topik 1 — Factor Analysis: konsep, model, ekstraksi, rotasi
Topik 2 — Linear Discriminant Analysis: konsep, model, klasifikasi
Studi kasus bisnis digital & latihan mandiri

Sub-CPMK Minggu 4

Menjelaskan konsep & model matematis Factor Analysis
Menentukan jumlah faktor & menginterpretasi loading
Menjelaskan konsep Linear Discriminant Analysis
Membedakan tujuan LDA (klasifikasi) vs PCA/FA (reduksi)

Recap: Dari PCA Menuju Factor Analysis

Minggu 2

PCA/SVD: mencari kombinasi linear variabel yang memaksimalkan variansi — arah penyebaran data terbesar.

Minggu 3

ICA: memisahkan sinyal campuran menjadi komponen yang saling independen secara statistik.

Minggu 4 (Hari Ini)

Factor Analysis: mencari faktor laten yang menjelaskan korelasi antar-variabel. LDA: mencari arah yang memisahkan kelompok.

Benang merah: PCA/SVD/ICA/FA semuanya unsupervised (tanpa label kelompok) — kecuali LDA yang supervised karena butuh label kelompok sejak awal.

Topik 1

Factor Analysis

Menemukan faktor tersembunyi di balik korelasi banyak variabel

Apa Itu Factor Analysis?

Teknik statistik untuk meringkas banyak variabel terukur menjadi sedikit faktor laten (variabel tersembunyi yang tidak diukur langsung) yang menjelaskan pola korelasi di antara variabel tersebut.

Contoh Kasus

20 pertanyaan survei kepuasan pengguna Tokopedia
Diringkas menjadi 3 faktor: Kepercayaan, Kemudahan Penggunaan, Layanan Pengiriman

Beda dengan PCA

PCA: meringkas variansi total, tanpa asumsi sebab-akibat
FA: berasumsi faktor laten menyebabkan korelasi variabel teramati (model kausal terbalik)

Model Matematis Factor Analysis

Xᵢ = λᵢ₁F₁ + λᵢ₂F₂ + ... + λᵢᶍFᶍ + εᵢ

Komponen Model

Xᵢ: variabel teramati ke-i (mis. skor pertanyaan survei)
F: faktor laten bersama (common factor)
λ (loading): kekuatan hubungan variabel-faktor
εᵢ: unique error (variansi khusus variabel itu)

Asumsi & Uji Kelayakan Data

Sebelum menjalankan Factor Analysis, data harus lolos dua uji kelayakan berikut.

KMO (Kaiser-Meyer-Olkin)

Mengukur kecukupan sampel & kekuatan korelasi antar-variabel
Nilai 0-1; ≥ 0,60 dianggap layak untuk FA
Contoh: survei kepuasan e-commerce dengan KMO 0,82 → sangat layak

Bartlett's Test of Sphericity

Menguji apakah matriks korelasi berbeda signifikan dari matriks identitas
Signifikan (p < 0,05) → variabel cukup berkorelasi untuk direduksi
Kalau tidak signifikan, FA tidak disarankan — variabel sudah "independen"

Analogi: KMO & Bartlett seperti cek kesehatan sebelum operasi — kalau data tidak layak, hasil Factor Analysis bisa menyesatkan.

Hitung dari Nol #1: Communality Variabel

Variabel "Kepuasan Layanan" punya loading λ₁=0,75 pada Faktor 1 dan λ₂=0,40 pada Faktor 2. Berapa communality (h²) dan uniqueness-nya?

Langkah	Perhitungan	Nilai
1. Kontribusi Faktor 1	0,75²	0,5625
2. Kontribusi Faktor 2	0,40²	0,16
3. Communality (h²)	0,5625 + 0,16	0,7225
4. Uniqueness (variansi unik)	1 - 0,7225	0,2775

Communality h²

0,7225

72,25% variansi variabel "Kepuasan Layanan" dijelaskan kedua faktor bersama; sisanya 27,75% bersifat unik/error.

Coba Sendiri: Hitung Communality Variabel Anda

Geser nilai loading sebuah variabel pada tiap faktor, amati bagaimana communality dan uniqueness berubah secara langsung.

Metode Ekstraksi Faktor

Principal Axis Factoring (PAF)

Mirip PCA, tapi memakai estimasi communality (bukan variansi total 1,0)
Iteratif: perkirakan communality → ekstrak faktor → perbarui communality
Paling umum dipakai di riset pemasaran & sosial

Maximum Likelihood (ML)

Mencari parameter faktor yang paling mungkin menghasilkan data teramati
Memungkinkan uji signifikansi statistik (goodness-of-fit)
Butuh asumsi data berdistribusi normal multivariat

Kedua metode ini adalah "mesin" yang mengekstrak faktor dari matriks korelasi; hasil akhirnya tetap perlu ditentukan jumlah faktornya (slide berikutnya) sebelum diinterpretasi.

Menentukan Jumlah Faktor

Kaiser Criterion

Pertahankan faktor dengan eigenvalue > 1
Logika: faktor harus menjelaskan variansi lebih besar dari satu variabel tunggal
Cepat, tapi bisa terlalu banyak faktor pada data besar

Praktik terbaik: gabungkan Kaiser Criterion + Scree Plot + interpretabilitas (apakah faktornya masuk akal secara bisnis) — jangan hanya andalkan satu kriteria angka.

Coba Sendiri: Uji Eigenvalue dan Scree Plot

Ubah eigenvalue tiap faktor pada dataset simulasi, amati bagaimana Kaiser Criterion dan bentuk scree plot menentukan jumlah faktor yang dipertahankan.

Rotasi Faktor: Mempertajam Interpretasi

Rotasi tidak mengubah jumlah variansi yang dijelaskan, hanya mempertegas struktur loading agar lebih mudah diinterpretasi.

Walkthrough A — Varimax (Orthogonal)

Langkah 1: Sebelum rotasi, Variabel X1 punya loading medium di Faktor 1 (0,55) dan Faktor 2 (0,50) — ambigu
Langkah 2: Varimax memutar sumbu faktor 90° sambil menjaga faktor tetap tidak berkorelasi
Hasil: X1 kini loading tinggi di Faktor 1 (0,85) & rendah di Faktor 2 (0,10) — jelas

Walkthrough B — Oblique (mis. Promax)

Langkah 1: Dipakai kalau faktor-faktor secara konsep memang saling berkorelasi
Langkah 2: Faktor dibiarkan miring (tidak tegak lurus) agar sesuai realitas data
Contoh: "Kepercayaan" & "Loyalitas" pelanggan Shopee wajar berkorelasi → pakai oblique

Rotasi faktor sering membingungkan karena terkesan seperti "mengakali" angka, padahal sebenarnya rotasi hanya mengubah sudut pandang kita terhadap faktor yang sama tanpa mengubah total variansi yang dijelaskan. Pada walkthrough Varimax, bayangkan sebelum rotasi sebuah variabel punya loading yang mirip di dua faktor sehingga sulit dikatakan variabel itu representasi faktor mana — setelah rotasi orthogonal, loadingnya menjadi jelas terkonsentrasi di satu faktor saja. Varimax cocok dipakai kalau kita berasumsi faktor-faktor itu independen satu sama lain, sedangkan rotasi oblique seperti Promax lebih realistis untuk kasus bisnis di mana faktor seperti kepercayaan dan loyalitas pelanggan Shopee memang secara alami saling berkorelasi, sehingga memaksakan mereka tegak lurus justru mendistorsi makna aslinya.

Interpretasi Loading & Studi Kasus

Item Survei	Faktor 1 (Kepercayaan)	Faktor 2 (Kemudahan)
Platform aman dari penipuan	0,88	0,12
Data pribadi terlindungi	0,81	0,15
Tampilan aplikasi intuitif	0,10	0,79
Proses checkout cepat	0,18	0,74

Aturan praktis: loading ≥ 0,50 dianggap "memuat kuat" ke suatu faktor. Item dengan loading kuat di satu faktor saja → interpretasi bersih dan siap diberi nama faktor.

Setelah rotasi selesai, langkah terakhir Factor Analysis adalah menamai faktor berdasarkan pola loading yang muncul — proses ini butuh penilaian substantif, bukan sekadar hitungan matematis. Perhatikan tabel ini dari studi kasus survei kepuasan pengguna sebuah aplikasi dompet digital: dua item pertama tentang keamanan dan perlindungan data memuat kuat ke Faktor 1, sehingga peneliti menamainya "Kepercayaan", sedangkan dua item berikutnya tentang tampilan dan kecepatan checkout memuat kuat ke Faktor 2 yang dinamai "Kemudahan Penggunaan". Aturan praktis loading di atas 0,50 membantu kita memutuskan item mana yang benar-benar merepresentasikan sebuah faktor. Diskusikan dengan rekan sebangku: menurut Anda, faktor mana yang paling penting untuk ditingkatkan agar retensi pengguna aplikasi tersebut naik?

Topik 2

Linear Discriminant Analysis

Mencari arah proyeksi terbaik untuk memisahkan kelompok data

Apa Itu Linear Discriminant Analysis?

Teknik supervised yang mencari kombinasi linear variabel untuk memaksimalkan pemisahan antar-kelompok yang sudah diketahui labelnya.

Dua Tujuan Sekaligus

Maksimalkan jarak antar-kelompok (between-class)
Minimalkan sebaran dalam kelompok (within-class)

Contoh Kasus Bisnis Digital

Klasifikasi nasabah: kredit lancar vs macet (skoring bank)
Deteksi fraud transaksi e-commerce: normal vs mencurigakan
Segmentasi pelanggan: churn vs loyal

Linear Discriminant Analysis pertama kali dikembangkan oleh Ronald Fisher pada 1936 untuk mengklasifikasikan spesies bunga, namun prinsipnya sangat relevan untuk bisnis digital modern. Inti dari LDA adalah mencari satu arah proyeksi terbaik yang secara simultan memaksimalkan jarak rata-rata antar-kelompok sekaligus meminimalkan variasi di dalam masing-masing kelompok — bayangkan seperti mencari sudut pandang terbaik untuk memotret dua kerumunan orang agar terlihat jelas terpisah, bukan bertumpuk. Di industri perbankan, LDA banyak dipakai untuk credit scoring, memisahkan nasabah berisiko rendah dan tinggi berdasarkan variabel seperti rasio utang dan riwayat pembayaran. Di e-commerce, teknik serupa dipakai tim fraud detection Tokopedia atau Shopee untuk memisahkan transaksi normal dari yang mencurigakan.

Coba Sendiri: Cari Arah Proyeksi Terbaik LDA

Putar arah proyeksi pada dua kelompok data, amati kapan pemisahan antar-kelompok paling jelas sekaligus sebaran dalam kelompok paling rapat.

LDA vs PCA vs Factor Analysis

Aspek	PCA / SVD	Factor Analysis	LDA
Jenis	Unsupervised	Unsupervised	Supervised
Butuh label kelompok?	Tidak	Tidak	Ya
Tujuan utama	Maksimalkan variansi total	Jelaskan korelasi via faktor laten	Maksimalkan pemisahan kelompok
Output	Komponen utama	Faktor bermakna	Fungsi diskriminan

Pengingat penting: ketiganya sama-sama mereduksi dimensi secara matematis, tapi hanya LDA yang "tahu" jawaban benar (label kelompok) selama proses berlangsung.

Model Matematis LDA

Within-Class Scatter (S𝑤)

Mengukur seberapa tersebar data di dalam masing-masing kelompok terhadap rata-ratanya sendiri. Semakin kecil, semakin rapat kelompoknya.

Between-Class Scatter (S𝑏)

Mengukur seberapa jauh rata-rata antar-kelompok satu sama lain. Semakin besar, semakin terpisah kelompoknya.

Maksimalkan: J(w) = (wᵀS𝑏w) ÷ (wᵀS𝑤w)

Fisher's Criterion: cari vektor arah w yang membuat rasio "pemisahan antar-kelompok" terhadap "sebaran dalam kelompok" setinggi mungkin — itulah fungsi diskriminan.

Hitung dari Nol #2: Klasifikasi Nasabah dengan LDA Sederhana

Data historis rasio utang (DER) bank: rata-rata nasabah Lancar = 30, rata-rata nasabah Macet = 60. Nasabah baru punya DER = 50. Klasifikasi ke mana?

Langkah	Perhitungan	Nilai
1. Rata-rata grup Lancar (μ₁)	diketahui dari data historis	30
2. Rata-rata grup Macet (μ₂)	diketahui dari data historis	60
3. Titik potong (cutoff)	(30 + 60) ÷ 2	45
4. Bandingkan nasabah baru	DER 50 > cutoff 45 → lebih dekat ke Macet	Klasifikasi: Macet

Keputusan LDA

Berisiko

Nasabah dengan DER 50 diklasifikasikan mendekati kelompok Macet karena berada di atas titik potong 45 — perlu mitigasi risiko tambahan.

Contoh ini sengaja disederhanakan menjadi satu variabel saja, yaitu rasio utang terhadap ekuitas atau DER, agar logika LDA mudah dipahami tanpa terjebak aljabar matriks. Dari data historis, rata-rata DER nasabah yang pembayarannya lancar adalah 30, sedangkan rata-rata nasabah yang macet adalah 60 — dua angka ini menjadi pusat masing-masing kelompok. Titik potong sederhana kita ambil di tengah-tengah keduanya, yaitu 45, sebagai batas keputusan. Ketika nasabah baru datang dengan DER 50, angka ini berada di atas titik potong 45 dan lebih dekat ke rata-rata kelompok macet, sehingga LDA mengklasifikasikannya sebagai berisiko dan bank sebaiknya menambahkan mitigasi seperti jaminan tambahan atau bunga yang disesuaikan. Pada kasus riil dengan banyak variabel, LDA menghitung fungsi diskriminan yang jauh lebih kompleks, namun logika dasarnya sama persis dengan yang baru kita hitung.

Coba Sendiri: Klasifikasikan Nasabah dengan LDA

Ubah rata-rata DER kelompok Lancar dan Macet serta DER nasabah baru, amati bagaimana titik potong dan hasil klasifikasi berubah.

Studi Kasus: Segmentasi Risiko Kredit Bank Digital

Penerapan Nyata

Fintech P2P lending pakai variabel: DER, riwayat telat bayar, jumlah pinjaman aktif
LDA hasilkan skor tunggal → dasar keputusan approve/reject otomatis
Bank besar (mis. BBCA) padukan LDA dengan model lanjutan (regresi logistik, decision tree — dibahas minggu 7 & 11)

Diagram di sebelah kiri menggambarkan bagaimana LDA bekerja secara visual: titik-titik bulat merepresentasikan nasabah lancar yang mengelompok di kiri, kotak-kotak merepresentasikan nasabah macet yang mengelompok di kanan, dan garis putus-putus adalah batas diskriminan yang memisahkan keduanya seoptimal mungkin. Dalam praktik industri fintech peer-to-peer lending di Indonesia, variabel yang dipakai jauh lebih banyak daripada satu, mencakup rasio utang, riwayat keterlambatan pembayaran, hingga jumlah pinjaman aktif nasabah di platform lain. Skor hasil LDA ini sering menjadi dasar sistem keputusan otomatis, approve atau reject, dalam hitungan detik. Menariknya, bank-bank besar biasanya tidak berhenti di LDA saja — mereka memadukannya dengan model yang lebih canggih seperti regresi logistik atau decision tree yang akan kita pelajari pada pertemuan 7 dan 11.

Topik 3

Sintesis: FA & LDA dalam Bisnis Digital

Kapan pakai yang mana, dan bagaimana keduanya saling melengkapi

Kapan Pakai Factor Analysis, Kapan Pakai LDA?

Kondisi	Gunakan	Contoh
Tidak ada label kelompok, ingin memahami struktur data	Factor Analysis	Meringkas survei kepuasan jadi dimensi laten
Sudah ada label kelompok, tujuan klasifikasi	LDA	Prediksi status kredit lancar/macet
Data berdimensi sangat tinggi sebelum klasifikasi	FA lalu LDA (berurutan)	Ringkas 50 indikator perilaku → klasifikasi churn

Alur pipeline umum di industri: Data mentah → Factor Analysis (reduksi) → LDA (klasifikasi) → Keputusan bisnis.

Latihan & Tugas Mandiri

Latihan di Kelas (Individu, 10 menit)

Variabel "Loyalitas Pelanggan" punya loading 0,60 (Faktor 1) & 0,55 (Faktor 2). Hitung communality & uniqueness-nya
Bandingkan dengan hasil communality "Kepuasan Layanan" (0,7225) — variabel mana yang faktornya lebih menjelaskan?

Tugas Mandiri (Dikumpulkan Minggu Depan)

Cari 1 dataset survei/keuangan publik (mis. data OJK, BPS, atau survei kepuasan platform digital)
Identifikasi ≥ 6 variabel yang berpotensi punya faktor laten
Tuliskan hipotesis: berapa faktor yang Anda perkirakan muncul, dan mengapa
Format: 1-2 halaman, cantumkan sumber data

Persiapan minggu depan: baca materi Klasifikasi Tipe Pembelajaran (Unsupervised, Supervised, Semi-supervised) — LDA hari ini adalah contoh pertama teknik supervised yang akan kita perdalam.

Latihan di kelas ini dirancang agar Anda langsung mempraktikkan rumus communality yang baru saja dipelajari, tanpa bergantung pada kalkulator canggih — cukup pena dan kalkulator sederhana di ponsel Anda. Silakan kerjakan sendiri dahulu selama sepuluh menit, baru kita bahas bersama-sama, dan jangan ragu bertanya kalau ada langkah yang membingungkan. Untuk tugas mandiri, saya sengaja meminta Anda mencari data publik seperti dari OJK atau BPS supaya Anda terbiasa bekerja dengan data riil Indonesia, bukan data buatan yang terlalu rapi. Sebagai jembatan ke pertemuan berikutnya, LDA yang baru kita pelajari adalah pintu masuk pertama Anda ke dunia supervised learning, dan minggu depan kita akan mempelajari taksonomi lengkap unsupervised, supervised, dan semi-supervised learning yang akan menjadi peta besar untuk sisa semester ini.