Etika dan Bias dalam AI

Mengidentifikasi dan menganalisis risiko etis, bias, privasi, dan explainability dalam penerapan AI bisnis

Kecerdasan Buatan Pertemuan 12 dari 14 CPL2 · CPL4 · CPL6

Agenda Pertemuan 12

Teori & Konsep

Sumber bias dalam data dan algoritma AI
Jenis-jenis bias: historical, representation, measurement, aggregation
Masalah privasi dan surveillance berbasis AI
Explainability dan transparansi model (XAI)

Aplikasi & Praktik

Kasus bias AI di perbankan, HR, dan e-commerce Indonesia
Regulasi AI dan perlindungan data (UU PDP)
Framework mitigasi risiko etis
Latihan: audit risiko etis skenario bisnis

Fokus Utama: Mengidentifikasi dan menganalisis risiko etis, bias, dan privasi dalam skenario penerapan AI bisnis (Sub-CPMK 12, C4 — level analisis).

Tujuan Pembelajaran

Setelah pertemuan ini, mahasiswa mampu:

Kognitif (C4 — Analisis)

Mengidentifikasi sumber bias dalam data training dan desain algoritma AI
Menganalisis risiko privasi dari sistem AI berbasis data pengguna
Menjelaskan pentingnya explainability (XAI) dalam konteks bisnis dan regulasi

Aplikatif

Mengevaluasi risiko etis dalam skenario implementasi AI bisnis
Merumuskan langkah mitigasi risiko etis yang actionable untuk manajer
Menghubungkan prinsip AI yang bertanggung jawab dengan regulasi Indonesia

Sub-CPMK 12 CPMK-5 CPL2 · CPL6

Topik 1

Sumber Bias dalam Data & Algoritma

Dari mana bias masuk, dan mengapa berbahaya untuk bisnis?

Empat Sumber Bias dalam AI

1. Historical Bias

Data training mencerminkan ketidaksetaraan masa lalu. AI "belajar" diskriminasi dari pola historis yang memang diskriminatif.

Contoh: Model credit scoring BRI yang terlatih data historis — jika UMKM perempuan secara historis kurang mendapat kredit, model memprediksi mereka lebih berisiko meski sebenarnya tidak.

2. Representation Bias

Data training tidak mewakili populasi target secara proporsional. Kelompok minoritas "tidak terlihat" oleh model.

Contoh: Sistem pengenalan wajah Telkom yang terlatih mayoritas wajah urban dan berkulit terang — akurasi rendah untuk pengguna rural atau kulit gelap.

3. Measurement Bias

Cara pengukuran variabel tidak netral — proxy variable menanggung asumsi tersembunyi tentang kelompok tertentu.

Contoh: Sistem rekrutmen Gojek menggunakan "kecepatan respons WhatsApp" sebagai proxy produktivitas — bias terhadap driver yang tidak punya akses internet stabil.

4. Aggregation Bias

Model dilatih atas data agregat, padahal kelompok berbeda memiliki pola berbeda. Satu model untuk semua = tidak adil untuk sebagian.

Contoh: Model rekomendasi Tokopedia yang dioptimasi untuk pengguna Jakarta — akurasi rekomendasi rendah untuk pengguna di Kalimantan atau Papua.

Dampak Bias AI: Risiko Nyata bagi Bisnis

Domain	Bentuk Bias	Dampak Bisnis	Contoh Indonesia
Perbankan / Fintech	Credit scoring mendiskriminasi UMKM mikro dan perempuan	Exclusion finansial, reputasi negatif, risiko OJK	Model scoring BRImo salah klasifikasi debitur UMKM pedesaan
Rekrutmen / HR	Resume screening bias gender, universitas, nama	Kehilangan talent, class action, citra perusahaan	AI HR perusahaan konglomerat reject kandidat dari kampus non-top tanpa alasan kualitas
E-Commerce	Rekomendasi bias produk mahal / merek tertentu	Kepercayaan konsumen turun, churn rate naik	Sistem rekomendasi Tokopedia over-promote seller besar, menekan UMKM
Layanan Publik	Chatbot AI tidak mengenali dialek atau bahasa daerah	Eksklusif, tidak inklusif, melanggar prinsip layanan publik	Chatbot layanan Dukcapil gagal memahami pertanyaan dalam Bahasa Jawa atau Bugis
Pemasaran	Targeting iklan bias demografis (ras, gender, usia)	Pelanggaran UU PDP, denda, class action	Platform iklan digital targeting "laki-laki 25-40" untuk lowongan kerja teknik

Kunci Manajerial: Bias AI bukan hanya masalah etika — ini adalah risiko bisnis konkret: reputasi, regulasi, litigasi, dan kehilangan pasar.

Siklus Bias: Bagaimana Bias Menguat Sendiri

Data Historis

Bias masa lalu sudah ada di data

→

Model Dilatih

Algoritma mempelajari pola bias

→

Prediksi Bias

Keputusan sistematis mendiskriminasi

→

Outcome Tidak Adil

Kelompok tertentu terus dirugikan

→

Data Baru Bias

Feedback loop menguat bias

Feedback Loop Berbahaya: AI yang bias menghasilkan keputusan yang bias → menciptakan data baru yang lebih bias → model retrained menjadi semakin bias. Tanpa intervensi aktif, bias AI menguat sendiri seiring waktu.

Topik 2

Privasi & Surveillance

Risiko privasi di balik AI yang serba tahu

AI dan Ancaman Privasi: Dimensi Kunci

Pengumpulan Data Berlebihan (Data Overreach)

AI butuh data — tapi banyak sistem mengumpulkan lebih dari yang diperlukan. Prinsip data minimization: kumpulkan hanya yang benar-benar dibutuhkan untuk tujuan spesifik.

BCA mobile banking: apakah perlu akses kontak dan kamera untuk transfer?
Aplikasi pinjol: akses galeri, SMS, dan kontak untuk scoring kredit?
Chatbot layanan publik: apakah perlu simpan riwayat percakapan selamanya?

Surveillance dan Inferensi Tersembunyi

AI dapat menginferensi informasi sensitif dari data yang tampaknya tidak berbahaya. Ini yang disebut "surveillance capitalism".

Dari pola transaksi Tokopedia: inferensi status kesehatan, kehamilan, orientasi
Dari rute Gojek: inferensi tempat ibadah, konsultasi medis, aktivitas politik
Dari pola penggunaan BRImo: inferensi kondisi finansial, kebiasaan judi

UU PDP Indonesia (UU No. 27 Tahun 2022): Data pribadi sensitif (kesehatan, agama, orientasi seksual, data keuangan) membutuhkan persetujuan eksplisit. Pelanggaran: pidana hingga 6 tahun dan denda hingga Rp 6 miliar.

Kerangka Regulasi: UU PDP dan Implikasinya

Prinsip UU PDP	Kewajiban Perusahaan	Implikasi AI
Lawfulness & Purpose Limitation	Data dikumpulkan untuk tujuan sah dan spesifik	AI tidak boleh menggunakan data untuk tujuan di luar yang disetujui pengguna saat mendaftar
Data Minimization	Kumpulkan hanya yang diperlukan	Feature engineering AI harus dievaluasi: apakah variabel ini benar-benar perlu?
Accuracy	Data akurat dan ter-update	Model AI yang mengandalkan data usang bisa salah klasifikasi dan melanggar prinsip ini
Storage Limitation	Tidak menyimpan data lebih lama dari perlu	Training data dan log inferensi AI harus memiliki retention policy yang jelas
Security	Enkripsi, akses kontrol, audit trail	Model AI dan data training harus diamankan dari akses tidak sah
Accountability	Ada Data Protection Officer (DPO)	DPO bertanggung jawab atas dampak AI terhadap privasi pengguna — wajib ada di perusahaan skala tertentu

Topik 3

Explainability Model AI (XAI)

Mengapa AI harus bisa "menjelaskan diri"?

Black Box vs. Explainable AI

Black Box AI

"Akurat, tapi tidak bisa dijelaskan"

Deep neural network, large language model, ensemble model
Akurasi tinggi pada data besar
Proses internal tidak dapat diinterpretasi manusia
Sulit diaudit untuk bias atau error
Sulit dipertahankan di hadapan regulator atau pengadilan

Risk: tidak akuntabel, tidak bisa diaudit

Explainable AI (XAI)

"Cukup akurat, dan bisa dijelaskan"

Decision tree, logistic regression, linear model — interpretable by design
Post-hoc methods: SHAP, LIME, GRAD-CAM untuk model kompleks
Output bisa dijelaskan ke pengguna dan regulator
Lebih mudah diaudit untuk bias dan error
Dapat dipertahankan dalam konteks keputusan kritis (kredit, medis, hukum)

Goal: akuntabilitas + kepercayaan

Trade-off Kunci: Model paling akurat seringkali paling sulit dijelaskan. Manajer harus memilih secara sadar: apakah domain ini membutuhkan explainability (kredit, HR, kesehatan, hukum) atau apakah akurasi lebih penting (rekomendasi konten, deteksi spam)?

XAI dalam Praktik: Mengapa Ini Penting untuk Manajer

Kepatuhan Regulasi

OJK, BI, dan UU PDP mensyaratkan justifikasi keputusan AI dalam domain keuangan dan data pribadi. Model harus bisa "berbicara" ke regulator.

Kepercayaan Pengguna

Pengguna yang memahami "mengapa AI merekomendasikan ini" lebih percaya dan lebih loyal. Opasitas menimbulkan kecurigaan dan churn.

Deteksi Error & Bias

Model yang bisa dijelaskan memudahkan identifikasi error dan bias. Black box membuat debugging hampir mustahil tanpa interpretability tools.

Contoh XAI dalam Praktik Indonesia

Perusahaan / Instansi	Keputusan AI	Kebutuhan Explainability
BCA / BRImo	Penolakan atau persetujuan kredit digital	Nasabah berhak tahu faktor penolakan; OJK wajibkan alasan
Gojek (rekrutmen driver)	Deactivation akun mitra driver	Driver berhak tahu mengapa dinonaktifkan; ini berkaitan hak kerja
Kemenkes / RS	Triase pasien berbasis AI	Dokter harus bisa override dan memahami rekomendasi — keselamatan jiwa

Topik 4

Mitigasi Risiko Etis dalam AI

Framework dan tindakan konkret untuk manajer bisnis

Framework Mitigasi Risiko Etis AI

Fase 1: Sebelum Membangun (Pre-Development)

Ethical Impact Assessment: Identifikasi siapa yang terdampak dan bagaimana
Diverse team: Tim data science yang beragam (gender, latar belakang, lokasi)
Data audit: Periksa distribusi dan representasi data training
Define fairness criteria: Apa definisi "adil" untuk use case ini?

Fase 2: Selama Membangun (Development)

Fairness constraints: Tambahkan constraint keadilan dalam loss function model
Bias testing per subgroup: Ukur performa model untuk setiap kelompok demografis
XAI by design: Pilih model yang interpretable bila stakes tinggi
Privacy-preserving ML: Differential privacy, federated learning bila memungkinkan

Fase 3: Setelah Deploy (Post-Deployment)

Continuous monitoring: Pantau drift performa dan disparitas antar kelompok
Grievance mechanism: Buat jalur banding yang jelas untuk pengguna yang dirugikan
Regular audit: Audit independen terhadap sistem AI setiap 6-12 bulan
Human override: Selalu sediakan opsi manusia untuk keputusan kritis

Fase 4: Tata Kelola Berkelanjutan

AI Ethics Committee: Komite lintas fungsi (hukum, bisnis, teknik, etika)
Model cards: Dokumentasi tujuan, batasan, dan potensi bias model
Transparency report: Laporan publik tentang penggunaan AI perusahaan
DPO (Data Protection Officer): Wajib sesuai UU PDP untuk perusahaan besar

Latihan: Audit Risiko Etis Skenario AI

Skenario: PT Reksa Talenta — Sistem AI Rekrutmen

PT Reksa Talenta, perusahaan e-commerce Indonesia, baru mengimplementasikan sistem AI untuk menyaring 5.000+ lamaran per bulan. Sistem:

Dilatih dari data 3 tahun hiring historis (80% karyawan saat ini adalah laki-laki lulusan UI/UGM/ITB, usia 22–28)
Menggunakan variabel: nama universitas, IPK, kecepatan pengisian form online, dan analisis CV berbasis NLP
Output: skor 0–100; skor di atas 65 lolos ke tahap wawancara manusia
Tidak ada mekanisme banding; keputusan sistem bersifat final di tahap ini
Belum ada audit independen; sistem belum dibagikan ke tim HR non-teknis

Dimensi Risiko	Identifikasi Masalah	Rekomendasi Mitigasi
Bias (jenis apa?)	?	?
Privasi (UU PDP)	?	?
Explainability	?	?
Fairness	?	?

Waktu: 12 menit diskusi kelompok (3–4 orang). Presentasikan: jenis bias, risiko privasi, kebutuhan XAI, dan 2 rekomendasi mitigasi paling prioritas.

Lima Prinsip AI yang Bertanggung Jawab

⚖️

Fairness

AI tidak boleh mendiskriminasi berdasarkan ras, gender, agama, usia, atau kelompok terproteksi lain. Fairness diukur, bukan diasumsikan.

🔍

Transparency

Pengguna tahu bahwa mereka berinteraksi dengan AI dan data apa yang digunakan. Proses pengambilan keputusan tidak disembunyikan.

🛡️

Privacy

Data pribadi dikumpulkan minimum, digunakan sesuai persetujuan, dan dilindungi dari penyalahgunaan. Sesuai UU PDP.

🧾

Accountability

Ada individu atau entitas yang bertanggung jawab atas keputusan AI. Mekanisme pertanggungjawaban jelas, bisa diaudit, dan ada jalur banding.

🦺

Safety & Reliability

AI bekerja sesuai yang diharapkan, tidak menghasilkan output berbahaya, dan memiliki mekanisme fail-safe. Uji sebelum deploy; monitor setelah deploy.

Referensi Global: EU AI Act (2024), NIST AI Risk Management Framework, dan pedoman OJK tentang inovasi keuangan berbasis teknologi semuanya mengacu pada lima prinsip ini.

Perbandingan Pendekatan Etika AI: Global vs. Indonesia

Dimensi	EU (AI Act 2024)	AS (NIST RMF)	Indonesia (UU PDP + OJK)
Pendekatan	Risk-based: klasifikasi AI berdasarkan risiko (unacceptable/high/limited/minimal)	Voluntary framework, fokus pada risk management	Regulasi sektoral; belum ada UU AI khusus
Kewajiban Utama	High-risk AI wajib conformity assessment, XAI, human oversight	Identify, govern, map, measure, manage AI risk	Data minimization, persetujuan, DPO untuk perusahaan besar
Sanksi	Hingga €35 juta atau 7% global turnover	Tidak ada sanksi federal langsung	Pidana 6 tahun, denda Rp 6 miliar
Relevansi untuk Bisnis Indonesia	Wajib patuhi bila beroperasi di EU atau partner EU	Best practice referensi; berguna untuk pitch ke investor AS	Wajib patuhi; OJK tambahkan layer untuk fintech

Implikasi Strategis: Perusahaan Indonesia yang berorientasi global perlu mempersiapkan kepatuhan multi-yurisdiksi. Mulai dari UU PDP sebagai baseline, lalu adaptasi untuk EU AI Act bila ada operasi di Eropa.

Rangkuman Pertemuan 12

Konsep Utama

Bias AI: 4 sumber — historical, representation, measurement, aggregation; bersifat self-reinforcing
Privasi: Data overreach, inferensi tersembunyi; UU PDP No. 27/2022 — hukum positif
XAI: Trade-off akurasi vs interpretabilitas; diperlukan untuk domain stakes tinggi
Mitigasi: Framework 4 fase — pre-dev, dev, post-deploy, governance

Kewajiban Manajer

Audit risiko etis sebelum implementasi AI — bukan setelah ada masalah
Pastikan kepatuhan UU PDP: persetujuan eksplisit, data minimization, DPO
Pilih model yang cukup explainable untuk domain yang Anda operasikan
Bangun mekanisme human override untuk setiap keputusan AI kritis

"AI is not neutral. Every algorithm embeds the values of the people who built it."
— Kate Crawford, Atlas of AI (2021)

Tugas & Preview Pertemuan 13

Tugas Individu (Deadline: Pertemuan 13)

Audit Risiko Etis AI:

Pilih satu perusahaan Indonesia yang menggunakan AI (perbankan, e-commerce, atau ride-hailing)
Identifikasi minimal 2 potensi risiko etis dari sistem AI-nya (bias, privasi, atau explainability)
Jelaskan mengapa risiko itu ada — hubungkan ke sumber bias atau UU PDP
Rumuskan 3 rekomendasi mitigasi konkret yang bisa dilakukan manajer
Format: 2 halaman, PDF, font 12pt, referensi minimal 2 sumber

Bobot: 5% | Kriteria: Rubrik Analitik (identifikasi, analisis, rekomendasi)

Referensi Wajib

Iansiti, M., & Lakhani, K. R. (2020). Competing in the Age of AI. Ch. 9. HBR Press.
Almeida, I. (2024). AI Fundamentals for Business Leaders. Ch. 8–9. Now Next Later.
Farri, E., & Rosani, G. (2025). HBR Guide to Generative AI for Managers. Ch. 6. HBR Press.

Preview Pertemuan 13: Strategi AI Tingkat Perusahaan

Roadmap implementasi AI dari proof-of-concept ke skala penuh
Build vs. Buy vs. Partner untuk infrastruktur AI
Sub-CPMK 13: merumuskan strategi AI tingkat perusahaan

Kecerdasan Buatan · PEBD6026 · Program Studi S1 Bisnis Digital
Fakultas Ekonomika dan Bisnis · Universitas Diponegoro