Tata Kelola AI yang Bertanggung Jawab

Merumuskan prinsip-prinsip AI Governance yang bertanggung jawab untuk organisasi — dari kerangka global hingga implementasi lokal

Kecerdasan Buatan Pertemuan 13 dari 14 CPL2 · CPL4 · CPL6

Agenda Pertemuan 13

Teori & Kerangka

Mengapa AI Governance penting sekarang?
Kerangka kerja Responsible AI: 7 pilar utama
Regulasi AI global: EU AI Act, NIST AI RMF, UNESCO
Lanskap regulasi AI di Indonesia

Aplikasi & Sintesis

Risiko AI tanpa governance: studi kasus nyata
Membangun kepercayaan publik terhadap AI
Komponen AI Governance Charter organisasi
Workshop: rumuskan 5 prinsip AI Governance

Fokus Utama: Sub-CPMK 13 (C6) — Mahasiswa mampu merumuskan draf prinsip-prinsip tata kelola AI yang bertanggung jawab untuk sebuah organisasi. Level C6 = mencipta, bukan sekadar menghafal.

Mengapa AI Governance Mendesak Sekarang?

Risiko Skala Masif

AI mengambil keputusan tentang kredit, rekrutmen, kesehatan, hukum — dengan skala jutaan orang per hari.

Regulasi Global Bergerak

EU AI Act (2024) sudah berlaku. Amerika, China, Inggris sedang susun regulasi. Indonesia menyusul.

Kepercayaan = Aset Bisnis

Pengguna yang tidak percaya AI organisasi = churn, boikot, reputasi rusak. Trust itu tidak gratis.

Konteks Indonesia: BCA, BRI, dan Gojek sudah menjadi target tuntutan publik terkait AI — mulai dari bias dalam credit scoring hingga privasi data. Tanpa governance yang jelas, risiko regulasi dan reputasi hanya akan membesar.

Topik 1

Kerangka Kerja Responsible AI

Tujuh pilar yang membentuk AI yang bisa dipercaya

Tujuh Pilar Responsible AI

1. Fairness (Keadilan)

AI tidak mendiskriminasi berdasarkan ras, gender, agama, atau atribut sensitif lainnya. Model harus diuji bias sebelum deploy.

2. Transparency (Transparansi)

Pengguna tahu bahwa mereka berinteraksi dengan AI dan memahami dasar keputusan yang diambil sistem.

3. Explainability (Keterpahaman)

Keputusan AI dapat dijelaskan dalam bahasa yang dipahami manusia. "Kredit Anda ditolak karena..." bukan sekadar angka skor.

4. Privacy (Privasi)

Data individu dilindungi. Minimisasi pengumpulan data dan hak pengguna untuk menghapus datanya (right to be forgotten).

5. Safety & Reliability (Keamanan)

AI berperilaku seperti yang diharapkan dan tidak menimbulkan bahaya fisik, finansial, atau psikologis yang tidak dapat diterima.

6. Accountability (Akuntabilitas)

Ada pihak yang bertanggung jawab atas keputusan AI. Jika AI salah, siapa yang dimintai pertanggungjawaban?

7. Inclusivity (Inklusivitas)

AI dirancang untuk semua, termasuk kelompok marginal dan difabel. Tidak boleh memperlebar kesenjangan digital.

Responsible AI: Contoh Implementasi di Indonesia

Pilar	Pelanggaran (Contoh Risiko)	Praktik Baik (Best Practice)
Fairness	Credit scoring BRI menolak nasabah desa karena historis data minim, padahal secara perilaku keuangan baik	Uji disparate impact per segmen populasi; gunakan alternative data (tagihan pulsa, e-wallet) untuk underbanked
Transparency	Chatbot layanan publik Kominfo tidak mengungkapkan bahwa ia adalah AI, bukan manusia	Wajib disclosure "Anda sedang berinteraksi dengan AI"; logo atau badge AI di antarmuka
Explainability	Sistem rekomendasi Tokopedia mendorong produk tertentu tanpa penjelasan ke penjual kecil mengapa visibilitas mereka rendah	Dashboard penjual: "Visibilitas rendah karena: harga 15% di atas rata-rata kategori, rating <4.2, foto <3"
Privacy	Aplikasi fintech mengakses kontak HP pengguna untuk penagihan utang — melanggar UU PDP	Data minimization; hanya akses data yang diperlukan; enkripsi; audit log akses data
Accountability	Kecelakaan ojek daring — tidak jelas apakah tanggung jawab ada di algoritma matching atau pengemudi	AI Governance Charter mendefinisikan jelas: manusia tetap pengambil keputusan final di domain berisiko tinggi

Topik 2

Regulasi AI Global

EU AI Act, NIST AI RMF, dan lanskap regulasi Indonesia

EU AI Act: Regulasi AI Pertama di Dunia (2024)

Efektif Agustus 2024 — berlaku untuk siapa pun yang menyediakan atau menggunakan AI di pasar Uni Eropa, termasuk perusahaan non-EU yang melayani pengguna EU.

Klasifikasi Risiko AI (4 Tier)

Unacceptable Risk (DILARANG): Social scoring oleh pemerintah, manipulasi bawah sadar, pengenalan wajah real-time di ruang publik
High Risk: AI di kredit, rekrutmen, kesehatan, infrastruktur kritis — wajib conformity assessment, audit, human oversight
Limited Risk: Chatbot — wajib disclosure bahwa ini AI
Minimal Risk: Filter spam, rekomendasi konten — regulasi ringan

Kewajiban Utama untuk High-Risk AI

Risk management system yang terdokumentasi
Data governance yang ketat (training data harus relevan, representatif, bebas bias)
Transparency & logging — audit trail yang lengkap
Human oversight — manusia harus bisa override keputusan AI
Accuracy, robustness & cybersecurity testing

Denda: hingga €35 juta atau 7% global turnover

Lanskap Regulasi AI Global & Indonesia

Regulasi / Kerangka	Asal	Pendekatan	Status
EU AI Act	Uni Eropa	Risk-based, binding law, denda besar	Berlaku Agt 2024
NIST AI RMF	Amerika Serikat	Voluntary framework, 4 fungsi: Govern-Map-Measure-Manage	Aktif, widely adopted
UNESCO Recommendation on AI	Internasional	Nilai-nilai HAM, soft law, 193 negara anggota	Diadopsi Nov 2021
OECD AI Principles	Internasional	5 prinsip (inclusive growth, human-centered, transparent, robust, accountable)	Aktif, referensi utama
Strategi Nasional AI Indonesia	Indonesia (BRIN)	5 bidang prioritas: kesehatan, birokrasi, pendidikan, riset, ketahanan pangan	Dirilis 2020, sedang diperbarui
SE OJK No. 11/2022	Indonesia (OJK)	Prinsip kehati-hatian AI/ML di perbankan & fintech	Berlaku, wajib untuk LJK

Untuk Bisnis Indonesia: NIST AI RMF adalah kerangka paling praktis untuk mulai — voluntary, detail, tersedia gratis, dan kompatibel dengan ISO 42001 (standar manajemen AI). SE OJK No. 11/2022 wajib dipatuhi sektor keuangan.

Topik 3

Risiko & Kepercayaan Publik

Ketika AI gagal — dan bagaimana membangun trust

Ketika AI Gagal: Kasus Nyata

Kasus 1: COMPAS — Bias Prediksi Kriminal (AS)

COMPAS digunakan pengadilan AS untuk memprediksi risiko residivis. Investigasi ProPublica (2016) menemukan: terdakwa Afro-Amerika 2× lebih sering diprediksi berisiko tinggi secara keliru dibanding terdakwa kulit putih.

Pelajaran: Data historis yang bias → model yang bias → keputusan hukum yang tidak adil

Kasus 2: Amazon Hiring Tool — Bias Gender (Global)

Amazon membangun AI untuk screening CV (2014–2017). Model belajar dari data hiring historis yang didominasi pria di tech. Hasilnya: model secara sistematis mendowngrade CV yang mencantumkan "women's chess club" atau "women's university".

Pelajaran: Training data tidak netral → model tidak netral, meski tidak ada variabel gender eksplisit

Kasus 3: Deepfake & Misinformasi Indonesia

Menjelang Pemilu 2024, beredar deepfake video calon presiden dan tokoh publik yang menyebarkan informasi palsu. AI generatif digunakan untuk membuat konten manipulatif yang sangat realistis.

Pelajaran: AI sebagai alat penyalahgunaan — governance harus mencakup use case yang tidak terduga

Kasus 4: Fintech Predatory Lending Indonesia

Beberapa platform pinjaman online menggunakan AI untuk menarget pengguna rentan dengan pinjaman bunga sangat tinggi. Algoritma memanfaatkan pola perilaku untuk memaksimalkan konversi, bukan kesejahteraan nasabah.

Pelajaran: AI yang optimal untuk profit tidak selalu optimal untuk masyarakat

Membangun Kepercayaan Publik terhadap AI

Trust bukan dideklarasikan — trust dibuktikan. Perusahaan tidak bisa bilang "AI kami terpercaya" tanpa bukti konkret dari praktik, proses, dan kebijakan yang bisa diverifikasi.

Komunikasi Proaktif

Jelaskan bagaimana AI bekerja, bukan hanya apa yang dilakukan. Bahasa manusia, bukan jargon teknis.

Audit Independen

Undang pihak ketiga untuk mengaudit AI Anda secara berkala. Self-assessment tidak cukup membangun kepercayaan.

Mekanisme Banding

Pengguna yang dirugikan keputusan AI harus punya jalur untuk mengajukan keberatan dan mendapat respons dari manusia.

Contoh: BCA — Membangun Trust di BCA AI

BCA mempublikasikan kebijakan penggunaan AI di website, menyediakan hotline khusus untuk keberatan nasabah terkait keputusan AI, dan melakukan audit bias model credit scoring setiap kuartal bersama konsultan independen.

Contoh: Telkom Indonesia — AI Transparency Report

Telkom menerbitkan laporan tahunan tentang penggunaan AI dalam operasional, termasuk jenis data yang digunakan, keputusan yang didelegasikan ke AI, dan metrik fairness yang diukur per segmen pelanggan.

Topik 4

Menyusun AI Governance Charter

Dari prinsip abstrak ke kebijakan konkret organisasi

Komponen AI Governance Charter Organisasi

1. Deklarasi Nilai & Visi AI

Mengapa organisasi menggunakan AI, dan nilai-nilai apa yang tidak boleh dikompromikan. Contoh: "Kami menggunakan AI untuk meningkatkan layanan nasabah, tidak pernah untuk menggantikan empati manusia dalam situasi kritis."

2. Prinsip-Prinsip AI (AI Principles)

5–10 prinsip spesifik yang mengikat seluruh penggunaan AI. Bukan generic ("AI harus adil") tapi operasional ("Model tidak boleh menggunakan variabel zip code sebagai proxy ras").

3. Klasifikasi Risiko AI Internal

Kategorikan semua use case AI: mana yang high-risk (wajib review dewan), medium-risk (review manajer), low-risk (self-service). Mirip EU AI Act tapi disesuaikan konteks organisasi.

4. Struktur Governance

Siapa yang memutuskan tentang AI? Komite AI? Chief AI Officer? Peran dan tanggung jawab masing-masing. Jalur eskalasi jika ada insiden AI.

5. Proses Review & Audit

Pre-deployment checklist, post-deployment monitoring, audit berkala. Kapan model harus di-retrain atau ditarik dari produksi?

6. Hak Pengguna & Mekanisme Banding

Apa hak pengguna terkait keputusan AI yang mempengaruhi mereka? Bagaimana mereka mengajukan keberatan? Berapa lama respons?

Matriks Klasifikasi Risiko AI Internal

Setiap use case AI dalam organisasi Anda perlu diklasifikasikan sebelum pengembangan dimulai. Klasifikasi menentukan level review, dokumentasi, dan oversight yang diperlukan.

Level Risiko	Kriteria	Contoh Use Case	Persyaratan
Kritis	Berdampak signifikan pada hak, keselamatan, atau keuangan individu; tidak bisa di-override dengan mudah	Credit scoring, rekrutmen otomatis, triage medis, penegakan hukum	Wajib: audit independen, ethics board review, human final decision, uji bias komprehensif, monitoring real-time
Tinggi	Berdampak material pada pengalaman pengguna; keputusan dapat di-appeal	Rekomendasi produk berbobot tinggi, dynamic pricing signifikan, content moderation	Wajib: internal review, bias testing, mekanisme banding, monitoring bulanan
Sedang	Dampak terbatas dan reversible; pengguna bisa memilih opt-out	Rekomendasi konten, chatbot FAQ, klasifikasi dokumen internal	Dianjurkan: privacy assessment, user notification, monitoring kuartal
Rendah	Tidak berinteraksi langsung dengan pengguna; dampak minimal	Filter spam, otomatisasi laporan internal, deteksi anomali data	Standard: dokumentasi teknis, periodic review

Cara Menulis Prinsip AI yang Efektif

Prinsip yang Lemah (Generic)

"AI kami akan adil dan tidak diskriminatif"
"Kami menghormati privasi pengguna"
"AI kami akan transparan"
"Kami berkomitmen pada keamanan AI"
"Keputusan AI dapat dipertanggungjawabkan"

Tidak bisa diaudit, tidak mengikat, tidak actionable

Prinsip yang Kuat (Operasional)

"Setiap model yang mempengaruhi keputusan finansial nasabah wajib diuji disparate impact sebelum go-live dan setiap 6 bulan"
"Kami tidak menyimpan data biometrik pengguna lebih dari 90 hari tanpa consent eksplisit"
"Setiap keputusan AI yang merugikan pengguna wajib disertai penjelasan dalam Bahasa Indonesia yang dapat dipahami awam"
"Semua use case AI kelas Kritis wajib melalui review AI Ethics Committee sebelum deployment"
"Insiden AI serius wajib dilaporkan ke manajemen puncak dalam 24 jam"

Spesifik, terukur, dapat diverifikasi

Formula Prinsip AI yang Baik: [Siapa] + [Tindakan spesifik] + [Kapan/kondisi] + [Ukuran keberhasilan atau mekanisme verifikasi]

Workshop: Rumuskan 5 Prinsip AI Governance

Skenario: Anda adalah Chief Digital Officer PT. MitraBank

PT. MitraBank adalah bank umum swasta Indonesia dengan ~5 juta nasabah. Bank sedang mengembangkan tiga inisiatif AI sekaligus:

BankBot: Chatbot layanan nasabah 24/7 yang menangani pertanyaan dan keluhan
SmartScore: Model credit scoring untuk KPR dan KTA, menggantikan proses manual
FraudShield: Sistem deteksi fraud real-time yang dapat membekukan rekening secara otomatis

#	Prinsip AI (tulis versi operasional)	Berlaku untuk	Cara Verifikasi
1	Tulis di sini...	BankBot / SmartScore / FraudShield / Semua	Audit / Monitoring / Laporan
2	Tulis di sini...	...	...
3	Tulis di sini...	...	...
4	Tulis di sini...	...	...
5	Tulis di sini...	...	...

Waktu: 20 menit. Kelompok 3–4 orang. Gunakan 7 pilar Responsible AI dan contoh prinsip operasional sebagai panduan. Presentasikan 2 prinsip terbaik kelompok Anda (5 menit per kelompok).

Model Kematangan AI Governance

Di mana organisasi Anda berada sekarang?

Level	Label	Karakteristik	Indikator
1	Ad hoc	Tidak ada governance formal; keputusan AI dibuat case by case oleh developer	Tidak ada dokumen governance; tidak ada pemilik jelas untuk keputusan AI
2	Developing	Kebijakan dasar ada tapi tidak konsisten diterapkan; awareness baru mulai	Ada draft policy tapi belum di-enforce; tidak ada audit reguler
3	Defined	AI Governance Charter tertulis; struktur komite ada; review pre-deployment dijalankan	Ada AI Ethics Committee; prinsip terdokumentasi; checklist pre-deployment digunakan
4	Managed	Monitoring berkelanjutan; audit independen berkala; insiden AI direspons sistematis	Dashboard fairness; audit tahunan; incident response plan aktif; laporan ke dewan
5	Optimizing	Governance terintegrasi budaya organisasi; pembelajaran dari insiden diterapkan; inovasi governance proaktif	AI Transparency Report publik; kontribusi ke standar industri; governance jadi competitive advantage

Target Realistis: Sebagian besar perusahaan Indonesia saat ini berada di Level 1–2. Target jangka menengah (2–3 tahun) yang realistis adalah Level 3. Level 4–5 adalah aspirasi jangka panjang.

Rangkuman Pertemuan 13

Konsep Utama

AI Governance = sistem untuk memastikan AI adil, transparan, aman, dan akuntabel
7 pilar Responsible AI: fairness, transparency, explainability, privacy, safety, accountability, inclusivity
EU AI Act: risk-based approach (unacceptable → high → limited → minimal risk)
Prinsip AI yang baik: spesifik, operasional, terukur — bukan generic

Implikasi Manajerial

Governance preventif lebih murah daripada respons krisis
AI Governance Charter = 6 komponen: visi, prinsip, klasifikasi risiko, struktur, audit, hak pengguna
SE OJK No. 11/2022 wajib dipatuhi sektor keuangan Indonesia
Target realistis: naik dari Level 1–2 ke Level 3 dalam 2–3 tahun

"With great power comes great responsibility — and AI is one of the greatest powers we have ever built."
— Adaptasi dari diskusi publik Satya Nadella, CEO Microsoft, tentang AI Ethics (2023)

Tugas Akhir & Preview Pertemuan 14

Tugas: Draf AI Governance Charter (Deadline: Pertemuan 14)

Individual/Kelompok 2 orang:

Pilih satu organisasi nyata atau fiktif realistis di Indonesia (sektor bebas)
Identifikasi minimal 2 use case AI yang sudah atau akan digunakan, dengan klasifikasi risiko
Rumuskan 5–7 prinsip AI Governance yang operasional (bukan generic)
Deskripsikan struktur governance: siapa yang bertanggung jawab, jalur eskalasi
Buat checklist pre-deployment minimal 8 item untuk salah satu use case high-risk
Tentukan posisi organisasi pada AI Governance Maturity Model (Level 1–5) beserta justifikasi

Format: 3–5 halaman atau slides; PDF; Bobot: 15%

Pertemuan 14: Review & Presentasi Akhir

Presentasi AI Governance Charter (per kelompok)
Peer review dan diskusi kelas
Review menyeluruh seluruh materi Kecerdasan Buatan
Persiapan ujian akhir (UAS)

Referensi Wajib P13:

Iansiti & Lakhani (2020) Ch. 8–9 — AI & Responsibility
Farri & Rosani (2025) Ch. 6 — Governance for Generative AI
EU AI Act summary (European Commission, 2024)

Kecerdasan Buatan · PEBD6026 · Program Studi S1 Bisnis Digital
Fakultas Ekonomika dan Bisnis · Universitas Diponegoro