Artificial Intelligence (AI) semakin banyak digunakan perusahaan untuk membantu berbagai aktivitas, mulai dari membuat konten, menganalisis data, meningkatkan layanan pelanggan, hingga mendukung pengambilan keputusan.
Namun, penggunaan AI tanpa tata kelola yang jelas dapat menimbulkan berbagai risiko. Mulai dari kebocoran informasi, masalah privasi, output yang tidak akurat, hingga risiko keamanan dan kepatuhan.
Karena itu, perusahaan tidak cukup hanya bertanya:
“AI apa yang bisa kita gunakan?”
Tetapi juga perlu bertanya:
“Apakah perusahaan sudah siap mengelola risiko dari penggunaan AI?”
Di sinilah AI Governance menjadi penting.
AI Governance membantu organisasi mengatur bagaimana AI dikembangkan, digunakan, dipantau, dan dievaluasi secara bertanggung jawab. Pendekatan ini sejalan dengan berbagai kerangka dan standar internasional, seperti NIST AI RiskManagement Framework (AI RMF) dan ISO/IEC 42001:2023. NIST AI RMF, misalnya, dirancang untuk membantu organisasi mengelola risiko AI dan meningkatkan karakteristik AI yang dapat dipercaya, termasuk keamanan, transparansi, akuntabilitas, privasi, dan fairness.
Apa Itu AI Governance?
AI Governance adalah seperangkat kebijakan, proses, kontrol, dan tanggung jawab yang digunakan organisasi untuk mengatur penggunaan AI.
Secara sederhana, AI Governance membantu perusahaan menjawab beberapa pertanyaan penting:
- Siapa yang bertanggung jawab atas penggunaan AI?
- Data apa yang boleh dimasukkan ke sistem AI?
- Bagaimana perusahaan mengidentifikasi dan mengelola risiko AI?
- Bagaimana memastikan output AI dapat dipercaya?
- Apa yang harus dilakukan ketika AI menghasilkan keputusan yang salah?
- Bagaimana memastikan penggunaan AI tetap sesuai dengan kebijakan dan regulasi?
AI Governance menjadi semakin penting karena AI tidak hanya digunakan oleh tim IT. Saat ini, berbagai divisi seperti marketing, HR, finance, customer service, hingga management dapat menggunakan AI dalam aktivitas sehari-hari.
Tanpa governance yang jelas, perusahaan berisiko menghadapi penggunaan AI yang tidak terkontrol.
10 Checklist AI Governance yang Wajib Disiapkan Perusahaan
1. Buat Kebijakan Penggunaan AI
Hal pertama yang perlu dimiliki perusahaan adalah AI Usage Policy.
Kebijakan ini menjadi pedoman bagi karyawan mengenai bagaimana AI boleh digunakan dalam aktivitas pekerjaan.
Beberapa hal yang dapat diatur antara lain:
- AI atau tools apa saja yang boleh digunakan.
- AI apa saja yang dilarang.
- Jenis data yang boleh dimasukkan ke AI.
- Larangan memasukkan informasi sensitif atau rahasia perusahaan.
- Prosedur penggunaan AI untuk aktivitas berisiko tinggi.
- Tanggung jawab pengguna terhadap output AI.
Kebijakan ini penting karena penggunaan AI oleh karyawan dapat menciptakan risiko baru apabila tidak dikendalikan, terutama ketika karyawan menggunakan layanan AI pihak ketiga tanpa persetujuan organisasi
Kebijakan ini penting untuk mencegah fenomena Shadow AI, di mana karyawan menggunakan layanan AI pihak ketiga tanpa proses vetting keamanan dari organisasi
2. Identifikasi dan Inventarisasi Penggunaan AI
Perusahaan perlu mengetahui AI apa saja yang digunakan dan untuk tujuan apa.
Buat inventarisasi yang setidaknya mencakup:
| Aspek | Contoh |
| AI Tool | ChatGPT, Gemini, Copilot, AI internal |
| Pengguna | Marketing, HR, IT, Finance |
| Tujuan | Analisis data, customer service, content |
| Jenis Data | Public, Internal, Confidential |
| Tingkat Risiko | Rendah, Sedang, Tinggi |
| Business Owner | Divisi atau PIC terkait |
| Deployment Type | SaaS/Public Web,API Integration,/Local mode |
Jangan hanya fokus pada user interface (seperti web ChatGPT), tapi juga API Integration. Banyak kebocoran data terjadi karena AI API terhubung langsung ke database perusahaan tanpa enkripsi atau otentikasi yang kuat.
Inventarisasi membantu organisasi memahami AI landscape di dalam perusahaan sehingga risiko dapat diidentifikasi dan dikelola dengan lebih terstruktur.
Pendekatan lifecycle seperti ini sejalan dengan NIST AI RMF yang mempertimbangkan risiko AI sejak tahap desain, pengembangan, deployment, penggunaan, hingga pengujian dan evaluasi.
3. Lakukan AI Risk Assessment
Tidak semua penggunaan AI memiliki tingkat risiko yang sama.
AI untuk membuat caption media sosial memiliki risiko yang berbeda dengan AI yang digunakan untuk membantu proses recruitment, credit scoring, fraud detection, atau keputusan bisnis penting.
Karena itu, perusahaan perlu melakukan AI Risk Assessment.
Beberapa aspek yang dapat dinilai meliputi:
- Data privacy risk
- Cybersecurity risk
- Bias dan discrimination
- Incorrect output
- AI hallucination
- Regulatory risk
- Reputational risk
- Operational risk
- Third-party risk
NIST AI RMF secara khusus dikembangkan untuk membantu organisasi mengelola berbagai risiko AI dan mendorong penggunaan AI yang trustworthy dan responsible.
4. Tentukan Data yang Boleh Digunakan AI
Salah satu hal paling penting dalam AI Governance adalah data management.
Bayangkan seorang karyawan memasukkan dokumen internal perusahaan ke dalam layanan AI publik untuk meminta bantuan melakukan analisis.
Pertanyaannya:
Apakah data tersebut boleh dimasukkan ke AI?
Jika tidak ada kebijakan yang jelas, perusahaan dapat menghadapi risiko data exposure atau pelanggaran terhadap kewajiban perlindungan data.
Di Indonesia, aspek ini juga perlu diperhatikan dalam konteks Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi (UU PDP) yang berstatus berlaku.
Karena itu, perusahaan sebaiknya menentukan klasifikasi data, misalnya:
Public → Internal → Confidential → Restricted
Kemudian menetapkan:
- Data apa yang boleh digunakan AI.
- Data apa yang membutuhkan approval.
- Data apa yang dilarang dimasukkan ke AI.
- Bagaimana data diproses.
- Siapa yang dapat mengakses data.
- Bagaimana data dilindungi.
5. Pastikan Human Oversight
AI bukan berarti manusia tidak lagi diperlukan.
Untuk penggunaan AI yang memiliki dampak signifikan terhadap individu atau bisnis, perusahaan perlu mempertimbangkan human oversight.
Contohnya:
AI memberikan rekomendasi → manusia melakukan review → keputusan akhir dibuat oleh pihak yang berwenang.
Pendekatan ini relevan terutama untuk penggunaan AI dalam:
- Recruitment
- Financial decision
- Credit scoring
- Customer assessment
- Security monitoring
- Legal decision
NIST AI RMF juga menekankan karakteristik seperti accountability, transparency, explainability, privacy, dan fairness sebagai bagian dari AI yang trustworthy.
6. Evaluasi Akurasi dan Reliability AI
AI dapat menghasilkan jawaban yang terlihat meyakinkan tetapi sebenarnya tidak benar. Salah satu contoh yang sering dibahas adalah AI hallucination.
Karena itu, perusahaan perlu mengevaluasi:
- Accuracy
- Reliability
- Consistency
- Bias
- Explainability
- Reproducibility
Sebelum AI digunakan untuk proses bisnis penting, perusahaan sebaiknya menentukan acceptance criteria dan proses validasi.
Dengan begitu, output AI tidak langsung dianggap benar hanya karena dihasilkan oleh sebuah sistem AI.
NIST AI RMF secara khusus mencakup pengujian dan evaluasi AI sebagai bagian dari lifecycle pengelolaan risiko.
7. Perkuat AI Security
AI juga dapat menjadi bagian dari attack surface perusahaan.
Khususnya pada aplikasi berbasis Large Language Model (LLM) dan generative AI, OWASP mengidentifikasi sejumlah risiko keamanan seperti:
- Prompt Injection
- Sensitive Information Disclosure
- Supply Chain Vulnerabilities
- Data and Model Poisoning
- Excessive Agency
- Overreliance
: OWASP sudah sangat bagus, tapi pembaca awam mungkin bingung. Berikan penjelasan 1 kalimat pada ancaman kritis:
Prompt Injection: Manipulasi input untuk membobol batasan keamanan AI. Data and Model Poisoning: Menyelipkan data palsu/berbahaya saat AI dilatih, sehingga keputusannya cacat.
OWASP bahkan mengembangkan GenAI Security Project untuk membantu organisasi memahami dan mengurangi risiko keamanan pada generative AI, LLM, dan agentic AI.
Karena itu, AI Governance sebaiknya berjalan bersama dengan cybersecurity.
Kontrol seperti access control, authentication, logging, monitoring, security assessment, dan testing dapat diterapkan sesuai dengan karakteristik AI yang digunakan.
8. Tentukan Roles & Responsibilities
AI Governance tidak akan berjalan jika tidak ada pihak yang bertanggung jawab.
Perusahaan perlu menentukan:
Siapa yang menggunakan AI?
Siapa yang menyetujui penggunaannya?
Siapa yang mengelola risikonya?
Siapa yang melakukan monitoring?
Siapa yang bertanggung jawab jika terjadi insiden?
Struktur tanggung jawab dapat melibatkan:
- Board / Management
- IT
- Information Security
- Legal & Compliance
- Risk Management
- Data Protection
- Business Owner
- AI Developer
- End User
Pembagian tanggung jawab ini penting agar organisasi memiliki accountability yang jelas dalam seluruh lifecycle AI.
9. Siapkan Monitoring, Audit & Incident Response
AI Governance bukan one-time project.
Setelah AI digunakan, perusahaan tetap perlu melakukan monitoring dan evaluasi secara berkala.
Monitoring dapat mencakup:
- Perubahan performa AI.
- Akurasi output.
- Penggunaan data.
- Security incidents.
- Pelanggaran kebijakan.
- Perubahan regulasi.
- Perubahan model atau vendor.
Perusahaan juga perlu memiliki AI Incident Response Plan.
Misalnya, apa yang harus dilakukan ketika:
AI memberikan keputusan yang salah, terjadi data exposure, atau ditemukan penggunaan AI yang tidak sesuai kebijakan?
Pendekatan continuous monitoring dan improvement juga sejalan dengan ISO/IEC 42001 yang menetapkan persyaratan untuk establishing, implementing, maintaining, dan continually improving Artificial Intelligence Management System (AIMS).
10. Mempersiapkan training awareness untuk karyawan
AI Governance bukan hanya tanggung jawab tim IT atau cybersecurity.
Karyawan merupakan salah satu faktor penting dalam keberhasilan AI Governance.
Perusahaan perlu memberikan awareness mengenai:
- Cara menggunakan AI secara aman.
- Data apa yang tidak boleh dimasukkan ke AI.
- Risiko AI hallucination Halusinasi AI / kondisi di mana AI memberikan informasi salah yang seolah-olah faktual
- Risiko phishing dan social engineering berbasis AI.
- Cara melakukan verifikasi output AI.
- Kebijakan penggunaan AI perusahaan.
- Cara melaporkan AI incident.
Semakin luas penggunaan AI di organisasi, semakin penting pula AI literacy bagi karyawan.
Bagaimana ISO/IEC 42001 Mendukung AI Governance?
Salah satu standar yang dapat digunakan organisasi untuk membangun tata kelola AI adalah ISO/IEC 42001:2023.
Menurut ISO, standar ini menetapkan persyaratan untuk membangun, menerapkan, memelihara, dan meningkatkan Artificial Intelligence Management System (AIMS) secara berkelanjutan. Standar tersebut dirancang untuk organisasi yang mengembangkan, menyediakan, maupun menggunakan produk atau layanan berbasis AI.
ISO/IEC 42001 menyediakan pendekatan sistematis untuk mengelola risiko dan peluang terkait AI, sekaligus mendukung aspek seperti:
- Responsible AI
- Risk management
- Transparency
- Traceability
- Reliability
- Accountability
- Continuous improvement
Dengan demikian, perusahaan dapat membangun AI Governance bukan hanya sebagai kumpulan kebijakan, tetapi sebagai management system yang terstruktur.
AI Governance Bukan Sekadar Compliance
AI Governance sering dianggap hanya berkaitan dengan compliance.
Padahal, governance yang baik juga dapat memberikan manfaat bisnis.
Dengan governance yang tepat, perusahaan dapat:
Mengurangi risiko → Melindungi data → Meningkatkan kepercayaan → Mendukung inovasi → Mempercepat adopsi AI
NIST sendiri menempatkan AI risk management sebagai pendekatan untuk membantu organisasi mendapatkan manfaat AI sekaligus mengurangi potensi dampaknya.
Jadi, AI Governance bukan berarti perusahaan harus memperlambat inovasi.
Sebaliknya, governance membantu perusahaan mengetahui batasan, risiko, kontrol, dan tanggung jawab sebelum AI digunakan secara lebih luas.
AI Governance Checklist untuk Perusahaan
Sebelum memperluas penggunaan AI, perusahaan dapat menggunakan checklist sederhana berikut:
- Apakah perusahaan sudah memiliki kebijakan penggunaan AI?
- Apakah seluruh penggunaan AI sudah diinventarisasi?
- Apakah perusahaan sudah melakukan AI Risk Assessment?
- Apakah sudah ada aturan mengenai data yang boleh digunakan AI?
- Apakah terdapat human oversight?
- Apakah akurasi dan reliability AI sudah dievaluasi?
- Apakah security control untuk AI sudah diterapkan?
- Apakah roles & responsibilities sudah jelas?
- Apakah monitoring dan incident response sudah tersedia?
- Apakah karyawan sudah mendapatkan AI awareness?
Jika sebagian besar jawabannya “belum”, mungkin sudah waktunya perusahaan mulai membangun AI Governance Framework.
AI dapat memberikan banyak manfaat bagi perusahaan. Namun, adopsi AI tanpa governance dapat menciptakan risiko baru, mulai dari data exposure, cybersecurity threats, inaccurate output, privacy issues, hingga regulatory risk.
Karena itu, AI Governance bukan penghambat inovasi. Justru governance membantu perusahaan menggunakan AI dengan lebih aman, terukur, serta bertanggung jawab.
Dengan memulai dari 10 checklist di atas mulai dari AI Policy, AI Risk Assessment, Data Protection, Human Oversight, AI Security, hingga Training & Awareness perusahaan dapat membangun fondasi yang lebih kuat untuk adopsi AI.
Karena pertanyaannya bukan lagi:
“Apakah perusahaan akan menggunakan AI?”
Tetapi:
“Seberapa siap perusahaan mengelola AI dengan aman dan bertanggung jawab?”
Hubungi kami untuk konsultasikan kebutuhanmu sekarang juga
https://pci-quality.com/contact-us/atau hubungi kami di WA ini : +62 811-8129-496
