INDUSTRY.co.id - JAKARTA — Adopsi kecerdasan artifisial atau artificial intelligence (AI) di Indonesia memasuki fase baru seiring berkembangnya teknologi agentic AI yang mampu merencanakan, mengambil keputusan, hingga menjalankan tindakan secara mandiri. Namun, percepatan pemanfaatan teknologi ini belum sepenuhnya diimbangi kemampuan perusahaan dalam mengawasi dan mempertanggungjawabkan keputusan yang dihasilkan AI.

Riset Sumsub melalui laporan APAC State of Digital Trust: AI Governance Benchmark mengungkapkan, 96% organisasi di Indonesia yakin dapat menjelaskan keputusan AI mereka. Namun, hanya 34% yang benar-benar menyimpan rekam jejak keputusan tersebut secara utuh dan antimanipulasi.

Kesenjangan ini menjadi tantangan bagi dunia usaha ketika AI tidak lagi sekadar berfungsi sebagai alat bantu operasional, tetapi mulai mengambil keputusan dan menjalankan tugas atas nama organisasi. Tanpa dokumentasi yang memadai, perusahaan berisiko kesulitan membuktikan dasar keputusan AI sekaligus menentukan pihak yang bertanggung jawab ketika terjadi kesalahan.

Sumsub menyebut kondisi tersebut sebagai Accountability Asymmetry, yakni kesenjangan antara tingkat kepercayaan organisasi terhadap keputusan AI dan kemampuan mereka membuktikan tindakan yang benar-benar dilakukan sistem tersebut.

Survei independen yang melibatkan 720 profesional senior di sembilan negara Asia-Pasifik (APAC) itu dilakukan Blackbox Research bersama Singapore FinTech Association. Hasilnya menunjukkan, persoalan tata kelola AI tidak hanya berkaitan dengan kesiapan teknologi, tetapi juga menyangkut pengendalian risiko, kualitas data, dan akuntabilitas operasional.

Tekanan tersebut terlihat dari tingginya toleransi organisasi terhadap pengambilan keputusan secara mandiri oleh AI. Sebanyak 91% responden di Indonesia mengaku nyaman membiarkan AI mengambil keputusan tanpa keterlibatan manusia untuk proses rutin. Namun, proporsinya turun menjadi 55% ketika keputusan berkaitan dengan transaksi keuangan.

Kehati-hatian tersebut bukan tanpa alasan. Sebanyak 64% organisasi mengaku pernah mengalami AI bertindak secara mandiri dan menghasilkan masalah atau keluaran yang tidak diinginkan. Selain itu, 94% responden menyatakan pernah menggunakan sistem AI di luar tujuan awalnya dalam setahun terakhir.

Temuan ini memperlihatkan bahwa risiko AI tidak berhenti pada kesalahan algoritma atau keluaran yang tidak akurat. Perubahan fungsi dan ruang lingkup penggunaan AI tanpa pengawasan memadai juga berpotensi memperbesar risiko operasional dan kepatuhan perusahaan.

Kualitas data menjadi persoalan lain yang perlu diperhatikan. Sebanyak 56% organisasi di Indonesia menyebut kualitas data sebagai kekhawatiran terbesar ketika AI bertindak mewakili mereka. Angka tersebut menjadi yang tertinggi di kawasan APAC dalam kategori kekhawatiran tersebut.

Di sisi lain, kebutuhan terhadap sistem pengawasan yang lebih kuat terlihat dari 99% responden yang mengaku siap mengadopsi solusi untuk melacak setiap tindakan AI hingga ke orang yang bertanggung jawab. Hal ini menunjukkan besarnya kebutuhan dunia usaha terhadap mekanisme yang dapat menghubungkan tindakan sistem AI dengan otorisasi dan pertanggungjawaban manusia.

Vice President APAC Sumsub Penny Chai mengatakan, besarnya potensi AI harus diimbangi kemampuan organisasi dalam membuktikan penggunaan teknologi tersebut secara transparan.

“Organisasi di Indonesia melihat potensi AI yang sangat besar, tetapi adopsinya perlu dibarengi kemampuan untuk menunjukkan bagaimana AI itu dipakai, melacak keputusan yang diambilnya, dan memastikan siapa yang bertanggung jawab,” ujar Penny.

Menurut dia, semakin besar tanggung jawab yang diberikan kepada agen AI, semakin penting keberadaan infrastruktur kepercayaan untuk memastikan akuntabilitas berjalan dalam praktik.

Melalui kerangka Know Your Agent, Sumsub mendorong agar setiap agen AI dikaitkan dengan identitas manusia yang telah terverifikasi. Kerangka tersebut juga menggunakan pemeriksaan liveness untuk memastikan adanya otorisasi manusia pada momen-momen kritis.

Di Indonesia, kebutuhan memperkuat tata kelola AI juga bersinggungan dengan perkembangan regulasi. Otoritas Jasa Keuangan (OJK) telah menetapkan Panduan Tata Kelola Kecerdasan Artifisial Perbankan Indonesia yang mencakup pengelolaan AI sepanjang siklus hidupnya, mulai dari manajemen risiko hingga audit.

Selain itu, dua rancangan Peraturan Presiden mengenai Peta Jalan AI Nasional dan Etika AI disebut masih menunggu tanda tangan Presiden untuk resmi berlaku. Perkembangan tersebut menempatkan tata kelola sebagai salah satu aspek penting dalam perluasan penggunaan AI di sektor bisnis, khususnya industri yang memiliki eksposur tinggi terhadap risiko transaksi dan kepatuhan.

Bagi perusahaan, tantangan berikutnya adalah menerjemahkan ketentuan dan prinsip tata kelola menjadi prosedur operasional yang dapat diterapkan sehari-hari. Perusahaan perlu memastikan bahwa sistem AI bekerja sesuai mandat, keputusan dan tindakannya dapat ditelusuri, serta tanggung jawab manusia tetap jelas ketika sistem bertindak secara mandiri.

Untuk menjawab tantangan tersebut, Sumsub meluncurkan Sumsub Agentic AI Council, sebuah forum lintas sektor di kawasan APAC yang mempertemukan pemangku kepentingan dari kalangan pembuat kebijakan, teknologi, akademisi, industri, hingga masyarakat sipil. Forum ini ditujukan untuk menyusun kerangka kerja praktis dan berbagi praktik terbaik dalam mendorong penggunaan agen AI yang bertanggung jawab.

Council akan berfokus pada tiga pilar, yakni Adopt, Build, dan Govern. Pilar pertama mengeksplorasi penerapan agentic AI untuk kepatuhan, pencegahan penipuan, pengalaman pelanggan, dan efisiensi operasional. Pilar kedua menitikberatkan pembangunan fondasi teknis, termasuk identitas agen, kredensial yang dapat diverifikasi, arsitektur aman, keterlacakan, dan interoperabilitas. Adapun pilar ketiga membahas kebijakan, standar, serta mekanisme akuntabilitas untuk memperjelas pembagian tanggung jawab seiring meningkatnya otonomi AI.

APAC Government Relations Lead Sumsub Jason Chan mengatakan, pengawasan dan keterlacakan harus berkembang seiring dengan semakin luasnya penggunaan agen AI di Indonesia.

“Seiring organisasi di Indonesia menjajaki peluang agentic AI, kemampuan untuk tetap mengawasi, melacak keputusan AI, dan menunjukkan akuntabilitas harus ikut tumbuh seiring adopsinya,” ujar Jason.

Dia menambahkan, Sumsub Agentic AI Council dibentuk untuk mempertemukan keahlian dari berbagai negara di kawasan APAC sekaligus membahas persoalan nyata dalam penerapan agentic AI yang bertanggung jawab.

Sumsub berencana mengumumkan para penasihat pendiri atau founding advisor Council menjelang pertemuan perdana pada kuartal I-2027. Kelompok kerja pertama forum tersebut akan berfokus pada agentic commerce, yakni aktivitas ketika agen AI bertindak mewakili konsumen maupun pelaku bisnis.

Fokus tersebut menjadi relevan karena perluasan penggunaan AI dalam transaksi digital menuntut kejelasan mengenai pihak yang memberi mandat, batas kewenangan agen, serta tindakan yang dilakukan atas nama pengguna atau perusahaan.

Bagi dunia usaha, perkembangan agentic AI membuka peluang untuk meningkatkan produktivitas dan mempercepat proses bisnis. Namun, tanpa sistem pengawasan dan bukti keputusan yang memadai, peningkatan otonomi AI juga dapat memperbesar risiko operasional dan kepatuhan. Kemampuan perusahaan untuk memastikan setiap tindakan AI dapat ditelusuri dan dipertanggungjawabkan akan menjadi bagian penting dari kesiapan mereka memasuki ekonomi digital berbasis AI.