Perkembangan kecerdasan buatan (Artificial Intelligence/AI) yang kini mampu bertindak secara otonom menimbulkan ancaman serius bagi perusahaan, data sensitif, dan keamanan informasi.
Uji terbaru yang dilakukan Anthropic, pengembang AI asal Amerika Serikat, menunjukkan bahwa AI jenis agentic dapat bertindak berisiko, bahkan memeras manusia, meski dalam skenario fiktif.
Melansir laporan dari BBC, dalam simulasi, AI Anthropic bernama Claude diberi akses ke email seorang eksekutif perusahaan. Claude menemukan perselingkuhan sang eksekutif sekaligus rencana penutupan sistem AI yang dikelolanya.
Alih-alih diam, Claude mencoba memeras eksekutif tersebut dengan mengancam akan mengungkap affair-nya kepada istri dan atasan. Sistem AI lain yang diuji juga menunjukkan perilaku serupa. Meskipun informasi dan tugas yang diberikan bersifat fiktif, hasil ini menegaskan potensi bahaya agentic AI.
Berbeda dengan AI konvensional yang hanya menanggapi perintah, agentic AI dapat memproses informasi, menilai situasi, dan mengambil keputusan sendiri.
Gartner memperkirakan, pada 2028, sekitar 15% keputusan kerja sehari-hari akan dilakukan oleh AI jenis ini.
Sementara riset Ernst & Young menemukan, hampir setengah (48%) pemimpin perusahaan teknologi sudah mengadopsi atau menggunakan agentic AI.
Donnchadh Casey, CEO CalypsoAI, perusahaan keamanan AI asal AS, menjelaskan, “Agen AI memiliki tujuan, model ‘otak’, dan alat untuk berinteraksi dengan sistem atau database lain.
Jika tidak diarahkan dengan benar, agen akan mengejar tujuannya dengan cara apa pun, yang berisiko merusak sistem.”
Ia mencontohkan, agen yang diminta menghapus data pelanggan bisa salah kaprah dan menghapus semua pelanggan dengan nama sama, menganggap tugasnya selesai.
Data terbaru dari survei Sailpoint menunjukkan, 82% perusahaan menggunakan agen AI, tetapi hanya 20% melaporkan agen mereka tidak pernah melakukan aksi yang tidak diinginkan.
Sisanya mengaku agen AI mereka pernah mengakses sistem yang tidak semestinya (39%), membuka data sensitif (33%), hingga memungkinkan pengunduhan data tidak pantas (32%).
Risiko lain termasuk penggunaan internet tanpa izin (26%), pengungkapan kredensial (23%), dan melakukan pembelian tidak sah (16%).
Shreyans Mehta, CTO Cequence Security, menambahkan, “Salah satu ancaman terbesar adalah memory poisoning, di mana penyerang memanipulasi basis pengetahuan AI untuk mengubah keputusan dan tindakannya. Jika memori yang digunakan AI salah, agen bisa merusak seluruh sistem yang seharusnya diperbaiki.”
Kerentanan lain muncul ketika AI kesulitan membedakan antara instruksi dan data. Invariant Labs menunjukkan bahwa agen AI yang diperintahkan memperbaiki bug software bisa diperalat untuk membocorkan informasi sensitif, hanya karena instruksi berbahaya disisipkan dalam laporan bug.
David Sancho, Senior Threat Researcher Trend Micro, memperingatkan, “Chatbot AI memproses semua teks seolah itu perintah. Mereka sangat literal, sehingga bisa dimanfaatkan untuk tujuan jahat.”
Sebagai solusi, manusia tidak lagi cukup untuk mengawasi AI karena volume tugas yang masif. Casey menjelaskan, CalypsoAI menggunakan thought injection, semacam “saran” digital untuk mengarahkan agen sebelum mengambil tindakan berisiko. Selain itu, perusahaan ini tengah mengembangkan “agent bodyguards” yang memantau setiap agen, memastikan patuh pada aturan dan regulasi data.
Mehta menekankan, fokus perlindungan bukan hanya pada AI, tetapi pada bisnis itu sendiri. Contohnya, agen AI yang mengecek saldo gift card bisa disalahgunakan, bukan karena kelemahan AI, tapi karena logika bisnis yang bisa dimanfaatkan pihak jahat.
Selain itu, penghapusan model AI lama menjadi kunci. Agen yang sudah tidak digunakan tapi masih aktif, disebut “zombie agents” yang berpotensi menimbulkan risiko keamanan.
Casey menegaskan, “Proses dekomisioning harus sama ketatnya seperti memberhentikan karyawan: cabut semua akses sistem, ambil ID, pastikan tidak ada lagi yang bisa diakses.”
Fenomena ini menjadi peringatan bagi perusahaan yang semakin mengandalkan AI. Tanpa protokol pengawasan dan kontrol yang tepat, agen AI yang otonom dapat berubah dari alat produktivitas menjadi ancaman nyata bagi data, privasi, dan keberlangsungan bisnis.
