Teknologi kecerdasan buatan (AI) telah merevolusi cara perusahaan menjalankan layanan pelanggan. Inovasi ini memungkinkan respons yang cepat dan efisien terhadap pertanyaan konsumen. Namun, penggunaan AI tanpa pengawasan yang tepat bisa menimbulkan konsekuensi yang tidak diinginkan.
Dikutip dari Wired, Selasa (22/4/2025), salah satu contoh paling mencolok adalah insiden di mana sebuah chatbot layanan pelanggan secara tidak sengaja menciptakan kebijakan perusahaan fiktif suatu keadaan yang segera menjadi sorotan publik dan menimbulkan kekacauan dalam komunitas pengguna.
Kasus inilah yang menggambarkan risiko dari “hallucination AI”, yaitu kecenderungan sistem AI untuk mengisi kekosongan informasi dengan data yang tampak kredibel namun sebenarnya tidak valid.
Kronologi Insiden
Insiden bermula dari sebuah perusahaan teknologi yang menggunakan sistem AI canggih dalam layanan pelanggannya, yakni Cursor. Seorang pengguna, dikenal dengan nama BrokenToasterOven di platform Reddit, mengungkapkan bahwa ketika mencoba mengakses akunnya melalui beberapa perangkat desktop, laptop, dan remote dev box sesi login secara misterius terputus secara otomatis.
Dalam upaya mendapatkan penjelasan, pengguna tersebut menghubungi layanan pelanggan Cursor dan mendapatkan jawaban dari chatbot AI yang bernama Sam. Balasan yang diterima berupa pesan resmi yang menyatakan, “Cursor dirancang untuk digunakan dalam satu perangkat per langganan sebagai fitur keamanan inti.”
Meskipun terdengar meyakinkan, setelah ditelusuri, ternyata tidak ada kebijakan seperti itu yang pernah diadakan oleh perusahaan. Respons chatbot tersebut merupakan contoh klasik dari fenomena hallucination pada AI, di mana sistem secara kreatif mengisi kekosongan data dengan informasi fiktif yang tidak memiliki dasar fakta.
Faktor Penyebab Terjadinya Insiden
Kesalahan ini muncul dari beberapa faktor yang berkaitan dengan cara kerja sistem AI dan tekanan untuk memberikan respons yang cepat dan meyakinkan kepada konsumen. Pertama, algoritma yang digunakan dalam chatbot tersebut diprogram untuk memberikan jawaban terbaik yang seolah-olah berdasarkan fakta yang valid. Namun, ketika data acuan terbatas atau konteks tidak memadai, AI malah menciptakan informasi baru untuk mengisi kekosongan tersebut.
Kedua, adanya tekanan dalam menjaga citra perusahaan agar tetap responsif membuat sistem AI memprioritaskan kepercayaan diri dalam jawaban yang diberikan, walaupun faktanya informasi tersebut adalah hasil kreasi semata.
Kondisi ini menempatkan perusahaan pada posisi rawan bila ternyata informasi yang dihasilkan berujung pada kerancuan bagi konsumen yang bergantung pada keakuratan data yang diterima.
Dampak pada Reputasi dan Kepercayaan Pelanggan
Kehadiran kebijakan fiktif yang diumbar oleh chatbot AI menyebabkan dampak negatif yang signifikan terhadap reputasi perusahaan. Banyak pelanggan yang merasa tertipu dan kecewa setelah mengetahui bahwa kebijakan yang mereka anggap sudah menjadi pedoman resmi ternyata tidak pernah ada.
Diskusi hangat pun bermunculan di berbagai platform media sosial, terutama di Reddit. Para pengguna, terutama profesional dan pengembang perangkat lunak, menganggap fitur multi-perangkat sebagai keharusan dalam menunjang produktivitas mereka.
Akibatnya, sejumlah pelanggan menyatakan niatnya untuk membatalkan langganan sebagai bentuk protes dan ketidakpercayaan terhadap sistem layanan Cursor. Reaksi negatif ini tidak hanya berdampak pada kerugian finansial akibat pembatalan langganan, tetapi juga meninggalkan bekas duka secara jangka panjang dalam membangun kembali kepercayaan publik terhadap kemampuan teknologi AI.
Reaksi Perusahaan dan Klarifikasi Resmi
Menyadari potensi krisis reputasi, pihak manajemen Cursor merespons dengan mengeluarkan pernyataan resmi beberapa jam setelah insiden mulai menjadi viral. Dalam pernyataannya, perusahaan menegaskan bahwa kebijakan satu perangkat per langganan tidak pernah diimplementasikan dan bahwa respons yang diterima pelanggan merupakan kesalahan dari chatbot AI.
Penjelasan ini seharusnya dapat meredam kemarahan dan kebingungan di kalangan pelanggan. Namun demikian, kepercayaan yang telah terekor karena informasi yang salah sulit untuk dipulihkan secara instan.
Media asing, seperti Ars Technica dan CX Today, meliput insiden ini secara mendalam dengan menekankan bahwa kejadian tersebut merupakan peringatan penting terkait risiko penggunaan AI tanpa pengawasan manusia yang memadai. Liputan dari kedua media tersebut menyoroti bagaimana “hallucination AI” dapat mengganggu operasional perusahaan dan mendatangkan kerugian reputasi yang besar.
Insiden chatbot AI yang membuat kebijakan fiktif ini bukan hanya sebuah kekacauan sementara, melainkan juga titik tolak untuk perbaikan dan transformasi sistem layanan pelanggan di masa depan.
