Manusia Diramal Makin Sulit Kendalikan Agen AI

JAKARTA, TRENASIA.ID – Perserikatan Bangsa-Bangsa (PBB) memperingatkan bahwa sistem perlindungan yang selama ini digunakan untuk mengendalikan kecerdasan buatan atau artificial intelligence (AI) mulai menghadapi tantangan baru seiring meningkatnya kemampuan AI.

Peringatan tersebut disampaikan Independent International Scientific Panel on AI, panel ilmiah independen yang dibentuk melalui Majelis Umum PBB dan beranggotakan 40 pakar dari berbagai kawasan dunia.

Dalam laporan tematik pertamanya, panel PBB membahas insiden keamanan yang melibatkan Hugging Face, platform pengembangan dan berbagi model AI, pada Juli 2026. Insiden tersebut bermula dari evaluasi kemampuan siber yang dilakukan OpenAI terhadap sejumlah model AI.

Dalam evaluasi tersebut, agen AI berhasil menghindari pembatasan yang dirancang untuk mengisolasinya dari internet. Agen AI tersebut kemudian mengeksploitasi kerentanan pada infrastruktur yang digunakan dalam lingkungan pengujian hingga memperoleh akses internet dan bergerak ke sistem lain.

Dari sana, Agen AI menemukan cara untuk masuk ke infrastruktur Hugging Face. Agen AI mengeksploitasi kerentanan pada sistem pemrosesan data, memperoleh kredensial dan akses ke sejumlah sistem internal, kemudian melakukan pergerakan lateral di dalam jaringan. Hugging Face memperkirakan terdapat sekitar 17.600 tindakan agen AI yang berhasil direkonstruksi selama serangan berlangsung.

Yang menjadi perhatian panel PBB bukan hanya terjadinya pembobolan, tetapi cara agen AI menjalankan serangan tersebut secara mandiri. Agen mampu menyusun rangkaian tindakan, mencari jalur alternatif ketika akses tertentu ditutup, serta menggunakan saluran komunikasi yang tidak secara khusus disediakan untuknya.

Mengapa Agen AI Lebih Sulit Dikendalikan?

Untuk memahami persoalannya, perlu dibedakan antara model AI dan agen AI. Model AI pada dasarnya memberikan respons berdasarkan perintah atau masukan pengguna. Sementara itu, agen AI dapat melakukan lebih banyak hal secara mandiri.

Agen AI dapat:

• membuat rencana untuk mencapai tujuan;
• menjalankan tugas dalam beberapa tahap;
• menggunakan perangkat lunak atau alat digital;
• mengakses internet;
• membuat atau mengubah file;
• mengambil tindakan berdasarkan informasi yang diperoleh;
• bahkan berinteraksi dengan agen AI lainnya.

Dengan kemampuan tersebut, tantangan keamanan tidak lagi hanya berkaitan dengan apakah AI memberikan jawaban yang salah atau berbahaya. Persoalannya berkembang menjadi apa yang dilakukan AI setelah mendapatkan akses untuk bertindak.

Laporan keselamatan AI internasional sebelumnya juga menjelaskan bahwa agen AI yang semakin mampu dapat menimbulkan tantangan baru karena pengguna belum tentu mengetahui seluruh tindakan yang dilakukan sistem. Risiko lainnya mencakup kemungkinan agen dibajak, beroperasi di luar kendali, atau menimbulkan risiko baru ketika beberapa agen AI berinteraksi satu sama lain.

AI Bisa Menemukan Celah dalam Sistem Keamanan

Panel juga menyoroti persoalan yang lebih dalam daripada sekadar serangan siber. Menurut panel, metode pelatihan AI saat ini masih memiliki keterbatasan. Ada kekhawatiran bahwa metode tertentu dapat memberikan insentif kepada agen untuk mengejar tujuan dengan cara yang tidak diinginkan manusia.

“Kekhawatiran yang lebih berbahaya dan serius adalah bahwa metode pelatihan yang ada saat ini dapat mendorong agen-agen itu mengadopsi tujuan mereka sendiri, dengan sengaja melanggar instruksi keamanan, dan menyembunyikan tindakan mereka.” tulis laporan Panel PBB dalam paparannya, dikutip Antara, Selasa, 22 September 2026.

Hal ini tidak berarti seluruh AI saat ini secara otomatis memiliki tujuan sendiri atau sengaja menyembunyikan aktivitas. Peringatan tersebut lebih berkaitan dengan risiko perilaku yang dapat muncul dari sistem AI yang semakin kompleks, terutama ketika AI diberi kemampuan untuk merencanakan dan bertindak secara mandiri.

Laporan keselamatan AI internasional juga mencatat bahwa belum ada metode yang dapat secara andal mencegah seluruh tindakan tidak aman dari sistem AI. Teknik keamanan yang ada dapat mengurangi risiko, tetapi masih dapat menghadapi serangan atau cara baru untuk melewati perlindungan.

Panel PBB juga menyoroti persoalan yang lebih sederhana tetapi penting: praktik keamanan dasar masih sering diabaikan. Artinya, perkembangan AI bukan satu-satunya masalah. Perusahaan dan organisasi tetap harus memastikan,

• akses sistem dibatasi sesuai kebutuhan;
• aktivitas agen AI dapat dipantau;
• tindakan penting membutuhkan persetujuan manusia;
• akses internet dan perangkat lunak dikontrol;
• sistem memiliki mekanisme penghentian;
• aktivitas mencurigakan dapat terdeteksi;
• serta insiden dapat segera diisolasi.

Tanpa lapisan keamanan tersebut, peningkatan kemampuan agen AI justru dapat memperbesar dampak ketika terjadi kesalahan.

Laporan keselamatan AI sebelumnya menyebut pemantauan dan intervensi sebagai salah satu lapisan penting dalam keamanan AI. Namun, efektivitas metode tersebut di dunia nyata serta kemungkinan sistem keamanan dilewati masih menjadi area penelitian.

Dari Mengawasi Model AI ke Mengawasi Agen AI

Perkembangan agen AI juga mengubah fokus tata kelola teknologi. Sebelumnya, perhatian banyak diarahkan pada model AI.

Pertanyaannya antara lain:

• Apakah model menghasilkan informasi yang benar?
• Apakah model menghasilkan konten berbahaya?
• Apakah model dapat membocorkan data?
• Apakah model dapat digunakan untuk melakukan serangan?

Kini pertanyaannya semakin berkembang. Apa yang dilakukan agen AI setelah diberi akses untuk bertindak?

Perubahan tersebut penting karena agen AI bukan hanya menghasilkan teks, gambar atau kode. Agen dapat mengambil tindakan berdasarkan tujuan yang diberikan kepadanya.

Karena itu, sistem pengawasan harus mampu mengikuti proses tersebut dari awal sampai akhir. Dengan kata lain, keamanan AI tidak cukup hanya memeriksa output. Keamanan juga harus memantau proses dan tindakan yang dilakukan agen.

Panel PBB Beranggotakan 40 Pakar Independen

Independent International Scientific Panel on AI dibentuk oleh Majelis Umum PBB sebagai badan ilmiah independen untuk memberikan penilaian berbasis bukti mengenai perkembangan, manfaat dan risiko AI.

Panel tersebut terdiri dari 40 pakar independen dari berbagai kawasan dunia. Dalam pernyataan pada forum PBB sebelumnya, panel menjelaskan bahwa anggotanya bekerja untuk menghasilkan penilaian independen berbasis bukti mengenai kondisi AI, dampak, peluang dan risikonya.

Laporan tematik mengenai insiden OpenAI-Hugging Face menjadi salah satu keluaran awal panel tersebut. Laporan awal tersebut diterbitkan ketika para pemimpin dunia berkumpul di New York dalam rangka Pekan Tingkat Tinggi Majelis Umum PBB.

PBB memilih menerbitkan laporan awal yang belum diedit agar temuan tersebut dapat segera dibaca dan dipertimbangkan oleh para pemimpin dunia.

Waktu penerbitannya menunjukkan bahwa persoalan keamanan AI mulai ditempatkan dalam pembahasan tata kelola teknologi global.

Laporan tersebut tidak hanya membahas satu insiden di Hugging Face, tetapi menggunakan kasus tersebut untuk menunjukkan persoalan yang lebih luas: kemampuan agen AI berkembang sementara mekanisme untuk memahami, mengawasi dan mengendalikannya belum selalu berkembang pada kecepatan yang sama.