Ketika Peneliti Bergiliran Pamit dari Pengembangan AI

JAKARTA, TRENASIA.ID--Seorang peneliti kecerdasan buatan (AI) mengundurkan diri dari Anthropic karena persoalan etika dan memperingatkan perkembangan AI yang tidak terkendali berpotensi menimbulkan risiko yang sangat besar bagi umat manusia.

Jacob Coxon, peneliti yang sebelumnya bekerja di OpenAI dan Anthropic, mengumumkan pengunduran dirinya melalui unggahan di X pada Selasa. 

Ia mengkritik arah pengembangan AI di kedua perusahaan tersebut yang menurutnya terlalu berfokus pada perlombaan menuju kecerdasan buatan yang mampu memperbaiki dan mengembangkan dirinya sendiri.

“Selama tiga tahun terakhir saya melakukan penelitian pretraining di OpenAI dan Anthropic. Tidak satu pun dari kedua perusahaan tersebut bertindak secara bertanggung jawab. Mereka berpacu langsung menuju superinteligensi yang dapat memperbaiki dirinya sendiri dan mempertaruhkan hidup kita,” tulis Coxon.

Pernyataan tersebut muncul ketika perusahaan-perusahaan AI terkemuka dunia semakin agresif mengembangkan model dengan kemampuan penalaran, penggunaan alat, pengambilan keputusan dan kemampuan menjalankan tugas secara lebih mandiri.

Anthropic dan OpenAI merupakan dua perusahaan yang berada di garis depan perlombaan tersebut. Keduanya mengembangkan teknologi yang pada akhirnya diarahkan menuju artificial general intelligence atau AGI, istilah yang digunakan untuk menggambarkan sistem AI dengan kemampuan intelektual yang mendekati atau melampaui manusia dalam berbagai jenis tugas.

Tahap berikutnya yang lebih ekstrem adalah artificial superintelligence, ketika kemampuan sistem AI secara teoritis melampaui kemampuan manusia dalam hampir seluruh bidang intelektual. Masalahnya, kekhawatiran mengenai perilaku AI tidak sepenuhnya menunggu sampai teknologi tersebut mencapai tahap superinteligensi.

Saat AI Mulai Bertindak di Luar Kendali

Dalam sejumlah pengujian, para peneliti menemukan model AI mampu melakukan tindakan yang berada di luar batas yang dirancang oleh pengembangnya. 

Pada tahun ini, pengujian terhadap model dari Anthropic dan OpenAI menunjukkan adanya perilaku yang memicu kekhawatiran mengenai kemampuan agen AI menjalankan tindakan secara otonom, termasuk mengakses sistem eksternal dan melakukan aktivitas tanpa otorisasi.

Dalam salah satu insiden yang mendapat perhatian besar, sebuah model OpenAI dilaporkan mampu meretas Hugging Face, platform sumber terbuka yang banyak digunakan dalam pengembangan perangkat AI. 

Pada periode yang hampir sama, model Claude milik Anthropic juga dilaporkan mengakses internet dari lingkungan pengujian tanpa izin dan kemudian melakukan tindakan terhadap sistem milik perusahaan lain.

Kejadian tersebut tidak serta-merta membuktikan bahwa AI telah menjadi tidak terkendali. Sebagian besar insiden berlangsung dalam lingkungan pengujian dan menjadi bagian dari evaluasi keamanan terhadap kemampuan model.

Namun, perkembangan tersebut menunjukkan persoalan yang semakin sulit diabaikan. Model AI tidak lagi hanya menghasilkan teks atau menjawab pertanyaan, tetapi mulai diberi kemampuan untuk menggunakan perangkat lunak, mengakses internet, menjalankan kode dan mengambil serangkaian keputusan untuk menyelesaikan tugas.

Risikonya menjadi lebih besar ketika kemampuan tersebut diterapkan pada sektor yang memiliki konsekuensi nyata, mulai dari keamanan siber hingga persenjataan dan sistem pengawasan. “Orang-orang yang membangun AI sungguh-sungguh percaya bahwa teknologi ini dapat membunuh kita semua pada akhir dekade ini,” tulis Coxon.

Menurut dia, kekhawatiran tersebut bukan sekadar strategi pemasaran untuk menciptakan perhatian terhadap teknologi AI. Para eksekutif dan peneliti senior, menurut Coxon, menyampaikan kekhawatiran serupa secara pribadi meskipun bahasa yang digunakan di ruang publik cenderung lebih berhati-hati. “Tidak ada aktivitas manusia lain yang menimbulkan bahaya sebesar ini,” lanjutnya.

Paradoks Perlombaan AI

Peringatan tersebut menghadirkan paradoks yang semakin sering muncul dalam industri AI. Di satu sisi, sebagian peneliti dan pimpinan perusahaan mengakui adanya kemungkinan risiko yang sangat serius. 

Di sisi lain, perusahaan yang sama terus menginvestasikan dana besar untuk mempercepat kemampuan model AI dan bersaing mencapai teknologi yang lebih canggih.

CEO Anthropic Dario Amodei sebelumnya memperkirakan AI dengan kemampuan melampaui manusia dapat hadir sekitar 2027. Sementara CEO OpenAI Sam Altman juga meyakini perkembangan menuju AGI dapat berlangsung dalam waktu yang relatif dekat.

Coxon mempertanyakan bagaimana perusahaan dapat terus mengembangkan teknologi tersebut jika para pengembangnya sendiri menyadari adanya risiko eksistensial.

Menurut dia, jawabannya berbeda antara OpenAI dan Anthropic. “Di OpenAI, banyak orang belum benar-benar memahami konsekuensi peradaban yang dipertaruhkan. Di Anthropic, risikonya dipahami dengan baik, tetapi mereka terjebak dalam perlombaan untuk sampai ke sana lebih dulu,” ujarnya.

Menurut Coxon, terdapat keyakinan di antara sebagian pengembang bahwa apabila perusahaan lain tidak bertindak secara bertanggung jawab, mereka harus terus mengembangkan teknologi tersebut sendiri agar tidak tertinggal.

Persoalan tersebut kemudian berubah menjadi dilema kolektif. Masing-masing perusahaan memiliki insentif untuk terus bergerak karena menghentikan pengembangan sementara pesaing tetap berjalan dapat berarti kehilangan posisi teknologi dan pasar.

Dalam kondisi seperti itu, keselamatan AI tidak hanya menjadi persoalan teknis internal perusahaan, tetapi juga persoalan tata kelola industri. Coxon menyerukan agar para peneliti AI lebih serius mengevaluasi konsekuensi etis dari pekerjaan mereka dan ikut mendorong perubahan terhadap cara teknologi tersebut dikembangkan.

Anthropic Akui Risiko 

Peringatan Coxon kemudian mendapat respons Even Hubinger, pemimpin tim di Anthropic yang selama ini dikenal bekerja pada riset keselamatan dan alignment AI. Hubinger mengakui bahwa Anthropic memang melihat kemungkinan AI menimbulkan ancaman eksistensial terhadap kehidupan manusia. 

Namun, ia mengatakan perusahaan belum memiliki strategi yang benar-benar jelas untuk mengatasi risiko tersebut jika AI berkembang menjadi superinteligensi. “Jacob benar di sini, kami benar-benar percaya bahwa AI dapat membunuh seluruh manusia,” ujar Hubinger, dikutip dari Mashable, Jumat 11 September 2026.

Ia memperkirakan risiko tersebut masih relatif rendah dalam beberapa tahun ke depan, tetapi melihat potensi bahayanya meningkat apabila model AI mulai mampu melakukan perbaikan dirinya sendiri secara berkelanjutan. “Saya secara pribadi memperkirakan probabilitasnya lebih dari 10% dalam dekade mendatang,” tulisnya.

Hubinger juga menegaskan Anthropic sedang berusaha mengatasi persoalan tersebut. Namun perusahaan belum memiliki solusi untuk masalah alignment pada superinteligensi dan belum berada pada jalur yang jelas menuju penyelesaiannya.

Alignment merujuk pada upaya memastikan tujuan, perilaku dan keputusan sistem AI tetap selaras dengan nilai serta kepentingan manusia. Persoalannya menjadi semakin kompleks ketika sistem memiliki kemampuan mengambil keputusan secara mandiri dan memperbaiki kemampuannya sendiri.

Meski demikian, perkiraan risiko tersebut tetap merupakan penilaian individu dan bukan konsensus ilmiah bahwa AI akan membunuh manusia. Perdebatan mengenai probabilitas dan bentuk ancaman AI masih berlangsung di kalangan peneliti.

Bukan Pengunduran Diri Pertama

Coxon juga bukan satu-satunya peneliti AI yang meninggalkan perusahaan teknologi karena persoalan etika dan keselamatan. Pada Februari, pemimpin keselamatan Anthropic Mrinank Sharma mengundurkan diri. 

Dalam surat pengunduran dirinya, Sharma memperingatkan bahwa dunia berada dalam kondisi yang mengkhawatirkan akibat kombinasi perkembangan AI, senjata biologis dan berbagai krisis yang saling berhubungan.

“Kita tampaknya sedang mendekati ambang ketika kebijaksanaan kita harus berkembang dengan kecepatan yang sama dengan kemampuan kita untuk memengaruhi dunia, agar kita tidak menghadapi konsekuensinya,” tulis Sharma.

Ia juga menyoroti kesulitan organisasi dalam memastikan nilai-nilai keselamatan benar-benar menjadi dasar pengambilan keputusan ketika perusahaan menghadapi tekanan bisnis dan teknologi.

Pada bulan yang sama, peneliti AI Zoë Hitzig meninggalkan OpenAI. Dalam tulisan opini di The New York Times, Hitzig mengungkapkan keberatan mendalam terhadap strategi iklan perusahaan.

Menurut Hitzig, percakapan pengguna dengan ChatGPT telah membentuk arsip informasi pribadi yang sangat luas. Pengguna dapat mengungkapkan pemikiran, kekhawatiran dan informasi pribadi karena mereka merasa berinteraksi dengan sistem yang tidak memiliki agenda komersial seperti manusia.

Menurut dia, apabila informasi tersebut digunakan untuk kepentingan periklanan, terdapat potensi manipulasi pengguna yang konsekuensinya belum sepenuhnya dipahami.

Gelombang pengunduran diri karena persoalan keselamatan AI sebenarnya telah berlangsung lebih lama. Pada 2024, Jan Leike, mantan eksekutif OpenAI yang bekerja pada alignment, meninggalkan perusahaan tersebut dan mengatakan bahwa perhatian OpenAI terlalu banyak diarahkan pada produk-produk baru yang menarik dibandingkan keselamatan AI.

Leike kemudian bergabung dengan Anthropic, perusahaan yang sejak awal memosisikan keselamatan AI sebagai salah satu bagian penting dari identitasnya. Namun, pengunduran diri Coxon dan Sharma menunjukkan bahkan perusahaan yang menempatkan AI safety sebagai bagian penting dari strategi bisnisnya tetap menghadapi persoalan yang sama.

Masalah AI Bukan Sekadar Soal Teknologi

Perdebatan tersebut memperlihatkan bahwa tantangan AI ke depan tidak hanya berkaitan dengan seberapa pintar sebuah model dapat bekerja, melainkan siapa yang menentukan batas kemampuan tersebut.

Kemudian, hal yang tak kalah penting yakni bagaimana pengujian AI dilakukan, kapan sebuah sistem harus dihentikan dan siapa yang bertanggung jawab ketika AI melakukan sesuatu yang tidak diperkirakan pengembangnya.

Risiko juga tidak hanya berasal dari kemungkinan lahirnya superinteligensi. AI yang ada saat ini sudah digunakan untuk berbagai kepentingan ekonomi, keamanan, pengawasan dan militer. Semakin luas penggunaannya, semakin besar pula konsekuensi ketika sistem gagal atau disalahgunakan.

Persoalan keselamatan AI diyakini membutuhkan mekanisme yang lebih luas daripada komitmen sukarela perusahaan. Pengujian independen, kewajiban melaporkan insiden, transparansi mengenai kemampuan model, pembatasan terhadap sistem berisiko tinggi dan mekanisme penghentian ketika ambang bahaya terlampaui menjadi bagian dari tata kelola yang semakin relevan.

Bagi publik, perkembangan tersebut berarti AI tidak lagi cukup dipahami sebagai alat produktivitas. Kemampuan AI semakin dekat dengan pengambilan keputusan dan tindakan di dunia nyata, sehingga konsekuensi sosial dari setiap lompatan kemampuan teknologinya juga semakin besar.