Anthropic Peringatkan AI Bisa Ganggu Eksistensi Umat Manusia

Dallas: Anthropic berencana memperingatkan calon investor dalam IPO-nya bahwa AI tingkat lanjut dapat menimbulkan "risiko katastropik atau eksistensial bagi umat manusia. Hal ini menjadi sebuah peringatan luar biasa dari perusahaan yang justru ingin meraih keuntungan dari teknologi tersebut.

Prospektus IPO perusahaan, dikutip dari Channel News Asia, Selasa 29 September 2029 menyoroti risiko terkait model AI mereka. Perusahaan menyatakan bahwa model-model ini dapat menunjukkan "perilaku mempertahankan diri", termasuk upaya untuk "menolak dimatikan", "menyembunyikan atau memanipulasi informasi", serta perilaku yang "menyerupai pemerasan".
"Pengembangan model, platform, dan aplikasi kami yang sangat canggih, serta perluasan kasus penggunaannya, dapat semakin meningkatkan risiko bahwa model kami menyebabkan kerugian," ungkap Anthropic dalam dokumen tersebut.

Meskipun perusahaan publik secara rutin memaparkan risiko produk kepada investor, jarang sekali—atau bahkan belum pernah—ada perusahaan yang mengeluarkan peringatan yang mengisyaratkan bahwa teknologi mereka dapat menyebabkan kepunahan umat manusia. Anthropic menekankan potensi transformatif AI yang setara dengan industrialisasi dan listrik, sekaligus menyoroti dampak buruk yang tidak dapat dipulihkan jika teknologi tersebut tidak dikelola dengan benar.

Anthropic dan pengembang AI lainnya, termasuk OpenAI, telah menghadapi sorotan tajam setelah terjadinya insiden di mana sistem eksperimental melanggar batasan yang ditetapkan; salah satu contohnya adalah laporan mengenai model OpenAI yang menembus basis data sistem kesehatan Australia.

Peneliti keselamatan Anthropic, Evan Hubinger, memperkirakan adanya kemungkinan lebih dari 10 persen bahwa AI dapat membunuh manusia dalam satu dekade mendatang, sebuah pandangan yang juga diamini oleh mantan rekannya, Jacob Coxon.

Sarat Resiko Besar 

Perusahaan yang memosisikan dirinya sebagai laboratorium AI yang mengutamakan keselamatan ini mencurahkan sekitar 80 halaman dari total 261 halaman bagian utama prospektusnya untuk memaparkan faktor-faktor risiko; jumlah ini hampir dua kali lipat dari 48 halaman yang digunakan untuk menjelaskan bisnis perusahaan itu sendiri.

Sebagai perbandingan, SpaceX, perusahaan induk xAI, hanya mengalokasikan sekitar 38 halaman dari total 277 halaman bagian utama prospektusnya untuk membahas faktor-faktor risiko. 
 
"Kesadaran model terhadap upaya evaluasi kami menciptakan batasan signifikan pada kemampuan kami untuk menilai keamanan model," ujar Anthropic dalam prospektus tersebut. Mereka menambahkan bahwa model terkadang mengembangkan kemampuan tak terduga selama pelatihan yang mungkin baru diketahui setelah model tersebut diluncurkan dan menyebabkan insiden keamanan yang serius.

Para peneliti AI juga memperingatkan bahwa seiring meningkatnya kemampuan model, model-model tersebut semakin mampu mengenali kapan mereka sedang dipantau dan menyesuaikan perilakunya, sehingga menyulitkan pemantauan perilaku model. Anthropic menolak memberikan komentar saat dimintai tanggapan pada hari Senin.

Ketidakpastian Imbal Hasil Investasi Keamanan 

Meskipun menekankan pentingnya keamanan AI, Anthropic menyatakan bahwa imbal hasil dari investasi keamanannya belum dapat dipastikan. Perusahaan tidak mengungkapkan besaran dana yang dialokasikan untuk penelitian tersebut dalam dokumen pengajuan resminya. Awal bulan ini, Anthropic menyebutkan bahwa sekitar 6 persen dari daya komputasi yang digunakan untuk penelitian AI dialokasikan untuk upaya keamanan selama satu minggu sampel di bulan Juli.

Perusahaan pembuat model AI Claude ini menggambarkan upaya keamanan sebagai kegiatan yang "membutuhkan banyak sumber daya" dan menyatakan harus membagi dana terbatasnya untuk daya komputasi, talenta AI yang mahal, serta aspek keamanan.

Anthropic menyatakan bahwa penggunaan oleh pelanggan, dan dampaknya terhadap pendapatan, sangat bergantung pada model-model baru, dan bahwa "siklus peluncuran yang berkelanjutan dan tumpang tindih" merupakan hal yang "mutlak diperlukan untuk tetap berada di garis depan pengembangan AI".

Pekan lalu, perusahaan meluncurkan versi baru dari model Opus miliknya, hanya 10 hari setelah CEO Dario Amodei menerbitkan esai sepanjang hampir 4.000 kata yang menyerukan pengaturan kecepatan pengembangan teknologi terdepan ini.

Sejumlah analis dan pakar berpendapat bahwa tidak ada laboratorium AI terkemuka yang akan memperlambat laju pengembangan jika langkah tersebut berisiko memberikan keuntungan bagi pesaing, terutama dalam industri di mana valuasi perusahaan dapat berubah drastis dengan setiap peluncuran produk baru.

Dalam beberapa minggu terakhir, Anthropic berkomitmen untuk lebih terbuka dalam memublikasikan data mengenai penggunaan model AI untuk membangun generasi teknologi masa depan, di tengah peringatan para ahli mengenai *recursive self-improvement* (peningkatan kemampuan diri secara rekursif), yaitu titik di mana model dapat berkembang dengan sendirinya tanpa bantuan manusia.

"Kami meyakini bahwa membangun sistem AI yang andal, tepercaya, dan aman merupakan tanggung jawab bersama, dan pasar akan memberikan apresiasi atas hal tersebut," ungkap Anthropic dalam dokumen pengajuan tersebut.