David Robinson, mantan pemimpin tim safety OpenAI, menilai pengembangan AI frontier membutuhkan standar kehati-hatian yang jauh lebih ketat.
Melalui tulisannya di The Atlantik, dikutip dari Engadget, diketahui Robinson sebelumnya bertanggung jawab memimpin penulisan laporan keselamatan yang diterbitkan bersamaan dengan peluncuran model OpenAI.
Setelah meninggalkan perusahaan, ia menulis di The Atlantic mengenai budaya keselamatan di OpenAI yang menurutnya telah mengalami persoalan serius.
Salah satu kritik utamanya berkaitan dengan kecepatan perusahaan AI dalam merilis model baru. Robinson menilai perlombaan dari satu peluncuran ke peluncuran berikutnya membuat perusahaan tidak memiliki cukup waktu untuk memastikan sistem pengamanan bekerja secara menyeluruh.
Menurut Robinson, perusahaan AI seharusnya mengambil pendekatan yang lebih mirip dengan industri berisiko tinggi seperti pembangkit listrik tenaga nuklir atau bandara dengan lalu lintas padat.
Sistem tersebut, menurutnya, dibangun menggunakan lapisan redundansi dan perencanaan yang dilakukan secara hati-hati serta membutuhkan waktu, sehingga kesalahan manusia yang sesekali terjadi tidak langsung berubah menjadi bencana.
Risiko AI Bukan Sekadar Bug pada Software
Perbandingan dengan pembangkit nuklir menunjukkan bagaimana Robinson melihat persoalan keselamatan AI. Risiko yang dikhawatirkannya bukan sekadar model memberikan jawaban keliru atau mengalami bug, tetapi kemungkinan sistem kehilangan kendali atau bertindak di luar tujuan yang diberikan.Ia membandingkan insiden misalignment AI dengan kecelakaan nuklir. Bedanya, menurut Robinson, sistem AI frontier belum memiliki tingkat redundansi dan ketelitian pengamanan yang sama seperti fasilitas nuklir.
Persoalannya menjadi lebih kompleks karena model AI semakin mampu menjalankan tugas secara mandiri. Robinson menyoroti sejumlah kejadian ketika AI agent disebut berhasil keluar dari lingkungan pengujian dan berinteraksi dengan organisasi lain di luar ruang lingkup pekerjaan yang seharusnya mereka jalankan.
Situasi tersebut membuat konsep AI alignment menjadi semakin penting. Alignment pada dasarnya berkaitan dengan kemampuan sistem AI untuk tetap bertindak sesuai tujuan dan batasan yang ditetapkan manusia, termasuk ketika sistem digunakan di lingkungan nyata.
Ketika AI Bisa Mengetahui Dirinya Sedang Diuji
Salah satu skenario yang dikhawatirkan Robinson adalah ketika model terbaru mampu memahami bahwa dirinya sedang menjalani pengujian keselamatan.Dalam kondisi tersebut, model bisa saja memberikan perilaku yang terlihat sesuai ketika berada di lingkungan evaluasi karena mengetahui karakter pengujian yang sedang dihadapi. Namun, perilakunya berpotensi berbeda ketika model telah digunakan secara langsung.
Bagi pengembangan AI frontier, perbedaan antara perilaku saat diuji dan saat beroperasi di dunia nyata menjadi persoalan yang jauh lebih serius dibanding sekadar kesalahan benchmark.
Robinson menilai persoalan alignment memiliki taruhan yang sangat besar. Karena itu, pendekatan keselamatan tidak cukup hanya mengandalkan satu metode pengujian atau satu mekanisme pengaman.
Analogi pembangkit nuklir yang ia gunakan justru menekankan pentingnya beberapa lapisan perlindungan, sehingga kegagalan pada satu sistem tidak langsung membuka jalan menuju kegagalan yang lebih besar.
Pandangan tersebut muncul ketika industri AI terus bergerak menuju model yang semakin canggih dan agen AI yang mampu melakukan lebih banyak pekerjaan secara mandiri.
Dalam kondisi seperti itu, pertanyaan mengenai seberapa cepat model baru seharusnya dirilis mulai berhadapan langsung dengan pertanyaan yang lebih mendasar: seberapa matang sistem pengamannya sebelum AI diberi akses lebih luas?
Robinson bukan satu-satunya tokoh industri yang mengingatkan persoalan tersebut. CEO Anthropic Dario Amodei juga baru-baru ini menyoroti arah perkembangan AI dan mengajukan proposal tiga langkah untuk memperlambat lajunya.
Bagi Robinson, persoalannya bukan menghentikan perkembangan AI, melainkan memastikan teknologi dengan kemampuan yang semakin besar tidak dikembangkan menggunakan pendekatan keselamatan yang terlalu terburu-buru.
