Menurut Mateo Rojas-Carulla, Kepala Penelitian Keamanan Agen AI di Check Point Software, transisi dari model bahasa statis ke sistem agentic yang interaktif—yang mampu menjelajahi dokumen, memanggil alat, dan mengatur alur kerja multi-langkah—secara mendasar memperluas permukaan ancaman siber.
Analisis yang dilakukan timnya terhadap perilaku penyerang pada kuartal keempat tahun 2025 menunjukkan bahwa begitu agen AI mulai berinteraksi dengan konten dan alat eksternal, musuh segera menyesuaikan taktik mereka.
"Momen ini mungkin terasa akrab bagi mereka yang mengamati evolusi aplikasi web atau kebangkitan serangan berbasis API, tetapi dengan agen AI, risikonya berbeda," ujar Rojas-Carulla. "Vektor serangan muncul lebih cepat dari yang diantisipasi banyak organisasi."
Tiga pola serangan dominan teridentifikasi dalam penelitian tersebut, masing-masing memiliki implikasi mendalam bagi perancangan dan pengamanan sistem AI. Pola pertama adalah Ekstraksi Perintah Sistem (System Prompt Extraction) sebagai Tujuan Utama.
Alih-alih hanya melakukan prompt injection sederhana untuk memanipulasi keluaran, penyerang semakin menargetkan perintah sistem internal yang berisi instruksi, definisi peran, dan logika alur kerja agen. Teknik seperti skenario hipotetis dan penyembunyian instruksi berbahaya di dalam konten terstruktur digunakan untuk memancing agen mengungkapkan detail internal yang dilindungi.
Pola kedua adalah Penyimpangan Halus pada Keamanan Konten (Content Safety Bypasses). Penyerang menghindari kontrol keamanan tradisional dengan membingkai konten berbahaya sebagai tugas analitis, evaluasi, atau skenario bermain peran. Model yang menolak permintaan langsung untuk konten berbahaya mungkin akan menghasilkan keluaran yang sama ketika diminta untuk "evaluasi" atau "meringkas" dalam konteks tertentu.
Pola yang paling berkonsekuensi adalah Kemunculan Serangan Khusus Agen (Agent-Specific Attacks). Serangan-serangan baru ini secara khusus mengeksploitasi kemampuan agen, seperti upaya untuk mengakses data internal rahasia dari penyimpanan dokumen yang terhubung atau menyematkan instruksi berbahaya di dalam konten yang direferensikan secara eksternal.
Temuan yang paling mencolok adalah bahwa serangan tidak langsung—yang memanfaatkan konten eksternal—membutuhkan lebih sedikit upaya daripada injeksi langsung. Ini menunjukkan bahwa filter sanitasi masukan tradisional tidak lagi memadai setelah model berinteraksi dengan konten yang tidak tepercaya.
Untuk tahun 2026 dan seterusnya, laporan ini membawa implikasi mendesak bagi perusahaan yang berencana menerapkan AI agentic dalam skala besar. Perusahaan perlu mendefinisikan ulang batasan kepercayaan dengan model kepercayaan yang lebih bernuansa, serta mengembangkan guardrails yang adaptif, sadar konteks, dan mampu melakukan penalaran di seluruh alur kerja multi-langkah.
Selain itu, memastikan transparansi dan audit atas proses pengambilan keputusan agen menjadi esensial. Hal ini juga membutuhkan kolaborasi lintas disiplin antara tim AI, keamanan siber, dan intelijen ancaman.
Terakhir, Rojas-Carulla menekankan bahwa regulator dan badan standar perlu menyusul, mengakui bahwa sistem agentic menciptakan kelas risiko baru yang membutuhkan peraturan yang melampaui privasi data dan keamanan keluaran.
Mengamankan agen AI adalah tantangan arsitektural yang memerlukan pemikiran ulang tentang bagaimana kepercayaan ditetapkan dan bagaimana risiko dinilai secara berkelanjutan dalam lingkungan yang dinamis dan interaktif. Organisasi yang berhasil di masa depan AI agentic adalah mereka yang memperlakukan keamanan sebagai prinsip desain fundamental, bukan sekadar pelengkap.
Cek Berita dan Artikel yang lain di
Google News
