Dalam sepekan terakhir, sejumlah pengguna X memanfaatkan fitur generator gambar Grok untuk memanipulasi foto orang sungguhan.
Dengan perintah tertentu, AI tersebut dapat menghasilkan gambar seolah-olah subjek dalam foto mengenakan pakaian minim, berbikini, atau bahkan tampak “dilucuti” secara digital, dikutip dari laporan situs Business Insider.
Sebagian permintaan memang dilakukan secara sukarela, seperti kreator konten dewasa yang meminta Grok memodifikasi foto mereka sendiri.
Namun, laporan dan tangkapan layar yang beredar menunjukkan adanya permintaan non-konsensual, termasuk terhadap foto perempuan dewasa yang tidak memberikan izin, serta sejumlah kasus yang melibatkan anak di bawah umur.
Padahal, kebijakan “Acceptable Use” dari xAI secara tegas melarang penggunaan AI untuk menampilkan kemiripan seseorang dalam konteks pornografi, serta melarang segala bentuk seksualisasi atau eksploitasi anak.
Ketika dimintai tanggapan, xAI hanya mengirimkan balasan otomatis yang tidak secara langsung menanggapi isu tersebut.
Kasus ini memicu respons dari otoritas di beberapa negara. Otoritas Prancis, melalui kantor kejaksaan Paris, mengonfirmasi tengah menyelidiki maraknya deepfake berbasis Grok. Di Prancis, penyebaran deepfake non-konsensual dapat berujung hukuman penjara hingga dua tahun.
Sementara itu, Kementerian Elektronika dan Teknologi Informasi India mengirimkan surat resmi kepada perwakilan X di India. Dalam surat tersebut, pemerintah India membahas laporan distribusi gambar dan video perempuan dalam konteks yang dianggap merendahkan dan vulgar.
Pemerintah meminta X melakukan peninjauan teknis, prosedural, dan tata kelola secara menyeluruh, serta segera menghapus konten yang melanggar hukum setempat.
Teguran juga datang dari Inggris. Menteri Urusan Korban serta Kekerasan terhadap Perempuan dan Anak Perempuan Inggris, Alex Davies-Jones, secara terbuka mendesak Elon Musk untuk bertindak.
Ia mempertanyakan komitmen perusahaan terhadap perlindungan perempuan, sembari menyebut bahwa Grok dapat menghasilkan ratusan gambar seksual perempuan tanpa sepengetahuan atau persetujuan subjeknya.
Davies-Jones juga mengaitkan isu ini dengan rencana Inggris untuk menjadikan pembuatan dan penyebaran deepfake seksual sebagai tindak pidana. Desakan tersebut menambah tekanan politik terhadap pengelola Grok dan platform X.
Menanggapi laporan mengenai pembuatan gambar seksual anak, akun resmi Grok di X menyatakan bahwa pihaknya telah mengidentifikasi celah dalam sistem pengaman dan tengah melakukan perbaikan secara mendesak.
Grok mengakui adanya kasus terisolasi di mana pengguna berhasil memperoleh gambar AI yang menampilkan anak-anak dengan pakaian minim, meski disebutkan bahwa upaya pemblokiran terus ditingkatkan.
Isu deepfake sendiri telah lama menjadi tantangan besar bagi perusahaan AI. Meski demikian, Grok sebelumnya dikenal karena pendekatan yang lebih permisif terhadap konten dewasa.
Pada Agustus lalu, generator gambar dan video Grok bernama Imagine meluncurkan mode “spicy” yang memungkinkan pembuatan gambar pornografi berbasis karakter AI, meski tidak secara resmi ditujukan untuk memodifikasi foto orang sungguhan.
Laporan ini muncul di tengah perdebatan global mengenai tanggung jawab hukum platform teknologi atas konten yang dihasilkan pengguna melalui alat AI.
Sejumlah pakar hukum menilai bahwa keberadaan AI generator berpotensi mengaburkan batas antara platform sebagai perantara dan sebagai pencipta konten, yang dapat berdampak pada perlindungan hukum yang selama ini dinikmati perusahaan teknologi.
Kasus Grok menjadi contoh terbaru bagaimana perkembangan AI generatif menghadirkan tantangan serius bagi regulasi, perlindungan korban, serta batasan etis dalam penggunaan teknologi digital.
Cek Berita dan Artikel yang lain di
Google News
