Penyalahgunaan ini disebut digunakan untuk menghasilkan dan menyebarkan konten asusila dan manipulasi foto pribadi tanpa persetujuan pemilik foto, termasuk untuk konten yang bersifat sensitif dan tanpa izin.
Jika terbukti melanggar aturan, pemerintah Indonesia tidak menutup peluang untuk mengambil langkah tegas, termasuk pemutusan akses layanan atau pemblokiran platform terkait di wilayah Indonesia. Penyelidikan ini merupakan respons atas kekhawatiran luas dari publik dan pakar teknologi terkait peran teknologi AI dalam produksi konten seksual tidak konsensual yang merugikan hak privasi individu.
Grok AI yang dikembangkan oleh perusahaan xAI dan diintegrasikan ke dalam platform X telah mendapat sorotan bukan hanya di Indonesia, tetapi juga di beberapa negara lain karena kemampuan generatif teknologi ini memungkinkan manipulasi gambar atau foto asli menjadi bentuk tidak senonoh.
Komdigi menilai bahwa dugaan pelanggaran privasi dan distribusi konten asusila melalui Grok AI merupakan persoalan serius karena mengambil identitas visual atau foto pribadi tanpa izin untuk menghasilkan konten vulgar.
Pemerintah menekankan bahwa teknologi seperti AI tidak boleh digunakan sebagai alat yang memfasilitasi pelanggaran privasi atau penyebaran konten berbahaya. Jika platform seperti X dan layanan Grok AI tidak segera menunjukkan niat kooperatif dan memperbaiki sistem moderasi konten mereka, Komdigi dapat menjatuhkan sanksi administratif hingga pemutusan akses layanan di Indonesia.
Ancaman blokir ini bukan sekadar peringatan retoris. Komdigi menegaskan bahwa regulasi yang berlaku di Indonesia, termasuk terkait perlindungan data pribadi dan larangan konten pornografi, harus dipatuhi oleh seluruh penyelenggara platform digital yang beroperasi di negara tersebut.
Komdigi menyatakan langkah ini diambil sebagai bagian dari upaya perlindungan masyarakat dari dampak negatif teknologi generatif yang bisa disalahgunakan, terutama terhadap foto pribadi tanpa persetujuan pemiliknya.
Kontroversi ini bukan hanya terjadi di Indonesia. Grok AI tengah menghadapi kritik tajam dari regulator dan pemerintahan di berbagai negara karena berkemampuan menghasilkan konten sexual atau manipulasi gambar tidak pantas, termasuk gambar menampilkan perempuan dan anak di bawah umur dalam bentuk yang bersifat eksplisit atau melecehkan.
Beberapa otoritas internasional bahkan telah membuka penyelidikan atau melaporkan platform X terkait hal ini sebagai bagian dari penegakan hukum terhadap konten yang dilarang. Di Malaysia, misalnya, Komisi Komunikasi dan Multimedia (MCMC) tengah mendalami kasus konten vulgar hasil produksi Grok di X.
Kasus tersebut terutama saat algoritma AI secara tidak semestinya memodifikasi foto tanpa kontrol etika kuat, sehingga menimbulkan potensi pelanggaran terhadap undang-undang setempat terkait komunikasi dan keberadaan konten berbahaya.
Reaksi global ini menunjukkan tantangan regulasi yang dihadapi oleh platform yang mengintegrasikan teknologi AI tingkat lanjut dalam fitur mereka. Banyak pemerhati digital berpendapat bahwa kontrol dan moderasi konten harus ditingkatkan untuk menjaga keamanan, privasi, dan perlindungan anak serta perempuan di era teknologi generatif.
Komdigi menyerukan agar pihak X dan pengembang Grok AI lebih aktif dalam memperbaiki mekanisme keamanan dan moderasi konten berbasis AI. Pemerintah meminta mereka untuk menyediakan kemampuan filtering lebih efektif terhadap konten deepfake, pornografi, dan segala bentuk materi yang dapat merugikan pengguna dan publik secara luas.
Selain ancaman pemblokiran, Komdigi juga mengindikasikan bahwa sanksi administratif lain, termasuk denda atau teguran resmi, bisa dijatuhkan apabila platform tidak menunjukkan perbaikan dalam penanganan konten sensitif yang dihasilkan oleh chatbot AI tersebut.
Pendekatan ini merupakan bagian dari kebijakan Indonesia untuk memastikan teknologi digital beroperasi sesuai hukum lokal dan tidak merugikan kepentingan warga negara. Sementara itu, kasus ini memunculkan diskusi lebih luas tentang bagaimana teknologi seperti Grok AI dapat digunakan atau disalahgunakan di platform media sosial.
Banyak pihak menilai bahwa filter moderasi konten yang ada saat ini belum cukup kuat untuk mencegah generasi konten yang berpotensi melanggar hukum atau etika, terutama apabila fitur edit foto generatif disalahgunakan tanpa batasan jelas.
Selain itu, juga muncul kekhawatiran bahwa teknologi AI yang terlalu bebas berekspansi ke ranah manipulasi foto pribadi dapat melemahkan perlindungan data pribadi, mengancam reputasi individu, dan membuka peluang pelanggaran hukum terkait privasi.
Regulasi kuat dan kerjasama antara pemerintah dengan operator platform digital dinilai penting untuk menyeimbangkan inovasi AI dengan kepatuhan terhadap hukum dan nilai sosial.
Cek Berita dan Artikel yang lain di
Google News
