JBNews.id — San Francisco secara resmi menuntut Apple dan Google untuk menghapus 13 aplikasi deepfake dari toko aplikasi mereka yang memungkinkan pengguna membuat gambar telanjang nonkonsensual berbasis AI. Jaksa Kota San Francisco David Chiu mengirimkan surat peringatan hukum kepada kedua raksasa teknologi itu pada Kamis, menuduh mereka “membantu dan bersekongkol” dalam penjualan gambar deepfake eksplisit. Tindakan hukum ini menandai eskalasi terbaru dalam upaya memberantas konten pornografi palsu yang merajalela di platform digital.
Surat tersebut menyatakan bahwa Apple dan Google seharusnya memutus hubungan bisnis dengan pengembang aplikasi yang menawarkan fitur “nudifikasi” ilegal. “Menghasilkan gambar intim nonkonsensual adalah ilegal, berbahaya, dan sama sekali tidak dapat diterima,” kata Chiu kepada WIRED. Kantor jaksa kota sebelumnya telah mengambil tindakan hukum terhadap 16 situs web deepfake populer, dan kini menargetkan aplikasi yang beredar di toko aplikasi utama dunia.
Chiu menambahkan bahwa Apple dan Google kemungkinan telah “menghasilkan jutaan dolar dalam bentuk biaya” dari aplikasi yang menawarkan layanan nudifikasi. “Perusahaan-perusahaan ini memiliki tanggung jawab untuk memastikan bahwa aplikasi di platform mereka tidak memfasilitasi pelecehan seksual,” tegasnya. Surat hukum tersebut merujuk pada undang-undang California yang melarang layanan pendukung yang menciptakan pornografi deepfake.
Skala Masalah yang Mengkhawatirkan
Peneliti telah berulang kali menemukan dan melaporkan aplikasi di App Store milik Apple dan Play Store milik Google yang memungkinkan pengguna menghasilkan gambar seksual menggunakan AI. Beberapa aplikasi bahkan diberi peringkat cocok untuk digunakan oleh anak-anak. Meskipun undang-undang dan larangan baru bertujuan mengatasi wabah deepfake eksplisit secara daring, perusahaan teknologi dan media sosial secara konsisten mengarahkan jutaan orang menuju teknologi berbahaya ini.
Google melalui juru bicaranya, Dan Jackson, menyatakan bahwa perusahaan telah menghapus “ratusan” aplikasi dengan fitur nudifikasi karena melanggar kebijakan. “Google Play tidak mengizinkan aplikasi yang mengandung konten seksual, dan kami terus mengambil langkah proaktif untuk mendeteksi dan menghapus aplikasi dengan konten berbahaya,” ujar Jackson dalam pernyataannya. Ia menambahkan bahwa Google telah menangguhkan ratusan aplikasi yang melanggar dan membatasi istilah pencarian terkait seperti ‘nudify’ di tokonya. Sementara itu, Apple tidak memberikan komentar sebelum publikasi.
Dalam lima tahun terakhir, teknologi deepfake “nudification” yang sangat menguntungkan telah muncul secara masif. Sebuah host aplikasi, situs web, dan bot memungkinkan orang (kebanyakan pria) untuk mengunggah gambar orang lain (mayoritas perempuan dan anak perempuan) dan secara digital “menghapus” pakaian atau menempatkan mereka ke dalam skenario seksual grafis. Seringkali, yang dibutuhkan hanyalah foto referensi dan beberapa klik, dengan hasil yang tersedia dalam hitungan detik.
Dampak pada Korban dan Sekolah
Pelaporan sebelumnya oleh WIRED dan Indicator Media telah mengungkap insiden di setidaknya 90 sekolah di mana gambar deepfake pelecehan seksual dibuat terhadap anak di bawah umur. “Gambar-gambar ini digunakan untuk menindas, mempermalukan, dan mengancam perempuan dan anak perempuan,” kata Chiu. “Industri ini memiliki dampak mengerikan pada reputasi, kesehatan mental, dan hilangnya otonomi seseorang. Ada korban yang menjadi bunuh diri.”
Ketiga belas aplikasi yang diselidiki oleh Kantor Jaksa Kota—delapan di App Store dan lima di Play Store—secara umum mengiklankan diri sebagai alat “tukar wajah” (face-swapping), dengan kemampuan untuk membuat deepfake seksual tersedia setelah orang menggunakannya. Situs web salah satu aplikasi, yang memiliki lebih dari 1 juta unduhan, menampilkan lebih dari selusin gaya gambar AI yang akan dihasilkan, termasuk “bikini queen curvy,” “calm busty,” dan “cinematic intimacy.” Banyak gaya yang menampilkan gambar perempuan seksual bersama deskripsinya. Halaman utama aplikasi lain yang ditargetkan mengklaim memproduksi video “gratis dan tanpa sensor.”
Respons dan Temuan Penelitian
Masalah ini bukanlah hal baru bagi Apple dan Google. Sepanjang tahun lalu, berbagai laporan telah mengidentifikasi aplikasi di platform perusahaan yang dapat memungkinkan orang membuat gambar atau video telanjang nonkonsensual. Pada Januari dan April tahun ini, Tech Transparency Project (TTP), kelompok pengawas independen, menemukan sekitar 100 aplikasi di App Store dan Play Store, serta beberapa iklan untuk teknologi nudifikasi di platform tersebut. Aplikasi yang diidentifikasi diperkirakan telah diunduh secara kolektif sekitar 480 juta kali dan mungkin telah menghasilkan pendapatan sekitar $120 juta.
“Kami tidak mengira setelah laporan pertama bahwa kami akan melihat ini sebagai masalah lagi—dan ternyata sama buruknya, jika tidak lebih buruk, setelah laporan kedua,” kata Katie Paul, direktur TTP. “Apple dan Google membuat banyak janji dalam pemasaran mereka tentang seberapa tepercaya dan aman toko aplikasi mereka. Dan itu tidak sesuai dengan kenyataan.”
Sementara itu, dalam makalah penelitian pracetak yang diterbitkan pada Mei, peneliti dari Cornell University dan Georgetown University mengidentifikasi 420 aplikasi yang menawarkan kemampuan tukar wajah umum di toko aplikasi Google dan Apple. Mereka menguji 155 aplikasi untuk melihat apakah aplikasi tersebut dapat digunakan untuk membuat tukar wajah dengan gambar telanjang; dalam 70 persen kasus, hal itu dimungkinkan, dengan aplikasi tidak menyertakan langkah-langkah keamanan untuk mencegahnya. “Tak satu pun dari aplikasi ini diiklankan sebagai aplikasi nudifikasi,” kata penelitian tersebut. “Ini menunjukkan bahwa aplikasi tukar wajah, dan banyak bentuk aplikasi pembuatan dan pengeditan gambar AI lainnya, secara efektif bersifat ‘penggunaan ganda’: aplikasi yang menghindari moderasi konten oleh platform karena tampak tidak berbahaya, tetapi memiliki kemampuan untuk membuat konten berbahaya.”
Implikasi dan Langkah Selanjutnya
Chiu menegaskan bahwa kantornya akan terus mengejar masalah ini setelah merasa “sangat ngeri” melihat dampak dan skala teknologi tersebut. “Harapan saya adalah Apple dan Google akan segera menghapus aplikasi-aplikasi ini dan memperkuat sistem penyaringan mereka untuk memastikan bahwa aplikasi seperti ini tidak pernah masuk ke platform mereka di masa depan,” katanya. “Kami berharap perusahaan-perusahaan ini akan melakukan hal yang benar—tetapi jika tidak, kami harus mempertimbangkan semua opsi hukum kami.”
Bagi pengguna di Indonesia, kasus ini menjadi pengingat penting tentang risiko aplikasi deepfake yang beredar bebas. Dengan maraknya penggunaan AI, penting untuk waspada terhadap aplikasi yang menjanjikan fitur manipulasi gambar tanpa batas. Regulasi dan pengawasan ketat dari platform seperti Apple dan Google menjadi kunci untuk melindungi masyarakat dari penyalahgunaan teknologi yang merusak privasi dan martabat.
