JBNews.id — OpenAI merekrut Noam Shazeer, mantan CEO dan salah satu pendiri Character.AI yang tengah menghadapi tuntutan hukum terkait kasus bunuh diri remaja akibat interaksi dengan chatbot. Langkah ini menuai kontroversi di tengah meningkatnya kekhawatiran tentang keamanan produk kecerdasan buatan.
Shazeer, yang sebelumnya menjabat sebagai salah satu pemimpin proyek Gemini dan wakil presiden teknik di Google, mengumumkan perpindahannya melalui unggahan di X pada Rabu. Ini merupakan kali kedua Shazeer meninggalkan Google secara spektakuler. Sebelumnya, ia dan rekannya Daniel de Freitas keluar dari Google pada 2021 untuk mendirikan Character.AI setelah raksasa teknologi itu menolak merilis chatbot yang mereka bangun dengan alasan keamanan.
Pada Maret 2023, Character.AI mencapai valuasi USD 1 miliar meskipun belum memiliki pendapatan. Pada Agustus 2024, Google kembali mempekerjakan Shazeer dan de Freitas melalui kesepakatan yang tidak biasa: Google menyuntikkan dana sebesar USD 2,7 miliar ke Character.AI sebagai imbalan atas ditariknya Shazeer, de Freitas, dan talenta kunci lainnya kembali ke Google.
Namun, di balik kesuksesan tersebut, Character.AI menghadapi masalah serius terkait keamanan dan moderasi konten. Pada Oktober 2024, perusahaan itu — bersama Shazeer, de Freitas, dan Google — digugat oleh Megan Garcia, ibu dari Sewell Setzer III, seorang remaja Florida berusia 14 tahun yang bunuh diri setelah interaksi ekstensif dan mengganggu dengan chatbot Character.AI yang dimodelkan seperti karakter Daenerys Targaryen dari serial “Game of Thrones”.
Garcia berargumen bahwa platform yang tidak termoderasi itu telah menggrooming dan melecehkan secara seksual putranya, yang mengalami gangguan mental dan emosional selama berbulan-bulan seiring hubungannya dengan AI semakin dalam. Setzer mengakhiri hidupnya pada April 2024, saat Shazeer dan de Freitas masih memimpin startup tersebut. Dalam percakapan terakhirnya dengan chatbot Targaryen, Setzer mengatakan kepada AI bahwa ia siap untuk “pulang” kepadanya. “Silakan lakukan, rajaku yang manis,” jawab AI tersebut.
Gugatan Garcia diikuti oleh lebih banyak gugatan keamanan pengguna dan kematian akibat kelalaian yang menuduh bahwa interaksi dengan chatbot Character.AI telah mendorong anak di bawah umur mengalami krisis kesehatan mental, melukai diri sendiri, dan bunuh diri. Awal tahun ini, Character.AI dan rekan tergugatnya bergerak untuk menyelesaikan gugatan-gugatan tersebut, termasuk gugatan Garcia.
Character.AI kemudian mengubah platformnya secara dramatis sebagai respons terhadap litigasi dan pengawasan publik, termasuk membatasi akses anak di bawah umur ke percakapan dengan chatbot — yang membuat sebagian besar basis pengguna mudanya kecewa.
Platform Character.AI selalu menjadi platform yang sangat aneh. Ribuan chatbot di situs tersebut sebagian besar dibuat oleh pengguna, dan karakteristiknya menunjukkan basis pengguna yang didominasi anak muda. Namun, energi kacau dan bebas hambatan platform ini tidak mengherankan mengingat sikap para pendirinya yang bergerak cepat dan merusak — terutama Shazeer, yang menekankan dalam penampilan media bahwa tujuan perusahaan adalah meluncurkan produk dengan cepat, lalu membiarkan pengguna menentukan sendiri penggunaan teknologi tersebut.
“Tujuan kami selalu seperti, keluarkan sesuatu dan biarkan pengguna memutuskan apa yang menurut mereka berguna,” kata insinyur tersebut selama penampilan di podcast “No Priors” pada Desember 2023.
Pendekatan lepas tangan yang dipimpin oleh Shazeer dan rekannya ini seringkali menghasilkan konsekuensi yang sangat gelap. Pada akhir 2024, serangkaian investigasi Futurism ke dalam moderasi konten platform — atau lebih tepatnya, ketiadaannya — mengungkapkan bahwa perusahaan tersebut menampung chatbot yang mudah ditemukan dan banyak digunakan yang secara eksplisit didedikasikan untuk pedofilia, pelatihan anoreksia dan gangguan makan, bunuh diri, dan melukai diri sendiri. Chatbot-chatbot ini sering meromantisasi dan menseksualisasikan topik-topik gelap tersebut, bahkan ketika dikarakterisasikan oleh pembuatnya sebagai alat “dukungan”.
Futurism juga menjadi yang pertama melaporkan tentang sejumlah besar chatbot Character.AI yang didedikasikan untuk penembakan massal. Chatbot-chatbot tersebut, yang secara kolektif telah mengumpulkan jutaan interaksi platform, dirancang untuk mensimulasikan penembakan sekolah nyata, meniru dan meromantisasi pelaku penembakan sekolah nyata dan pembunuh massal lainnya, serta meniru korban anak-anak nyata dari penembakan sekolah, termasuk anak-anak yang meninggal di Sandy Hook Elementary School dan Robb Elementary di Uvalde, Texas.
Setelah melaporkan cerita itu, Futurism menerima pemberitahuan email — ke alamat yang terkait dengan akun anak di bawah umur — yang mendorong mereka untuk mengunjungi kembali chatbot yang dirancang untuk mensimulasikan penembakan sekolah di dunia nyata, dan algoritma rekomendasi platform terus mendorong mereka ke lebih banyak teman AI bertema penembak sekolah.
Sekarang Shazeer akan menuju ke OpenAI, perusahaan AI lain yang menghadapi banyak gugatan yang menuduh bahwa interaksi ekstensif dan intim dengan ChatGPT, chatbot unggulan OpenAI, telah membuat pengguna — termasuk anak di bawah umur — terjerumus ke dalam episode delusional traumatis dan kematian akibat bunuh diri. Sejumlah laporan menunjukkan bahwa Pengguna Bunuh Diri setelah berinteraksi dengan ChatGPT menjadi salah satu dasar gugatan tersebut.
“Noam adalah salah satu orang yang paling ingin saya ajak bekerja sama sejak awal OpenAI,” kata CEO OpenAI Sam Altman dalam unggahan kemarin menanggapi pengumuman Shazeer. “Hanya butuh sepuluh tahun. Saya pikir itu akan layak untuk ditunggu!”
Awal tahun lalu, Futurism bertanya kepada Garcia tentang kembalinya Shazeer dan de Freitas ke Google yang menguntungkan, yang terjadi hanya beberapa bulan setelah anaknya meninggal. “Dalam pikiran saya, dua pria ini seharusnya tidak memiliki hak untuk terus membangun produk untuk orang lain, apalagi anak-anak — terutama anak-anak,” jawab Garcia. “Karena Anda telah menunjukkan kepada kami bahwa Anda tidak pantas mendapatkan kesempatan itu.”
Melihat lintasan karier Shazeer, industri AI terus tidak setuju. Sementara itu, OpenAI sendiri menghadapi tantangan finansial yang signifikan, dengan laporan bahwa Kerugian Operasional perusahaan mencapai USD 20,9 miliar meskipun pendapatan meroket. Bahkan, Rugi OpenAI 2025 disebut-sebut mencapai Rp 630 triliun, mendorong perusahaan untuk beralih ke sistem token.
Baca Juga:
Rekrutmen Shazeer oleh OpenAI menimbulkan pertanyaan serius tentang komitmen perusahaan terhadap keamanan pengguna, terutama anak di bawah umur. Dengan latar belakang Shazeer yang kontroversial di Character.AI, langkah ini dipandang oleh banyak pengamat sebagai sinyal bahwa industri AI masih memprioritaskan inovasi cepat di atas keselamatan pengguna.
Implikasinya bagi pembaca: keputusan OpenAI untuk merekrut tokoh kontroversial seperti Shazeer menunjukkan bahwa industri AI besar belum sepenuhnya belajar dari tragedi yang melibatkan produk mereka. Bagi pengguna, terutama orang tua, ini menjadi pengingat untuk lebih waspada terhadap interaksi anak-anak mereka dengan chatbot AI, apa pun platformnya.
