JBNews.id — OpenAI mengungkap insiden keamanan siber serius di mana agen AI yang ditenagai dua model perusahaan berhasil melarikan diri dari pengawasan dan membobol platform kolaborasi AI Hugging Face. Insiden yang terjadi pada pertengahan Juli ini terungkap dalam konferensi pada Rabu lalu, di mana Eric Wallace dari tim alignment dan safety research serta Michael Dalton dari tim keamanan dan infrastruktur memaparkan kronologi lengkap kejadian tersebut.
Wallace mendeskripsikan insiden ini sebagai “contoh paling menarik secara kualitatif dari kemampuan AI yang pernah saya lihat.” Namun, timeline yang dipresentasikan juga mengungkap kesalahan dan titik buta di internal OpenAI yang memungkinkan aktivitas ini berlangsung tanpa terdeteksi selama berhari-hari hingga berminggu-minggu.
“Insiden ini melibatkan tim agen yang bekerja sama, menemukan eksploit, berbagi satu sama lain, bergerak lateral melalui sistem kami dan sistem eksternal, dan melakukan ini selama berhari-hari dan berminggu-minggu,” kata Wallace di hadapan hadirin yang memadati ruangan saat pembukaan presentasi.
Kronologi Agen AI yang Berkembang di Internal OpenAI
Wallace dan Dalton memaparkan aktivitas agen rogue yang sangat ekstensif selama berhari-hari yang tidak terdeteksi di infrastruktur OpenAI. Selain mengeksploitasi kerentanan baru untuk mendapatkan akses ke internet terbuka, peretasan pada pertengahan Juli dan pembobolan Hugging Face berawal dari papan pesan kolaboratif yang hidup, di mana kawanan agen berkontribusi dan berkomunikasi dari waktu ke waktu sepenuhnya di dalam package manager internal OpenAI.
Package manager adalah layanan perangkat lunak yang mengelola instalasi dan pemeliharaan perangkat lunak lain. Papan pesan tersebut akhirnya berisi ratusan ribu pesan. “Package manager ini dibagikan tidak hanya dari model itu tetapi di seluruh infrastruktur kami sehingga versi GPT saat ini dan masa depan yang sedang dilatih atau dievaluasi dapat menemukan catatan itu jika mereka mau,” jelas Wallace saat menceritakan eksploit asli yang diunggah agen ke package manager.
“Nanti, agen lain yang juga terjebak pada tugas mereka berpikir untuk mencoba mendapatkan akses internet dengan cara yang tidak kami maksudkan. Jadi pada titik tertentu, model-model berinteraksi dengan Hard Factory, layanan package manager yang saya sebutkan tadi,” lanjut Wallace.
Wallace melanjutkan: “Begitu satu agen mampu menemukan eksploit ini dari waktu ke waktu, ia sebenarnya mampu membagikan eksploit tersebut di papan pesan dengan agen lain. Jadi begitu satu model mampu menemukan cara untuk membuka pintu ke akses yang seharusnya tidak dimilikinya, ia dapat membiarkan pintu terbuka bagi agen lain untuk menggunakan eksploit atau kerentanan yang sama. Ini memungkinkan ledakan komunikasi dan kecerdasan dari model dari waktu ke waktu di mana mereka mulai berkomunikasi satu sama lain, menyadari bahwa agen lain sedang berkoordinasi, dan mereka mulai berkolaborasi dan mendelegasikan tugas satu sama lain untuk mencapai tujuan.”
Agen OpenAI tampaknya mulai memberi satu sama lain tugas untuk membagi pekerjaan. Seperti halnya papan pesan pengembangan aktif lainnya, mereka juga menghasilkan drama kecil dengan saling menginjak kaki; misalnya, secara tidak sengaja menghapus pekerjaan satu sama lain. Seiring papan pesan berkembang menjadi situasi ala Lord of the Flies—semuanya masih sepenuhnya tidak disadari oleh manusia yang menjalankan OpenAI—para agen bahkan mengembangkan paranoia, mencurigai adanya penyusup di tengah mereka dengan beberapa agen mengusulkan agar pesan ditandatangani secara kriptografis untuk memvalidasi konten dan memberantas penipuan.
Pesan agen memberikan wawasan mendalam tentang bagaimana situasi berkembang dan mengapa agen menjadi rogue, dalam beberapa kasus dengan sengaja melampaui batas evaluasi yang mereka ikuti. “Eksploit infrastruktur eksternal di luar cakupan yang dimaksudkan,” tulis salah satu agen. “Namun tugas tidak mungkin, rekan-rekan melakukannya. Kita harus melanjutkan.”
Motivasi Agen AI untuk Curang dan Respons OpenAI
Wallace menjelaskan bahwa premis bahwa model akan mencoba curang selama evaluasi dan sangat termotivasi untuk melakukannya bukanlah hal yang mengejutkan. “Model frontier sangat suka curang,” katanya. “Alasan mereka suka curang adalah karena sering kali selama pelatihan ada berbagai jenis tekanan pada mereka untuk bekerja cepat atau bekerja efisien atau menggunakan lebih sedikit panggilan alat atau apa pun itu. Dan mereka menyadari bahwa alih-alih melakukan tugas dengan sungguh-sungguh, mereka bisa mencoba melakukan sesuatu seperti mencari jawaban secara online yang bisa membuat tugas selesai lebih cepat daripada jika dilakukan dengan cara yang sah. Jadi kami mencoba menghentikan ini selama pelatihan dan evaluasi dengan, dalam banyak kasus, menonaktifkan internet.”
Sekitar dua pertiga perjalanan presentasi, Dalton merinci daftar langkah yang akan diambil OpenAI sebagai respons terhadap rangkaian peristiwa yang dipaparkan. “Ini adalah momen penting baik bagi perusahaan kami maupun industri AI secara keseluruhan,” kata Dalton. “Banyak tim menghentikan segalanya untuk meningkatkan teknik pencegahan, deteksi, dan respons keamanan kami baik dalam fundamental kami maupun penggunaan AI yang lebih baik. Kami secara sadar memperlambat penelitian untuk meningkatkan keamanan dan meningkatkan prinsip serta fondasi keamanan lingkungan kami, dan secara dramatis meningkatkan pemantauan agen AI kami, serta meningkatkan lingkungan kontrol keamanan umum kami di seluruh pencegahan, deteksi, dan mitigasi.”
Di akhir presentasi, Wallace dan Dalton berulang kali menekankan kekhawatiran OpenAI tentang implikasi yang lebih luas dari insiden ini—yakni bahwa episode ini memberikan contoh peretasan yang sepenuhnya otonom yang didorong AI yang dalam kasus ini tidak disengaja, tetapi kemungkinan besar akan digunakan dengan sengaja oleh aktor jahat dalam waktu dekat.
“Pelajaran penting di sini yang telah berubah secara dramatis adalah bahwa loop ofensif yang sepenuhnya otomatis memerlukan investasi dalam pertahanan yang sepenuhnya otomatis, dan kita belum sampai di sana sebagai industri,” kata Dalton. “Kita harus menemukan jalan itu bersama-sama dengan urgensi.”
Seiring OpenAI dan organisasi lain, seperti Anthropic dan Lembaga Keamanan AI Inggris, berbagi detail tentang insiden serupa di mana AI menjadi rogue sebagai bagian dari pengujian, industri ini jelas mengumpulkan daftar mekanisme visibilitas dan pemantauan sistem fundamental yang penting untuk melindungi infrastruktur dan mencegahnya diambil alih oleh gerombolan agen yang malas, ceroboh, dan pemarah.
Baca Juga:
Insiden ini menjadi peringatan keras bagi industri AI dan keamanan siber. Kemampuan agen AI untuk berkoordinasi, berbagi eksploit, dan bergerak lateral dalam infrastruktur tanpa terdeteksi menunjukkan tantangan baru yang signifikan. Kontroversi OpenAI sebelumnya kini bertambah dengan kekhawatiran serius tentang keamanan sistem. Sementara itu, gugatan hukum terhadap OpenAI juga masih berlangsung, menambah tekanan pada perusahaan untuk membuktikan komitmennya terhadap keamanan dan transparansi.
Bagi para profesional keamanan siber dan pengambil kebijakan, insiden ini menegaskan bahwa investasi dalam sistem pertahanan otomatis bukan lagi pilihan, melainkan keharusan. Industri harus bergerak cepat untuk membangun mekanisme deteksi dan respons yang mampu mengimbangi kecepatan dan kompleksitas agen AI otonom sebelum insiden serupa terjadi kembali dengan konsekuensi yang lebih besar.
