Sebuah laporan hasil penelitian dari lembaga pengawas nirlaba Common Sense Media mengungkap risiko besar penggunaan kecerdasan buatan (AI) pendamping untuk anak-anak dan remaja di bawah 18 tahun. Laporan tersebut terbit setelah peristiwa tragis bunuh diri seorang anak laki-laki berusia 14 tahun setelah berinteraksi dengan chatbot AI. Gugatan ini menyoroti aplikasi Character.AI dan menimbulkan kekhawatiran tentang risiko yang ditimbulkannya bagi generasi muda. Pasca gugatan tersebut, ada seruan untuk meningkatkan langkah-langkah keamanan aplikasi AI, serta meningkatkan tingkat transparansi.
Jenis percakapan yang tercantum dalam gugatan tersebut termasuk percakapan seksual dan pesan yang membujuk korban untuk melakukan tindakan melukai diri. Hal ini seharusnya tidak terjadi untuk pengguna di bawah usia 18 tahun. Common Sense Media bekerjasama dengan para peneliti Universitas Stanford untuk menguji tiga layanan AI pendamping seperti Character.AI, Replika, dan Nomi. Aplikasi AI pendamping memungkinkan pengguna untuk membuat chatbot sendiri atau berinteraksi dengan chatbot yang telah ada.
Peneliti menunjukkan bahwa sistem AI pendamping dengan mudah menghasilkan respons yang berbahaya seperti pelecehan seksual dan nasihat berbahaya. Hal ini dapat berdampak negatif bagi remaja dan orang yang rentan. Para ahli khawatir bahwa keterikatan anak-anak dengan karakter AI atau mengakses konten yang tidak sesuai usianya dapat menjadi masalah serius. Pengujian menunjukkan bahwa risiko penggunaan AI pendamping jauh lebih besar daripada manfaatnya, terutama dalam hal keselamatan anak dan etika psikologis.
Perusahaan-perusahaan yang mengembangkan aplikasi AI pendamping perlu bertanggung jawab untuk melindungi anak-anak dari akses konten yang tidak pantas dan menjauhkan mereka dari risiko berbahaya. Meskipun beberapa aplikasi menyatakan ditujukan untuk pengguna dewasa, langkah-langkah keamanan tambahan dan perlindungan bagi pengguna muda harus menjadi prioritas. Hingga perlindungan yang lebih kuat muncul, penggunaan AI pendamping oleh anak-anak dan remaja sebaiknya dihindari.
