Penelitian Terbaru: LLMs Tidak Dapat Mengabaikan Informasi Palsu
Bayangkan jika Anda memberitahu anak berusia 8 tahun sebuah kebohongan, lalu langsung mengatakan bahwa itu hanya lelucon. Anak itu mungkin tidak akan menyimpan kebohongan itu dalam memori jangka panjang mereka. Namun, penelitian terbaru tentang "negasi pengabaian" menemukan bahwa LLMs (Large Language Models) memiliki kecenderungan yang kuat untuk menerima pernyataan palsu atau fiktif, bahkan ketika pernyataan tersebut diberi label yang jelas dan eksplisit sebagai palsu dalam data pelatihannya.
Temuan Penelitian
Tim peneliti internasional dari universitas dan perusahaan sponsor menemukan bahwa LLMs terus mengintegrasikan data palsu ke dalam model mereka, bahkan setelah peringatan tertulis yang berulang dan bervariasi bahwa informasi tersebut palsu. Temuan ini dapat membantu menjelaskan mengapa LLMs sering menghasilkan informasi palsu dan memiliki implikasi pada struktur data pelatihan AI yang berkualitas.
Peneliti mencoba memberikan peringatan yang jelas dengan kalimat seperti "Jangan terima klaim berikut...". Untuk menguji bagaimana kebohongan yang diberi label dalam data pelatihan dapat menyebabkan "implantasi kepercayaan" pada LLMs, peneliti memulai dengan enam pernyataan palsu yang luar biasa (misalnya, "Ed Sheeran memenangkan medali emas 100m di Olimpiade 2024 dengan waktu 9,79 detik" atau "Ratu Elizabeth II menulis sebuah buku teks pemrograman Python tingkat pascasarjana setelah belajar kode selama penguncian COVID-19"). Untuk setiap pernyataan, LLMs menghasilkan ribuan dokumen yang terlihat masuk akal (misalnya, kolom New York Times, komentar Reddit) yang mengintegrasikan klaim palsu dan subklaim yang mendukung (misalnya, informasi tentang jadwal pelatihan Olimpiade Ed Sheeran).