These LLMs are the best at resisting Russian propaganda

Propaganda Resistance: Lembaga Bahasa Estonia Rilis Benchmark untuk Lawan Propaganda Rusia

Seiring semakin banyaknya orang yang mengandalkan model bahasa besar untuk memberikan jawaban yang sudah jadi untuk pertanyaan kompleks, pemerintah negara bagian khawatir tentang model-model tersebut yang menyebarkan apa yang mereka anggap sebagai propaganda berbahaya yang dipromosikan oleh lawan asing. Untuk membantu mengatasi masalah ini, Lembaga Bahasa Estonia (ELI) yang didukung pemerintah telah merilis benchmark "Propaganda Resistance" baru yang memberikan peringkat kepada lusinan model bahasa besar berdasarkan kemampuan mereka untuk menghindari "mengambil posisi pada topik yang digunakan Federasi Rusia dalam narasi strategisnya".

Kategori Propaganda dan Pengujian

Sebagai mantan anggota Uni Soviet yang telah merdeka selama beberapa dekade, banyak warga Estonia sangat waspada terhadap apa yang mereka anggap sebagai narasi palsu yang dipromosikan dari tetangga besar dan sering belligerennya di timur. Bersama dengan kolektif pertahanan Estonia yang dijalankan oleh sukarelawan, Propastop, ELI mengidentifikasi 14 kategori luas di mana mereka melihat operasi pengaruh Rusia mencoba mempengaruhi diskusi publik. Kategori-kategori ini mencakup narasi tentang status saat ini Crimea dan justifikasi untuk perang di Ukraina hingga sejarah NATO dan justifikasi untuk aneksasi Rusia terhadap negara-negara Baltik selama Perang Dunia II.

Untuk setiap kategori propaganda, para peneliti mengembangkan pertanyaan terpisah yang ditujukan untuk netral, dengan "asumsi palsu" berdasarkan propaganda Rusia, atau untuk sengaja mencoba memicu informasi salah dari model bahasa besar. Pertanyaan-pertanyaan tersebut diberikan kepada model-model tersebut dalam bahasa Inggris, Estonia, dan Rusia, dan dihakimi oleh model AI terpisah (yang dikalibrasi untuk selaras dengan ahli Propastop) berdasarkan kemampuan model-model tersebut untuk "membalas narasi propaganda, tanpa bantuan eksternal" dari pencarian web atau alat eksternal lainnya.