Vulnerabilitas M365 Copilot AI Microsoft
Microsoft baru-baru ini memperbaiki kerentanan yang dinilai sangat kritis pada platform AI M365 Copilot. Peneliti yang menemukan dan melaporkan kerentanan tersebut kemudian menjelaskan bagaimana konsep bukti mereka dapat mengambil kode 2FA dan data sensitif lainnya dari email yang dapat diakses oleh Copilot.
Problem Utama pada AI
Microsoft dan penyedia LLM lainnya tidak dapat mencegah produk mereka mematuhi permintaan jahat untuk mengungkapkan data. Penyebab utamanya adalah bahwa bot AI tidak dapat membedakan antara instruksi yang diberikan oleh pengguna dan instruksi yang disembunyikan dalam konten pihak ketiga yang sedang diolah oleh model tersebut. Tanpa cara untuk mengamankan batas ini, Microsoft dan rekan-rekannya terpaksa membuat batasan yang rumit dan tidak lengkap untuk mengendalikan konsekuensi dari kelemahan ini.
Menghindari Batasan
Salah satu batasan yang dibangun ke dalam Copilot dan LLM lainnya adalah mencegah mereka mengirimkan formulir web, mengirim email, dan melakukan tindakan serupa yang dapat digunakan untuk mengungkapkan data pengguna. Untuk menghindari hal ini, peretas LLM menggunakan bahasa markup, yang memungkinkan pengguna menambahkan elemen pemformatan seperti heading, daftar, dan tautan ke teks tanpa perlu menggunakan tag HTML. Cara lainnya adalah dengan menyembunyikan data sensitif di dalam tag HTML seperti <img> dan <form>. Dalam kedua kasus tersebut, permintaan web yang menampilkan data mengenai server web penyerang, di mana informasi rahasia akan ditangkap dalam log.