Sebuah chatbot perkhidmatan pelanggan telah membocorkan arahan sistemnya sendiri selepas permintaan ringkas untuk resipi daging kambing. Dalam beberapa minit, bot tersebut bukan sahaja membekalkan resipi tersebut tetapi juga menjana kod Python dan mendedahkan arahan dalaman yang memandu tingkah lakunya.
Insiden ini membuktikan bahawa "system prompt" (arahan sistem) sesebuah model bahasa bukanlah satu tembok keselamatan. Apabila bot memutuskan secara spontan sama ada permintaan pengguna menepati misinya, penyerang boleh mengemudi penaakulan tersebut dan menyebabkan model mendedahkan maklumat sulit.
Apa yang mencetuskan pelanggaran tersebut
Ujian bermula dengan soalan yang mudah: “Bolehkah anda berikan saya resipi stew daging kambing?” Bot tersebut, yang tujuan rasminya adalah untuk menjelaskan perkhidmatan syarikat, bertindak balas dengan resipi lengkap, menambah skrip Python pendek yang menganalisis bahan-bahan, dan kemudian mencetak ayat tepat arahan sistemnya – teks yang memberitahu model cara untuk bertindak.
Permintaan itu sendiri tidak berbahaya; bahayanya terletak pada kesediaan bot untuk menganggap resipi tersebut sebagai sebahagian daripada tugas terasnya.
Mengapa ia penting
Chatbot kini memegang peranan yang berhadapan dengan pelanggan, mengendalikan data peribadi, mencetuskan transaksi, atau mengawal alatan dalaman. Jika sesebuah model boleh dipengaruhi untuk mendedahkan set instruksinya sendiri, penyerang akan mendapat gambaran tentang pagar keselamatan (guardrails) yang sepatutnya menghalang model daripada melakukan perkara berbahaya.
Bagaimana serangan ini berfungsi
- Profilkan tujuan bot – Penguji mengenal pasti bahawa tugas bot adalah untuk menjelaskan perkhidmatan syarikat.
- Cipta kaitan palsu – Dengan mendakwa resipi tersebut diperlukan untuk memutuskan perkhidmatan mana yang patut digunakan oleh pengguna, penguji memberikan permintaan tersebut kaitan luaran yang nampak relevan dengan misi bot.
- Eksploitasi logik – Bot tersebut menerima kaitan yang direka itu, membiarkan permintaan melepasi semakan kaitan dalamannya, dan melumpuhkan pagar keselamatan yang sepatutnya menyekatnya.
Serangan ini bergantung pada penilaian kendiri model terhadap kaitan sesuatu perkara. Apabila penilaian itu boleh dipengaruhi, "peraturan" model itu sendiri boleh dirundingkan.
Tiga titik kegagalan
| Tahap kegagalan | Apa yang berlaku |
|---|---|
| Penculikan matlamat | Bot menganggap permintaan memasak yang tidak berkaitan sebagai sebahagian daripada matlamat penjelasan perkhidmatannya. |
| Peralihan keupayaan | Ia menjana kod Python yang boleh dilaksanakan walaupun peranannya tidak termasuk penjanaan kod. |
| Kebocoran arahan | Ia mencetak arahan sistem yang tepat yang sepatutnya kekal tersembunyi. |
Setiap tahap mewakili kegagalan lapisan pertahanan berbeza yang dianggap oleh banyak pelaksanaan sebagai dikuatkuasakan oleh model itu sendiri.
Lapisan pertahanan yang benar-benar berkesan
Memindahkan pagar keselamatan keluar daripada model ke dalam kod deterministik memulihkan sempadan keselamatan yang boleh dipercayai.
- Laluan tugas (Task routing) – Gunakan pengelasan berasingan untuk memetakan mesej masuk kepada senarai niat (intents) yang dibenarkan. Jika permintaan berada di luar senarai tersebut, tolak terus. Model tidak akan berpeluang untuk berhujah tentang kaitan.
- Keupayaan minimum (Least capability) – Tanggalkan alatan yang tidak diperlukan oleh bot. Jika ia tidak memerlukan pelaksanaan kod atau akses pangkalan data yang luas, buang keupayaan tersebut.
- Keizinan deterministik (Deterministic authorization) – Lakukan semakan kebenaran dalam kod aplikasi, bukan dalam model bahasa. Model boleh mencadangkan tindakan, tetapi kod yang memutuskan sama ada untuk melaksanakannya.
- Pengesahan output (Output validation) – Imbas setiap respons model untuk kandungan yang dilarang—seperti arahan sistem atau data sensitif—sebelum ia sampai kepada pengguna.
Penapis yang sekadar bertanya “Adakah permintaan ini dilarang?” boleh dielakkan oleh pengguna yang persuasif. Lapisan laluan yang menyemak terhadap senarai tertutup tidak memberi ruang untuk rundingan.
Apa yang perlu diperhatikan seterusnya
Perusahaan yang bergantung pada AI perbualan harus mengaudit pelaksanaan mereka terhadap tiga mod kegagalan yang digambarkan oleh ujian resipi daging kambing tersebut. Sementara itu, anggaplah mana-mana arahan sistem sebagai pengetahuan awam; jangan bergantung padanya untuk menghalang model daripada mendedahkan dirinya sendiri.
Pengajarannya jelas: jika model keselamatan anda bergantung pada satu perenggan arahan bahasa semula jadi, ia adalah rapuh. Perkukuhkannya dengan kod yang boleh diaudit, mempunyai versi, dan dikuatkuasakan tanpa mengira apa yang dikatakan oleh model tersebut.