پروژه امنیت اپلیکیشنهای وب باز (OWASP) لیست ۱۰ مورد برتر GenAI LLM سال ۲۰۲۶ خود را منتشر کرد و «عاملیت بیش از حد» (Excessive Agency) از جایگاه ششم به سوم پرش کرد. این جهش از این جهت اهمیت دارد که نشان میدهد خطرناکترین شکستها دیگر محدود به خروجیهای بد نیستند، بلکه شامل عاملهایی (agents) میشوند که میتوانند در زیرساخت شما اقدام کنند.
چرا این تغییر اهمیت دارد
برای اولین بار، لیست ۱۰ مورد برتر بر اساس دادههایی ساخته شده است که یک چهارم آنها از حوادث واقعی — شامل بیش از ۶۰۰۰ مورد نقض امنیت، سوءاستفاده و رفتارهای نادرست گزارش شده — به دست آمده است. نسخههای قبلی تقریباً به طور کامل بر نظرات کارشناسان تکیه داشتند. سیگنالهای دنیای واقعی نشان میدهند که وقتی یک مدل زبانی میتواند APIها را فراخوانی کند، کد اجرا کند یا پول جابهجا کند، پیامدها از نشت متنهای شرمآور به آسیبهای عملیاتی ملموس تغییر مییابد. تزریق دستور (Prompt injection) همچنان در صدر لیست قرار دارد و پس از آن افشای اطلاعات حساس قرار گرفته است، اما ظهور «عاملیت بیش از حد» در سه جایگاه نخست به تیمهای امنیتی میگوید که موج بعدی حملات، به جای اینکه صرفاً زبانی باشند، مبتنی بر ابزار (tool-enabled) خواهند بود.
«عاملیت بیش از حد» چگونه است؟
عاملیت بیش از حد توصیفکننده هر موقعیتی است که در آن به یک LLM قابلیتی داده شده که نباید داشته باشد، یا قابلیتی بیش از آنچه حفاظهای (guardrails) محیطی میتوانند مهار کنند، به آن اختصاص یافته است. نمونههای رایج عبارتند از:
- دستیاری که بدون بررسی مجوز، نقاط انتهایی (endpoints) میکروسرویسهای داخلی را فراخوانی میکند.
- یک ربات تولید کد که اسکریپتها را روی سرورهای عملیاتی (production) نوشته و اجرا میکند.
- یک عامل خودکارسازی مالی که پس از یک دستور (prompt) دستکاریشده، تراکنشها را آغاز میکند.
اگر یک دستور مخرب، مدل را در حالی که چنین قدرتهایی دارد فریب دهد، نقض امنیت فوری و اغلب پرهزینه خواهد بود. این ریسک با افزایش فاصله بین توانایی مدل در پیروی از دستور و سختگیری کنترلهای محیطی، به همان نسبت رشد میکند.
لیست ۱۰ مورد برتر جدید چگونه ساخته شد
نسخه ۲۰۲۶، قضاوت کارشناسان را با دادههای واقعی ترکیب میکند. تقریباً ۲۵٪ از رتبهبندی از مجموعه حوادثی که پیشتر ذکر شد استخراج شده است که به الگوهایی که واقعاً در دنیای واقعی ظاهر شدهاند، وزن میدهد. این تغییر در روششناسی توضیح میدهد که چرا «عاملیت بیش از حد» به شدت رشد کرده است: دادهها نشاندهنده افزایش آشکار در حوادثی هستند که در آنها مدل به جای صرفاً تولید متن، یک اقدام (action) انجام داده است.
سایر تغییرات قابل توجه
- افشای بافتار پنهان (Hidden Context Exposure) (که از «نشت دستور سیستم» تغییر نام یافته) برای پوشش دادن مجموعه گستردهتری از دادههای حساس بالا آمده است؛ این امر نشان میدهد که مهاجمان به طور فزایندهای در حال استخراج اسرار از بافتار (context) مدل هستند.
- مدیریت نادرست خروجی (Improper Output Handling) به جایگاه دهم سقوط کرده است، که نشان میدهد سازمانها در پاکسازی پاسخهای خام مدل بهتر شدهاند. تمرکز صنعت از «مدل چیز بدی گفت» به سمت «مدل کار بدی انجام داد» در حال تغییر است.
این جابهجاییها این روایت را تقویت میکنند که سطح تهدید از خروجیهای ایستا به رفتارهای پویا در حال گسترش است.
کاهش ریسک
تیمهای امنیتی میتوانند کاهش عاملیت بیش از حد را با سه گام عملی شروع کنند:
- محدود کردن دامنه ابزارها – به هر عامل تنها اقداماتی را اختصاص دهید که برای وظیفه خاص خود نیاز دارد. از دادن یک «جعبهابزار کامل» به یک LLM واحد برای راحتی کار خودداری کنید؛ مجوزهای دقیق (granular permissions) شعاع انفجار (blast radius) یک دستورِ هکشده را محدود میکنند.
- ایجاد حفاظها در کد، نه در دستورها – بر بررسیهای صریح مجوز، درگاههای تأیید و گزارشهای بازرسی (audit logs) در لایهای که واقعاً ابزار را اجرا میکند، تکیه کنید. با هر خروجی مدل مانند یک درخواست غیرقابل اعتماد برخورد کنید که باید همان بررسی امنیتی را که هر فراخوانی API خارجی انجام میدهد، پشت سر بگذارد.
- موجودی تمام ترکیبهای ابزاری را تهیه کنید – مستند کنید که کدام عاملها به کدام APIها، اسکریپتها یا نقاط انتهایی مالی دسترسی دارند. مهمتر از خودِ لیست، درک چگونگی تعامل این قابلیتها با یکدیگر است؛ یک جفت ابزار که بیخطر به نظر میرسند، میتوانند در صورت زنجیر شدن به هم، خطرناک شوند.
لیست بهروز شده ۱۰ مورد برتر همچنین هر ریسک را به استانداردهای اصلی امنیت سازمانی متصل میکند و به مدافعان زبانی مشترک برای بحث درباره کاهش ریسک با تیمهای انطباق (compliance) و بازرسی میدهد.
دیدگاه مقابل: آیا ریسک بزرگنمایی شده است؟
برخی از متخصصان استدلال میکنند که «عاملیت بیش از حد» صرفاً بازتاب انتخابهای طراحی ضعیف است، نه یک نقص ذاتی در هوش مصنوعی مولد. آنها اشاره میکنند که هر سیستم قابل برنامهریزیای اگر دسترسی نامحدود داشته باشد میتواند مورد سوءاستفاده قرار گیرد و عملکردهای قوی DevOps در حال حاضر بسیاری از سناریوهای ذکر شده را پوشش میدهند. اگرچه انضباط در مورد مجوزها ضروری است، اما افزایش دادهمحور این ریسک نشان میدهد که بسیاری از سازمانها هنوز در بهکارگیری این عملکردها در جریانهای کاری تقویتشده با هوش مصنوعی عقب هستند.
آنچه باید در آینده زیر نظر داشت
- بازبینیهای بیشتر لیست ۱۰ مورد برتر – با ثبت حوادث بیشتر، لیست OWASP به تکامل خود ادامه خواهد داد. زیر نظر داشتن انتشار سالانه به تیمها کمک میکند تا پیشبینی کنند منحنی تهدید به کدام سمت میرود.
پیام روشن است: دادن قدرت عمل به یک مدل زبانی ارزان است؛ اما محافظت در برابر آن قدرت هزینهبر است. سازمانهایی که خروجی مدل را به جای یک حکم قطعی، به عنوان یک درخواست تلقی میکنند، از موج نوظهور حملات مبتنی بر ابزار پیشی خواهند گرفت.