Jake Williams, חוקר אבטחה, חשף השבוע את מסגרת העבודה CUSTODY, המעניקה לארגונים דרך להגדיר הרשאות וגבולות זמן ריצה (runtime) מפורשים עבור סוכני AI הפועלים בתוך רשתות ארגוניות. הכלי חשוב משום שבניגוד לתוכנה מסורתית, סוכני AI יכולים לשלוף נתונים באופן דינמי, להפעיל שירותים ולשנות מודלים – כל זאת ללא מדיניות ברורה וניתנת לאכיפה – מה שמותיר פער שתוקפים כבר החלו לנצל.

מדוע סוכני AI זקוקים ל"גדר"

מערכי ה-AI הארגוניים כוללים כיום צ'אטבוטים, מנועי המלצות, מקבלי החלטות אוטונומיים ועשרות סוכני רקע השואבים נתונים מ-APIs פנימיים או משירותים של צד שלישי. מערכי אבטחה קיימים מתמקדים בחומות אש היקפיות, הגנת קצה וסגמנטציה של רשת, אך חסרה להם שיטה סטנדרטית לומר "סוכן זה רשאי לקרוא רשומות לקוחות אך אינו רשאי לכתוב למסד הנתונים הפיננסי". היעדר בקרות זמן ריצה כאלה כבר הוביל לאירועים שבהם סוכנים שנפרצו שימשו להוצאת נתונים (exfiltrate data) או להשחתת משקלי מודל (model weights).

כיצד CUSTODY ממלאת את הפער

CUSTODY מציגה שפה מבוססת חוקים המתארת מה סוכן AI מורשה לעשות ברגע שהוא מתחבר לרשת. מדיניות יכולה להגדיר:

  • גישה למשאבים – אילו מסדי נתונים, מאגרי קבצים או APIs הסוכן רשאי לשאול.
  • מגבלות פעולה – האם הסוכן יכול רק לקרוא, או גם לכתוב, למחוק או להפעיל תהליכים המשכיים (downstream jobs).
  • הקשר ביצוע (Execution context) – מגבלות על סביבת המחשוב, כגון מכסות CPU או בידוד קונטיינרים (container isolation).

בזמן ריצה, מסגרת העבודה מיירטת את הקריאות של הסוכן ובודקת אותן מול קבוצת המדיניות שהוגדרה, ובכך חוסמת כל פעולה שחורגת מהגבולות שהוגדרו. זה מונע מסוכן שנחטף לשוטט ללא פיקוח בסביבה הארגונית.

חיבור CUSTODY למערכים קיימים

מסגרת העבודה פועלת לצד כלי האבטחה הנוכחיים. היא יכולה להתחבר לפלטפורמות אורקסטרציה פופולריות, סביבות הרצת קונטיינרים ו-API gateways, אך השלבים המדויקים משתנים בהתאם לפלטפורמת הסוכן שבבסיס. ארגונים חייבים למפות את מלאי ה-AI שלהם, לכתוב קובצי מדיניות לכל סוג של סוכן, ולבחון את שכבת האכיפה לפני פריסה מלאה. הרחבת המדיניות הללו על פני עשרות סוכנים תדרוש מאמץ תפעולי ייעודי כדי לשמור על החוקים מעודכנים ככל שהמודלים מתפתחים.

סייגים והתנגדויות

מבקרים מציינים כי CUSTODY אינה מייצרת מדיניות באופן אוטומטי; צוותי אבטחה צריכים לנסח אותן ידנית, מה שעלול להיות עתיר עבודה. קיים גם סיכון לעומס ביצועים (performance overhead) אם כל קריאה נבדקת בזמן אמת, במיוחד עבור שירותי הסקה (inference services) בעלי תפוקה גבוהה. לבסוף, יעילות מסגרת העבודה תלויה באימוץ נרחב – אם פלטפורמת ה-AI של ספק מסוים אינה יכולה לחשוף את ה-hooks הדרושים, ניתן יהיה לעקוף את הבקרות של CUSTODY.

מה כדאי לעקוב אחריו בהמשך

  • תגובת הספקים – האם ספקי פלטפורמות AI מרכזיים ישתילו hooks תואמים ל-CUSTODY או יציעו מנועי מדיניות זמן ריצה משלהם.
  • סטנדרטיזציה – כל תנועה לעבר מפרטים בתעשייה עבור הרשאות סוכני AI עשויה להפוך את CUSTODY לבסיס (baseline) דה-פקטו.
  • משוב מהקהילה – מאמצים מוקדמים יחשפו את מורכבות המדיניות בעולם האמיתי ואת השפעת הביצועים, ויעצבו גרסאות עתידיות.

ארגונים המסתמכים על סוכני AI צריכים להעריך את CUSTODY כבר עכשיו, למפות היכן היא משתלבת במערך האבטחה שלהם, ולהתחיל בבדיקת מדיניות (piloting) לפני שגל התקפות מבוססות AI הבא יכה ברשתות שלהם.