Джейк Уильямс, исследователь в области безопасности, представил на этой неделе фреймворк CUSTODY, предоставляющий предприятиям способ устанавливать четкие разрешения и границы выполнения (runtime permissions) для ИИ-агентов, работающих внутри корпоративных сетей. Этот инструмент важен, потому что, в отличие от традиционного ПО, ИИ-агенты могут динамически извлекать данные, вызывать сервисы и изменять модели — и всё это без четкой, принудительно исполняемой политики, что создает брешь, которую злоумышленники уже начали эксплуатировать.

Почему ИИ-агентам нужны ограничения

Корпоративные стеки ИИ теперь включают чат-ботов, рекомендательные системы, автономных лиц, принимающих решения, и десятки фоновых агентов, которые извлекают данные из внутренних API или сторонних сервисов. Существующие пакеты средств безопасности ориентированы на межсетевые экраны периметра, защиту конечных точек и сегментацию сети, но в них отсутствует стандартный метод, позволяющий сказать: «этому агенту разрешено читать записи клиентов, но запрещено записывать данные в финансовую базу данных». Отсутствие такого контроля во время выполнения уже приводило к инцидентам, когда скомпрометированные агенты использовались для эксфильтрации данных или повреждения весов моделей.

Как CUSTODY восполняет этот пробел

CUSTODY представляет язык на основе правил, который описывает, что разрешено делать ИИ-агенту после подключения к сети. Политики могут определять:

  • Доступ к ресурсам — к каким базам данных, хранилищам файлов или API агент может обращаться.
  • Ограничения действий — может ли агент только читать данные или также записывать, удалять или запускать последующие задачи.
  • Контекст выполнения — ограничения среды вычислений, такие как квоты на CPU или изоляция контейнеров.

Во время выполнения фреймворк перехватывает вызовы агента и проверяет их на соответствие набору политик, блокируя любую операцию, выходящую за установленные границы. Это не позволяет захваченному агенту бесконтрольно перемещаться по корпоративной среде.

Интеграция CUSTODY в существующие стеки

Фреймворк работает параллельно с текущими инструментами безопасности. Он может подключаться к популярным платформам оркестрации, средам выполнения контейнеров и API-шлюзам, но точные шаги зависят от используемой платформы агента. Организациям необходимо составить инвентаризацию своих ИИ-ресурсов, написать файлы политик для каждого класса агентов и протестировать уровень обеспечения соблюдения правил перед полным развертыванием. Масштабирование этих политик на десятки агентов потребует специальных операционных усилий для поддержания актуальности правил по мере развития моделей.

Предостережения и критика

Критики отмечают, что CUSTODY не генерирует политики автоматически; командам безопасности приходится создавать их вручную, что может быть трудоемким процессом. Также существует риск снижения производительности, если каждый вызов будет проверяться в режиме реального времени, особенно для высокопроизводительных сервисов инференса. Наконец, эффективность фреймворка зависит от широты его внедрения: если ИИ-платформа вендора не предоставляет необходимых хуков, механизмы контроля CUSTODY могут быть обойдены.

На что обратить внимание в дальнейшем

  • Реакция вендоров — будут ли крупные поставщики ИИ-платформ внедрять совместимые с CUSTODY хуки или предлагать собственные механизмы политик выполнения.
  • Стандартизация — любые шаги в сторону отраслевых спецификаций разрешений для ИИ-агентов могут превратить CUSTODY в стандарт де-факто.
  • Отзывы сообщества — первые пользователи выявят сложность политик в реальных условиях и влияние на производительность, что поможет сформировать будущие версии.

Предприятиям, полагающимся на ИИ-агентов, следует оценить CUSTODY уже сейчас, определить его место в своем стеке безопасности и начать пилотное тестирование политик до того, как следующая волна атак с использованием ИИ поразит их сети.