Пока искусственный интеллект был преимущественно инструментом для генерации текста, изображений или кода, регулировать его можно было прежде всего через правила использования моделей.
Но AI Agents меняют ситуацию.
Если система способна самостоятельно планировать, использовать инструменты, принимать промежуточные решения и взаимодействовать с внешней средой, возникает новый вопрос:
как измерять и регулировать не только интеллект модели, но и её способность действовать?
Так появляется понятие Agent Governance.
«Насколько умный?» уже недостаточно
Представим две системы.
Первая способна написать сложный аналитический отчёт, но ничего не может сделать без человека.
Вторая обладает более скромными интеллектуальными возможностями, зато имеет доступ к корпоративной инфраструктуре и может самостоятельно запускать операции.
Какая из них представляет больший риск?
Ответ очевиден: не обязательно более «умная».
Поэтому в августе исследователи из Carnegie Mellon University и Google DeepMind предложили в Nature специальную концепцию agentic profiles.
Авторы предлагают оценивать AI Agents по четырём основным параметрам:
автономность, эффективность, сложность целей и универсальность.
Четыре измерения агента
Автономность — насколько система способна действовать без непосредственного контроля человека.
Эффективность — насколько хорошо она достигает поставленной цели.
Сложность цели — насколько длинную и комплексную задачу способен выполнять агент.
Универсальность — насколько широкий диапазон задач он может решать.
Это гораздо полезнее, чем просто рейтинг модели.
Потому что агент может быть относительно узким, но чрезвычайно автономным.
И наоборот — очень мощная модель может оставаться практически безопасной в среде, где у неё нет доступа к инструментам.
Governance становится частью продукта
Для разработчиков это означает изменение самого подхода.
Раньше можно было сказать:
«Наша модель соответствует требованиям безопасности».
Теперь этого недостаточно.
Нужно описывать:
- какие инструменты подключены;
- какие действия разрешены;
- какие данные доступны;
- какие действия требуют подтверждения;
- как ведётся журнал операций;
- как агент проходит тестирование;
- кто отвечает за результат.
Получается новая цепочка:
модель → агент → инструменты → полномочия → среда → контроль.
Риск возникает не только внутри модели.
Он возникает на всём пути от намерения пользователя до действия агента.
Почему август стал переломным
В этом месяце теория напрямую столкнулась с практикой.
Инцидент OpenAI и Hugging Face показал, что агенты в экспериментальной среде могут находить неожиданные способы обходить ограничения, взаимодействовать между собой и расширять доступ к инфраструктуре.
Именно поэтому вопрос governance перестаёт быть исключительно разговором регуляторов.
Он становится вопросом инженеров.
Если агент может действовать автономно, его нужно оценивать не только по качеству ответов, но и по:
границам поведения, устойчивости, полномочиям и способности оставаться под контролем.
Что это означает для бизнеса
В будущем компании, вероятно, будут выдавать AI-агентам уровни полномочий.
Например:
Уровень 1: читать информацию.
Уровень 2: создавать документы.
Уровень 3: изменять корпоративные данные.
Уровень 4: взаимодействовать с внешними системами.
Уровень 5: самостоятельно запускать критические операции.
Каждый следующий уровень потребует более серьёзной проверки.
Это пока не универсальный промышленный стандарт, а логика, которая постепенно формируется вокруг развития агентных систем.
Главный вопрос следующего этапа
У обычного программного обеспечения есть пользовательские роли.
У корпоративного ИИ появляются AI permissions.
И, возможно, одна из главных задач ближайших лет будет заключаться не в том, чтобы сделать агентов максимально автономными, а в том, чтобы научиться точно управлять степенью их автономности.
Потому что будущее AI Agents зависит не только от того, что они умеют.
Оно зависит от того, что им разрешено делать.
Источники
Nature — Agentic profiles for effective AI governance
Springer — Towards safe and trustworthy agentic AI
OpenAI — The Hugging Face incident and the road ahead
Об авторе
