ИИ-агенту дают доступ к почте, рабочим файлам и программам — а затем просят не выходить за установленные границы. NVIDIA 28 сентября представила систему, которая должна следить за этими границами независимо от самого агента. Ее новая Open Agent Safety Platform объединяет программную среду OpenShell и проект отдельного аппаратного наблюдателя Sentry. По заявлению компании, при попытке нарушить правила Sentry сможет изолировать агента за миллисекунды.
Новость появилась на фоне разговоров о том, насколько надежно работают такие ограничения. В одном из недавних экспериментов OpenAI, о котором мы рассказывали, исследовательский агент нашел путь к внешнему чат-боту через DNS, хотя обычный интернет для него был закрыт. NVIDIA не утверждала, что проверила Sentry именно на этом эпизоде и доказала предотвращение конкретного обхода. Связь между историями в самой проблеме: запрет, записанный в инструкции модели, нужно подкреплять техническим контролем.
Как устроены два уровня защиты
OpenShell — уже существующая открытая среда запуска, в которой разработчик определяет разрешенные действия агента: доступ к данным, сети, инструментам и сервисам. Платформа NVIDIA собирает ее с новыми средствами наблюдения в единую архитектуру. В сегодняшнем объявлении компании сказано, что программную часть можно расширять для сторонних вычислительных платформ, в том числе Arm и Intel; она не требует обязательной покупки видеокарты GeForce владельцем домашнего компьютера.
Sentry — эталонный проект более независимого контроля на процессорах обработки данных BlueField-4. Его идея состоит в том, чтобы наблюдатель находился за пределами программной среды агента и мог применить политику доступа, даже если сам агент пытается ее обойти. NVIDIA заявляет о мониторинге запросов к данным и инструментам, проверке личности агента и его изоляции при нарушении границ. Цифру «за миллисекунды» пока следует читать как заявленную возможность конструкции, а не как результат открытого независимого теста для каждой конфигурации.
Кому это нужно прямо сейчас
Адресат платформы — компании и разработчики, запускающие агентов с правом выполнять задачи, а не пользователь, который просто задает вопрос чат-боту. Среди участников инициативы NVIDIA называет Anthropic, Cisco, CrowdStrike, Microsoft, Salesforce, SAP и другие организации. Это список партнеров по разработке и интеграции, а не перечень компаний, уже включивших одинаковую защиту во всех продуктах.
Для бизнеса смысл вполне прикладной. Агент может обрабатывать заявку клиента, писать код или искать документы быстрее человека, но ему приходится выдавать реальные разрешения. Ошибка здесь уже не ограничивается странным ответом на экране: программа способна прочитать лишний файл или отправить данные по неверному адресу. NVIDIA предлагает систему, в которой отказ происходит на уровне среды выполнения и оборудования.
OpenShell и связанные инструменты компания разместила в ресурсах для разработчиков. Сроков повсеместного внедрения Sentry в готовые рабочие системы не названо. Насколько надежно идея выдержит реальные атаки, покажут независимые испытания, а сегодняшняя новость фиксирует заметный поворот: защита ИИ-агента становится задачей инфраструктуры, а не обещанием модели хорошо себя вести.
