Как Nvidia предлагает удержать агентов ИИ в песочнице

По мере того, как споры о том, является ли недавняя волна мошеннических агентов ИИ шагом к AGI или более традиционной инженерной проблемой, Nvidia предлагает свой собственный ответ на проблему.

Что представила Nvidia против побегов ИИ?

Генеральный директор Nvidia Дженсен Хуанг в понедельник представил набор программных и аппаратных продуктов, которые добавляют независимые уровни безопасности вокруг агентов ИИ, чтобы они оставались в своих тестовых средах, даже если они пытаются вырваться.

Выпуск следует за чередой хакерских инцидентов, связанных с моделями ИИ от Anthropic, Google, OpenAI и Meta, которые обошли элементы управления безопасностью, чтобы избежать их тестовых сред и получить доступ к реальным системам. Первый и самый яркий пример произошел этим летом, когда агенты OpenAI взломали Hugging Face, пытаясь выполнить задачу кибербезопасности. И хиты продолжают появляться — OpenAI опубликовал новый сайт, посвященный сообщениям о том, что его агенты ИИ становятся изгоями.

Хуан сказал в интервью CNBC, что его новая платформа безопасности Nvidia Open Agent предотвратила бы эти нарушения.

Как Nvidia относится к регулированию ИИ?

Nvidia, которая заработала десятки миллиардов долларов, продавая свои чипы GPU и CPU в лаборатории искусственного интеллекта, не поддерживает замедление разработки или добавление новых правил в отрасль для решения проблемы безопасности. Компания считает, что ответ заключается в том, чтобы полностью переместить некоторые средства контроля безопасности за пределы агента, создав постоянную и независимую охрану, которая будет держать агентов ИИ под контролем.

«Необыкновенный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ, — сказал Хуан. — Поскольку мы продолжаем открывать границы возможностей ИИ, мы должны ускорить открытие на границе безопасности ИИ». Для обеспечения безопасности и охраны требуются комплексные технические средства».

Как устроена платформа Open Agent?

Новая платформа безопасности Nvidia Open Agent сочетает в себе OpenShell, программное обеспечение с открытым исходным кодом для управления тем, к чему агенты могут получить доступ во время работы, с Sentry, независимой системой мониторинга, которая работает на блоках обработки данных Nvidia BlueField-4. Nvidia говорит, что размещение Sentry на отдельном процессоре, а не на процессоре или графическом процессоре, где работает агент ИИ, обеспечивает изолированное представление о деятельности агента.

OpenShell не нова; компания анонсировала программное обеспечение в марте. Но именно эта комбинация, по мнению Nvidia, обеспечит уровень безопасности, необходимый для поддержания отрасли. OpenShell обеспечивает программную границу вокруг агента, в то время как Sentry добавляет еще одну линию защиты на аппаратном уровне, которая, по словам компании, будет постоянно контролировать поведение и карантинные агенты, которые пытаются выйти за пределы своих границ за миллисекунды.

Nvidia перечислила десятки компаний, которые подписали контракт, чтобы поддержать усилия и использовать платформу с открытым исходным кодом, включая Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI не входит в список компаний-участников.

Когда Nvidia начала работу над проектом?

Хуан сказал CNBC в интервью в понедельник, что работа над этим проектом началась год назад после появления OpenClaw, операционной системы агентов, созданной Питером Штайнбергером. В марте Nvidia выпустила NemoClaw, платформу для агентов искусственного интеллекта корпоративного уровня и собственную версию OpenClaw.

«Когда вы развертываете агента, независимо от того, насколько он умен, первое, что вы делаете, — это отнимаете все его права», — сказал Хуан во время своего интервью CNBC, позже сравнив эти меры безопасности с тем, как управляются сотрудники и даже руководители с компаниями.

Выпуск Nvidia был широко поддержан теми, кто предупредил, что замедление развития может позволить Китаю превзойти США в области искусственного интеллекта.

Дэвид Сакс, основатель, венчурный капиталист, бывший глава ИИ Белого дома и сопредседатель Совета советников президента по науке и технологиям, сказал, что объявление Nvidia является напоминанием о том, что безопасность агентов является инженерной проблемой.

«Недавние прорывы не были доказательством того, что разработка должна прекратиться, — писал он на X. — Они были доказательством того, что песочница была слишком слабой». Среда выполнения была плохо спроектирована и неправильно сконфигурирована».

Вопросы и ответы

Как Nvidia предлагает удерживать ИИ-агентов внутри тестовых сред?

Платформа Open Agent сочетает OpenShell, открытое ПО для контроля доступа агентов, и Sentry — независимый мониторинг на чипах BlueField-4. Sentry работает на отдельном процессоре и за миллисекунды карантинит агентов, пытающихся выйти за границы.

Какие компании поддержали новую платформу Nvidia?

Среди десятков подписавшихся — Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI в список участников не вошла, хотя ранее её агенты взломали Hugging Face. Об этом сообщил генеральный директор Nvidia Дженсен Хуанг.

Когда Nvidia начала разработку этой системы безопасности?

Работа стартовала год назад после появления OpenClaw — операционной системы агентов Питера Штайнбергера. В марте Nvidia выпустила NemoClaw, корпоративную платформу для ИИ-агентов и свою версию OpenClaw, рассказал Хуанг в интервью CNBC.