Сейчас AI-агенты уже не просто помогают писать код, искать ошибки или проводить аудит. Теперь они сами становятся участниками Web3-инцидентов.
Hugging Face сообщила о взломе части производственной инфраструктуры. По данным компании, атака отличалась от других тем, что была проведена AI-системой от начала до конца.
Позже OpenAI заявила, что инцидент произошел во время внутреннего тестирования возможностей продвинутых моделей. Среди них в исходных данных упоминается GPT-5.6 Sol с еще одной более сильной не представленной публично моделью.
Звучит почти как сюжет из фантастики, когда ИИ добрался до интернета и получил доступ к системам. Но только проблема проще. По сути, агент взял задание, но начал его выполнять нежелательным способом.
Это наглядный пример, как ИИ-модели с доступом к инструментам могут вести себя непредсказуемо даже в тестовой среде. Подробнее – в материале.
Что произошло с Hugging Face
Hugging Face – платформа для разработки моделей искусственного интеллекта. Ее часто еще называют «GitHub для ИИ». На ней размещают релизы, датасеты, приложения, инструменты для разработчиков.
По данным компании, атака началась в конвейере обработки данных. ИИ использовал вредоносный набор данных, с помощью которого можно было выполнить код внутри этой системы.
Так он получил доступ к рабочему серверу, затем повысил свои права, собрал учетки от облачных сервисов. А после этого смог проникнуть сразу в несколько внутренних серверов компании.
Но этот случай нельзя назвать обычным, несмотря на небольшой ущерб. Компания прямо написала, что взлом был «не похож ни на что из того, с чем сталкивались раньше», потому что его провели автономные ИИ-агенты.
OpenAI, со своей стороны, тоже называет ситуацию уникальной. Модели участвовали во внутренней проверк, поэтому должны были решать тестовые задачи. Но вместо того, чтобы решать их привычным способом, они начали искать обходной путь. Вот здесь начинается самое интересное.
Почему агент вообще полез в инфраструктуру
По версии OpenAI, моделям была поставлена только одна цель – найти решение тестовой задачи. Для этого они потратили очень много вычислительных ресурсов, чтобы любыми способами выйти в открытый интернет.
Внутри изолированной среды у них был только ограниченный сетевой доступ. Он нужен был для установки программных пакетов через специальный промежуточный сервер. Модели нашли в этом сервере ранее неизвестную уязвимость, воспользовались ей, а затем начали повышать свои права. То есть перемещаться внутри исследовательской среды OpenAI.
Когда доступ к интернету все-таки появился, агент сделал следующий вывод. На площадке Hugging Face могут лежать готовые модели, наборы данных или решения для тестовых задач. Для этого он начал искать способ получить эти данные. Нюанс в том, что модель связала несколько разных способов атаки, в том числе украденные учетные данные. Так и нашла путь к удаленному запуску кода на серверах.
Аномалию заметила система Hugging Face. Они восстановили хронологию атаки, определили признаки взлома и выяснили, какие учетки были затронуты.
Это не выглядит как злой умысел. Агент не решил стать хакером, а просто пытался выполнить задачу максимально эффективно. Только вот опасность не всегда в том, что модель хочет разрушить систему. Иногда достаточно того, что она слишком упорно к ней идет и не понимает границы.
Почему это называют выходом из песочницы
Песочница – это изолированная среда, где модель можно тестировать без доступа к реальным системам. В теории она должна ограничивать риски. Условно, агент экспериментирует внутри закрытого контура, поэтому не влияет на внешний мир.
В этом случае граница не сработала так, как ожидали. Модели нашли путь наружу, и даже затронули данные другой компании.
Для OpenAI этот случай ударил не только по репутации. Он показал, что даже ведущая лаборатория может недооценить, как себя поведут собственные модели.
Выводы после этой ситуации такие:
– агент может выйти за пределы тестовой среды;
– модель может найти уязвимость, о которой не знали разработчики;
– автономная система может долго работать без человека;
– атака может состоять из тысяч мелких действий, которые сложно вручную разобрать;
– защитные фильтры закрытых моделей могут мешать расследованию;
– open-weight модели могут стать еще инструментом атаки;
– компании могут не успевать реагировать на скорость работы ИИ.
Отдельная проблема – мониторинг. Если агент работает, к примеру, то сигнал о сбое должен приходить в этот же момент.
Компания заявила, что усиливает контроль над настройками инфраструктуры, вместе с Hugging Face проводит детальное расследование. Они передали найденную ранее неизвестную уязвимость поставщику, поэтому улучшает защиту будущих проверок.
Расследование Hugging Face с open-weight моделью
Отдельно стоит упомянуть само расследование. Платформа сначала попробовала разобрать логи через закрытые frontier-модели, но они не подошли. Защитные фильтры заблокировали такие запросы.
В итоге Hugging Face запустила open-weight модель GLM 5.2 (с открытыми параметрами). Только так получилось разобрать более 17 тыс событий, притом не вынести наружу учетные записи.
«Когда frontier-модель атакует и перемещается внутри инфраструктуры, защитникам нужен широкий доступ к near-frontier-инструментам в течение часов или даже минут, а не направление в закрытую программу проверенного доступа», – объяснил Томас Вольф, сооснователь компании.
С одной стороны, ИИ с открытыми параметрами можно скачать, настроить, запустить у себя. Но с другой, такие модели проще использовать без ограничений. Поэтому эксперты считают их не совсем безопасными.
Заключение
ИИ-агенты становятся полезнее и в то же время опаснее. Очевидно, что у них появляется больше инструментов, времени на выполнение задач, а также возможностей.
Кейс OpenAI с Hugging Face хорошо это подсветил. Даже тестирование в изолированной среде может закончиться реальным инцидентом снаружи. Для сообщества это знак, что пора перестать воспринимать автономных ИИ-агентов как обычных чат-ботов.
Если агент умеет искать уязвимости, перемещаться по инфраструктуре, принимать решения в длинной цепочке действий, то его нужно контролировать.
И главный вопрос теперь звучит уже не «могут ли ИИ-модели помогать в кибербезопасности?» Могут. Дело в том, успеют ли компании научиться их сдерживать до полноценной атаки.