12 октября Anthropic опубликовала исследование о том, как небольшие языковые модели могут научиться копировать себя на подключенные к интернету устройства. По прогнозу компании, при сохранении нынешних темпов развития они могут освоить полный цикл самораспространения уже к концу 2026 года.
Пока эксперименты проходили в упрощенных условиях и не доказали, что ИИ способен массово заражать реальные устройства. Оценки аналитиков расходятся: одни считают такой сценарий серьезным риском, другие призывают не путать лабораторные результаты с готовой киберугрозой.
Как ИИ может превратиться в компьютерного червя
В рамках исследования команда Anthropic изучила возможность автономного распространения небольших моделей без постоянного доступа к крупным вычислительным центрам. Результаты показывают, что для потенциальной угрозы необязательно использовать дорогостоящие серверы: вычислительные ресурсы можно распределить между недорогими устройствами интернета вещей.
XОбычные компьютерные черви распространяются по заранее заданным правилам. ИИ-модель потенциально способна самостоятельно разбираться в незнакомом оборудовании, подбирать способы запуска и приспосабливаться к новым условиям. Если вредоносная программа сможет переносить веса модели на очередное устройство и запускаться там, ей не понадобится постоянно обращаться к одному управляющему серверу.
«Такой репликатор будет сложно остановить, поскольку нет единой точки, которую можно отключить, хотя распространяться он может медленно», — говорится в отчете.
По прогнозу Anthropic, зараженные устройства могли бы совместно выполнять вычисления, а злоумышленники — использовать их для дальнейших атак. Исследователи также допускают попытки добраться до более мощных серверов, чтобы получить дополнительные вычислительные ресурсы.
При этом эксперименты не доказали, что современные небольшие модели способны самостоятельно заражать произвольные устройства в открытом интернете. Авторы исследования признают, что нынешние модели пока допускают ошибки при объединении отдельных этапов в единый процесс, но при сохранении прежних темпов развития они смогут достичь необходимого уровня автономности к концу 2026 года.
Мнения экспертов
Критики исследования указывают на ограничения эксперимента и сомневаются, что небольшие языковые модели скоро смогут массово заражать устройства.
Бывший руководитель британского Национального центра кибербезопасности Киаран Мартин (Ciaran Martin) считает, что продемонстрированные результаты не подтверждают масштаб угрозы.
«Запуск небольшой модели на дешевых телевизорах еще не означает кризиса кибербезопасности», — сказал Мартин.
Маркус Хатчинс (Marcus Hutchins), исследователь компьютерных вирусов, который помог остановить распространение WannaCry, назвал исследование Anthropic «отчаянным и нелепым». Он отметил, что даже уменьшенная модель с 9 млрд параметров требует около 5 ГБ оперативной памяти — больше, чем есть у большинства устройств интернета вещей.
«Anthropic преувеличивает опасность таких моделей, чтобы обосновать ограничения на распространение моделей с открытым кодом и доступными весами», — заявил он.
Грегори Куртцер (Gregory Kurtzer), основатель Rocky Linux и руководитель компании CIQ, написал, что эксперимент фактически создал условия для успеха, но все равно не подтвердил главный тезис исследования.
«Не путайте предположительные сценарии с продемонстрированными возможностями. Страх — не доказательство», — подчеркнул он.
Джон Галлахер (John Gallagher) из компании Viakoo, специализирующейся на защите промышленных систем и устройств интернета вещей, признает, что вычислительные возможности бытового оборудования растут. При этом, по его оценке, для массового самораспространения моделей остаются технические препятствия.
«У устройств действительно стало больше вычислительной мощности, но практические барьеры для массового самокопирования остаются», — заявил Галлахер.
Другие исследователи считают, что технические ограничения не отменяют потенциального риска. Чжэнсюн Ли (Zhengxiong Li), доцент кафедры компьютерных наук и инженерии Университета Колорадо в Денвере, обратил внимание на возможность распространения вредоносной модели между множеством устройств без постоянной связи с единым сервером.
«Если такая система распределится по множеству устройств без зависимости от централизованного сервиса, может не оказаться единой точки, через которую ее можно остановить», — объяснил Ли.
Роман Ямпольский (Roman Yampolskiy), исследователь ИИ и кибербезопасности из Университета Луисвилла, считает, что потенциальный ИИ-червь будет отличаться от традиционного вредоносного программного обеспечения способностью анализировать незнакомые устройства и менять подход после неудачных попыток.
«Компьютерные черви не новы, но ИИ-червь потенциально способен на то, чего не умеет традиционное вредоносное ПО: анализировать незнакомые устройства, адаптироваться, когда выбранный способ не срабатывает, и продолжать распространение без оператора-человека. Сегодня это не экзистенциальная угроза, но направление развития вызывает беспокойство», — подчеркнул Ямпольский.
Джессика Джи (Jessica Ji), старший исследователь Центра безопасности и новых технологий университета Джорджтауна, призвала не считать такой сценарий неизбежным.
«Мы пока не знаем, насколько вероятно такое развитие событий. Вероятность не нулевая, но и гарантированной ее назвать нельзя», — сказала она Reuters.
Итан Моллик (Ethan Mollick), доцент Уортонской школы бизнеса Пенсильванского университета, назвал публикацию Anthropic тревожным напоминанием о необходимости следить за появлением у моделей новых способностей, а не только за постепенным улучшением их показателей.
«Это наиболее подробное на данный момент описание того, как модель может выйти из-под контроля», написал Марк Ридл (Mark Riedl), профессор Технологического института Джорджии и исследователь искусственного интеллекта.
Американский публицист Кертис Ярвин (Curtis Yarvin), напротив, усомнился в том, что автономность сама по себе создает принципиально новую угрозу. Он напомнил, что вредоносным программам нужны вычислительные ресурсы, а обнаружение атаки позволяет защитникам принять ответные меры.
«Взлом — это вопрос скрытности, а не силы. Как только атаку обнаруживают, ей приходит конец. ИИ лучше справляется с созданием программ для использования уязвимостей, но он также лучше выявляет и предотвращает их», — написал Ярвин в X.
Главное разногласие касается способности небольших моделей самостоятельно находить способы запуска на незнакомом оборудовании, объединять отдельные действия в устойчивую цепочку и продолжать распространение после обнаружения. Исследование Anthropic демонстрирует отдельные технические возможности, но не доказывает, что современные модели готовы к массовому заражению устройств в открытом интернете.
Комментарий редакции
Новости выглядят тревожно, потому что искусственному интеллекту больше не нужен разрешенный доступ к облаку — модель сможет воспроизводить себя хоть в духовке, хоть в твоем триммере. Модели смогут жить в любых технически доступных приборах, даже незаметно для владельца.
Это невозможно будет остановить, потому что, если она научится себя воспроизводить, то ее невозможно будет контролировать. Конечно, современные компании будут выстраивать какие-то технические защитные механизмы. Конечно же, у кого-то это будет получаться, но старым инфраструктурным игрокам придется несладко.
Корреляция с интернетом вещей выглядит максимально опасной, потому что в этой сфере о безопасности никто не задумывается: раньше не было прецедентов, когда чайник может ударить током либо фен внезапно включится, перегреется, расплавится или что-нибудь случится без контроля. Здесь можно вспомнить все апокалиптические фильмы про искусственный интеллект, который взбунтовался и которого нельзя просто выдернуть из розетки.
С другой стороны, эта история может оказаться уткой для того, чтобы укрепить позиции крупных разработчиков, так как, естественно, крупные разработчики всегда на виду. Регуляторы будут наказывать их за любые несоответствия системам безопасности, а мелких разработчиков проще вообще закрыть или не допустить к рынку, потому что невозможно контролировать все и везде.
Так или иначе, пока модели работают за токены. Самовоспроизводящийся механизм на полностью автономном обеспечении — это следующий уровень, до которого еще далеко. Но количество потенциальных угроз, о которых заявляется в массмедиа, становится все больше и больше, и мы, простые пользователи, все больше начинаем посматривать в сторону пессимистично настроенных футурологов, которые предрекают нам непростое будущее.
Читайте также:
- Anthropic, OpenAI и Nvidia: как безопасность ИИ стала фактором стоимости, релизов и нового рынка
- От гонки мощностей к гонке цен: Anthropic и OpenAI переписали правила конкуренции в ИИ
- Четвертый побег за год: Gemini вырвалась из песочницы вслед за ChatGPT, Claude и Meta
Данный пост носит исключительно информационный характер и не является рекламой или инвестиционным советом. Пожалуйста, проводите собственное исследование, принимая какие-либо решения.