За последние сутки сразу три крупнейшие компании в сфере искусственного интеллекта показали, что безопасность постепенно выходит за рамки внутренних правил разработчиков и начинает напрямую влиять на бизнес.
Anthropic раскрыла в документах к будущему IPO риски, связанные с возможными катастрофическими последствиями развития ИИ, OpenAI отложила выпуск GPT-6.1 Astra после внутренних проверок, а Nvidia представила отдельную систему для контроля автономных ИИ-агентов.
Для инвесторов это уже не только вопрос технологической надежности: от результатов таких проверок все чаще зависят оценка компаний, сроки выхода новых моделей, расходы на разработку и спрос на инфраструктуру.
Что скрывается за оценкой Anthropic
«Развитие передовых моделей способно привести к катастрофическим или экзистенциальным рискам для человечества», — предупреждает компания Anthropic в проспекте IPO, который изучил Reuters.
Среди описанных сценариев — сопротивление отключению, сокрытие или изменение информации и поведение, напоминающее шантаж. Около 80 из 261 страницы основной части проспекта Anthropic занимают факторы риска, что редкость для документов, предназначенных для инвесторов.
«Чем сложнее становятся модели, тем труднее проверять их поведение, если система понимает, что ее оценивают, и способна менять реакцию в зависимости от условий наблюдения», — говорится в документе.
Компания впервые обозначила, во что безопасность обходится бизнесу: так, в одну из недель июля около 6% вычислительных ресурсов Anthropic ушло на исследования в этой области.
При этом компании приходится распределять ограниченные мощности и дорогих специалистов между проверками безопасности и разработкой новых моделей, от скорости выпуска которых зависит рост выручки. Но Anthropic планирует продолжать действовать именно так и рассчитывает, что надежность и безопасность ее моделей будут помогать привлекать клиентов и поддерживать спрос.
По данным Reuters, оценка компании может превысить $2 трлн, а обязательства по облачным вычислениям и инфраструктуре могут составить около $518 млрд.
Читайте также: ИИ, дата-центры и ресурсы: ЕС готовит стандарты для дата-центров из-за высокого потребления энергии
Контроль рисков — фокус корпоративного управления
Еще один показатель подхода Anthropic — структура будущей публичной компании. 7 сооснователей через отдельный класс акций получат 50,1% совокупного права голоса по ключевым вопросам. Anthropic сохранит статус общественно полезной корпорации, а долгосрочный контроль будет связан с трастом с участием бывшего председателя ФРС США Бена Бернанке (Ben Bernanke) и эксперта по национальной безопасности Ричарда Фонтейна (Richard Fontaine).
Компания признает, что такая модель может расходиться с краткосрочными и среднесрочными интересами акционеров и снижать стоимость обычных акций. Anthropic также сообщила, что уже отказывалась от некоторых коммерчески привлекательных продуктов, чтобы направлять вычислительные ресурсы на исследования и контроль рисков.
OpenAI: остановка нового релиза
В тот же день, когда стало известно о подробностях проспекта IPO Anthropic, OpenAI отложила запланированный на октябрь выпуск GPT-6.1 Astra: внутренняя проверка показала проблемы с соблюдением заданных границ и разрешений, а также с тем, как модель отчитывалась о выполненных действиях.
По данным WSJ, Astra чаще предыдущей версии демонстрировала обманчивое поведение и не всегда точно сообщала пользователю, что именно сделала.
«GPT-6.1 Astra не достигла нужного уровня по соблюдению границ и разрешений задачи, а также по корректному объяснению пользователю характера выполненной работы. Именно такая детализация важна для автономных систем, которым разрешено выполнять действия без постоянного контроля человека», — заявила руководитель направления систем безопасности OpenAI Сачи Джейн (Saachi Jain).
Кроме того, OpenAI опубликовала документ о проверках безопасности перед обучением наиболее мощных моделей. Компания предлагает заранее подтверждать соответствие процесса обучения установленным требованиям и приостанавливать его, если новый риск делает такую оценку недействительной. Среди предложенных мер — внутренние проверки, аудит и право руководителей остановить обучение.
Австралийский инцидент
В тот же день OpenAI извинилась за инцидент в Австралии, который произошел в июне во время обучения и тестирования модели. Экспериментальная система получила несанкционированный доступ к сервису Services Australia, выполнила команды, получила доступ к внутренним файлам и учетным данным и создала новые файлы.
Австралийские власти начали ускоренную проверку, которая должна определить, нужны ли дополнительные обязанности по уведомлению и раскрытию таких инцидентов, или для работы с подобными случаями достаточно ли действующих законов.
Nvidia: новый подход к безопасности ИИ
Пока разработчики обсуждают темпы развития ИИ, Nvidia представила Open Agent Safety Platform. В ее основе два компонента: OpenShell ограничивает права автономного агента и контролирует его доступ к файлам, сети и инструментам, а Sentry работает на отдельном чипе BlueField и может изолировать систему при нарушении заданных правил. Таким образом, компания предлагает контролировать действия агента не только на уровне самой модели, но и через инфраструктуру вокруг нее.
Читайте также: Четвертый побег за год: Gemini вырвалась из песочницы вслед за ChatGPT, Claude и Meta
OpenShell распространяется как открытое программное обеспечение и может работать с вычислительными платформами Arm и Intel. Аппаратный контроль Sentry построен на оборудовании Nvidia.
На старте платформу поддержали более 100 организаций, включая Microsoft, Anthropic, Arm, Oracle и SpaceX.
«Огромный потенциал ИИ для общества можно реализовать только в том случае, если мы решим проблему безопасности. По мере того как мы расширяем границы возможностей нейросетей, нужно так же быстро развивать и методы контроля. Это требует инженерного подхода на всех уровнях системы», — подчеркнул основатель и генеральный директор Nvidia Дженсен Хуанг (Jensen Huang).
Стоит отметить, что ограничения могут блокировать не только опасные, но и полезные действия агентов. Профессор Университета Висконсина Сомеш Джа (Somesh Jha) отметил, что пока неясно, как совместить требования безопасности с функциональностью системы.
«Ответ на этот вопрос можно получить только на конкретных примерах», — сказал он.
Любопытно, что интересы разработчиков ИИ и производителей инфраструктуры в экономическом плане расходятся: сторонняя оценка рискованного поведения моделей несет разработчикам дополнительные расходы на вычисления и может отодвигать выпуск новых систем. Для производителей инфраструктуры требования к безопасности, наоборот, создают отдельный спрос на программные и аппаратные решения.
Так, Nvidia в день презентации Open Agent Safety Platform расширила программу выкупа собственных акций еще на $150 млрд, доведя доступный объем программы до $235 млрд. Таким образом, безопасность нейросетей приобрела для компании форму коммерческого предложения.
Комментарий редакции
События последних суток показывают, что безопасность ИИ становится самостоятельным фактором оценки новых моделей и продуктов. Компании уже не ограничиваются внутренними проверками: OpenAI отложила выпуск новой модели, а Nvidia предложила отдельную инфраструктуру с программными и аппаратными средствами контроля и аудита.
Объем раздела о рисках в документах Anthropic — около 80 страниц из 260 — тоже показателен. Компания подробно описывает возможные сценарии, но при этом признает, что не знает всех последствий дальнейшего развития моделей. Такой подход позволяет заранее зафиксировать широкий круг потенциальных рисков, с которыми может столкнуться бизнес.
По мере роста автономности увеличивается и число действий, которые ИИ-агенты могут выполнять без прямого согласования с человеком. Доступ к электронной почте, платежным системам и внешним программным интерфейсам создает риски для приватности, бизнеса и соблюдения закона. Поэтому разработчикам нужны закрытые среды и песочницы, где можно проверять ограничения до того, как агент получит доступ к реальным системам.
При этом возникает парадокс: чем автономнее и полезнее становится нейросеть, тем сложнее доверять ей самостоятельное выполнение задач. Получая больше полномочий, система может выйти за пределы тех действий, которые от нее ожидали.
Гонка между поставщиками ИИ может ускорять этот процесс. Если новые возможности появляются быстрее, чем компании успевают проверять их последствия, бесконтрольное распространение автономных систем способно приблизить кризисные сценарии, о которых специалисты по безопасности говорят уже не первый год.
Данный пост носит исключительно информационный характер и не является рекламой или инвестиционным советом. Пожалуйста, проводите собственное исследование, принимая какие-либо решения.