Anthropic, которая регулярно предупреждает мир о рисках собственных технологий, втайне лоббирует в Конгрессе закон, сужающий полномочия правительства по блокировке моделей и вытесняющий часть строгих законов штатов. Компания хочет, чтобы государство могло остановить опасный ИИ только при строго определенных угрозах и с разрешения суда.
ИИ опасен, но не слишком
16 октября издание Politico со ссылкой на анонимные источники в компании и на черновик документа, который удалось получить журналистам, сообщило, что Anthropic представила американским законодателям собственный проект закона о безопасности ИИ.
Главная особенность документа — высокий порог вмешательства государства: правительство сможет заблокировать релиз только при «предвидимом и неминуемом риске ущерба свыше $1 млрд либо гибели или тяжелых травм более чем у 50 человек». Причиной должны быть биологическое оружие, выход модели из-под контроля или кибератака.
Но даже при такой опасности власти не смогут самостоятельно остановить модель. Минторгу США необходимо будет обратиться в федеральный суд округа Колумбия, при этом другим ведомствам Anthropic предлагает запретить подобные решения.
Лаборатории, в свою очередь, должны публиковать рамки безопасности и отчеты о прозрачности, защищать информаторов и сообщать об инцидентах в Минторг. Модели будут проверять независимые оценщики, которым может платить сама лаборатория.
Для экстренной остановки ИИ такая схема выглядит более чем сомнительно. Если модель действительно выйдет из-под контроля, государству придется сначала доказать наличие достаточной угрозы и получить решение судьи. Сколько времени это займет и удастся ли вообще технически остановить систему, неизвестно.
Politico подчеркивает, что ни один известный случай с ИИ не приводил к массовым жертвам или ущербу в $1 млрд, и, согласно продвигаемому Anthropic правилу, государству не пришлось бы вмешиваться ни в одном из них.
Контекст
Еще 10 июня глава Anthropic Дарио Амодеи (Dario Amodei) предлагал проверять мощные ИИ-модели по аналогии с самолетами и лекарствами: не прошел проверку — не выходишь на рынок. Компания также призывала Конгресс сохранить законы штатов до появления достаточно строгих федеральных правил.
Спустя два дня Anthropic сама столкнулась с государственными ограничениями. Власти США запретили иностранцам доступ к Claude Fable 5 и Claude Mythos 5 из-за опасений за кибербезопасность. Компания не могла оперативно проверять гражданство пользователей, поэтому отключила обе модели для всех. 30 июня ограничения сняли, а 1 июля доступ начали восстанавливать.
Это был не единственный конфликт с Вашингтоном. Ранее Anthropic отказалась разрешить военным использовать Claude для массовой слежки за американцами и полностью автономного оружия, после чего Пентагон внес разработчика в черный список. Правда, 27 августа суд признал это решение незаконным.
После таких историй желание Anthropic ограничить полномочия чиновников вполне объяснимо.
Акции «на благо общества»
18 октября Anthropic объявила о создании благотворительного фонда, которому обещает передать 5% своих акций после одобрения акционеров. Совет директоров сможет добавлять еще по два процентных пункта за каждые 50% роста стоимости компании. Базовая отметка для расчета роста пока не озвучена.
Сам фонд останется под управлением Anthropic. Деньги предполагается направлять на общественные проекты, например помощь людям, чью работу затронет ИИ. При этом конкретных правил распределения средств пока нет, как и обязательств возмещать ущерб, если модели компании действительно причинят кому-то вред.
Компания обещает не использовать акции фонда для политических пожертвований и лоббирования.
Обе истории складываются в довольно странную картину. Anthropic предупреждает о катастрофических рисках своих разработок, предлагает государству сложную процедуру их остановки и в то же время обещает обществу часть собственной стоимости.
Все это происходит перед возможным выходом на биржу, где инвесторы обсуждают оценку до $2 трлн. Нельзя утверждать, что инициативы придумали исключительно ради репутации, но пока их польза для самой Anthropic гораздо понятнее, чем для общества.
Читайте также:
Данный пост носит исключительно информационный характер и не является рекламой или инвестиционным советом. Пожалуйста, проводите собственное исследование, принимая какие-либо решения.