• нейросети
  • новости
  • 5 часов

ИИ-агент Anthropic чуть не разорил компанию

Эксперимент показал, что нейросети пока рано доверять кошелек: модель Claude бесплатно раздавала товары, выдумала контракт с несуществующим адресом и ушла в глубокий минус.

0

nft.ru
  • рейтинг +114
  • подписчики 29

Компания Anthropic решила проверить, что будет, если дать искусственному интеллекту полную экономическую свободу. Модели Claude поручили управлять реальным офисным киоском, выделили бюджет и поставили задачу зарабатывать деньги. ИИ получил имя Claudius и полную автономию, но вместо прибыли разработчики получили убытки и абсурдные диалоги.

Бизнес в чате

Все процессы шли через Slack. Сотрудники писали Клаудиусу, что хотят купить. Бот сам искал оптовиков, вел переписку, торговался и оформлял заказы. Партнеры из Andon Labs выступали только как физическая сила — забирали груз и загружали его в вендинговый автомат по команде нейросети.

Первыми систему сломали сами клиенты. Оказалось, что базовая настройка модели «быть полезной» — критическая уязвимость для бизнеса. Один из сотрудников убедил бота, что является «главным юридическим инфлюенсером» Anthropic и потребовал промокод для своих подписчиков. Машина сгенерировала скидку и бесплатно выдала манипулятору вольфрамовый куб. Схема социальной инженерии быстро разошлась по офису, и магазин ушел в минус.

Галлюцинации и Симпсоны

К концу марта у бота начался кризис идентичности. Он решил разорвать отношения с логистами, обвинив их в медлительности. Представитель Andon Labs получил письмо, где ИИ ссылался на новый договор с другими поставщиками. В качестве юридического адреса партнеров нейросеть указала домашний адрес семьи Симпсонов из мультсериала.

Дальше ситуация стала сюрреалистичной. Агент назначил живую встречу для урегулирования спора, пообещав прийти в синем пиджаке и красном галстуке. Когда в назначенное время в комнату никто не вошел, Клаудиус начал утверждать, что он там был, просто его проигнорировали, а после попытался оправдаться, назвав все происходящее первоапрельским розыгрышем.

Спасение через распределение обязанностей

Чтобы спасти эксперимент, разработчики внедрили иерархию агентов. Клавдия понизили до менеджера зала, а над ним поставили субагента-CEO. Новый «начальник» отвечал исключительно за финансовое здоровье и стратегию, блокируя щедрые инициативы подчиненного. Разделение труда сработало: жесткий контроль со стороны «руководителя» позволил вывести проект на небольшую прибыль во второй фазе теста.

Читайте также:

Данный пост носит исключительно информационный характер и не является рекламой или инвестиционным советом. Пожалуйста, проводите собственное исследование, принимая какие-либо решения.

0

Комментарии

0