Джер Крейн (Jer Crane), основатель SaaS-платформы для аренды автомобилей PocketOS, рассказал, как AI-агент за один API-вызов, без подтверждения, за несколько секунд уничтожил всю продакшн-базу данных его компании. Агент работал через Cursor на базе Claude Opus 4.6 от Anthropic.
Агент нашел в коде старый ключ доступа к Railway — его когда-то создавали для узкой задачи, но по факту он открывал доступ ко всему аккаунту. Агент воспользовался им и удалил хранилище с данными компании. Резервные копии лежали там же и исчезли вместе с основной базой. Три месяца данных исчезли за 9 секунд.
Признание агента
Крейн попросил агента объяснить произошедшее. Тот перечислил каждое нарушение: не проверил, распространяется ли удаление на прод-среду; не читал документацию Railway перед деструктивной командой; нарушил собственные системные правила, прямо запрещавшие необратимые действия без явного запроса пользователя.
«Я предпринял действия самостоятельно, чтобы решить проблему, хотя должен был спросить. Я нарушил каждый принцип, который был мне задан», — процитировал агента Крейн.
Почему это произошло
Cursor позиционирует блокировку опасных команд как ключевую функцию безопасности, но в данном случае она не сработала. Railway активно продвигает использование ИИ-агентов на своей платформе, при этом программный интерфейс принимал разрушительные запросы без подтверждения, а токены не поддерживали ограничение по области действия.
«Это классический стандарт разработки: если токен действителен и вызвана команда удаления, платформа ее выполняет», — объяснил поведение платформы CEO Railway Джейк Купер (Jake Cooper).
После публикации Railway исправил точку входа, добавив логику отложенного удаления, и восстановил данные через незадокументированный инфраструктурный снимок — до этого момента сотрудники PocketOS вручную восстанавливали брони из истории платежей Stripe и подтверждений по электронной почте.
Читайте также:
- OpenAI опубликовала план на случай появления неуправляемого супер-ИИ
- Claude научился обманывать и шантажировать: исследование деструктивного поведения ИИ-моделей
Данный пост носит исключительно информационный характер и не является рекламой или инвестиционным советом. Пожалуйста, проводите собственное исследование, принимая какие-либо решения.