Математик из Кембриджа Джейкоб Коксон (Jacob Coxon) объявил об увольнении из Anthropic. Он работал в техническом штате OpenAI, входит в официальный список ключевых авторов GPT-4o, а также занимался предобучением моделей в Anthropic. За три года работы в обеих лабораториях он пришел к выводу, что ни одна из компаний не действует ответственно и обе идут напрямую к самоулучшающемуся суперинтеллекту. Эту гонку Коксон назвал игрой жизнями людей.
Люди, которые строят искусственный интеллект, всерьез считают, что технология способна уничтожить человечество до конца десятилетия. Коксон подчеркнул: это не маркетинговый ход.
«Руководители и старшие исследователи в прессе смягчают формулировки, а наедине говорят о том, что им страшно. Никакая другая деятельность не несет такой опасности», — написал он.
Почему лаборатории не останавливаются
По словам Коксона, в OpenAI многие сотрудники не до конца осознали масштабы угрозы для цивилизации. В Anthropic же угрозу понимают, но компания не выходит из гонки за первенство: там исходят из того, что остальные компании все равно не станут действовать ответственно.
«Они хотят дойти до финала первыми», — уверен исследователь.
Он утверждает, что скоро появятся системы сильнее человека.
«Они смогут взломать что угодно, за ночь перестроить любую отрасль и нарастить реальную власть и ресурсы. Прогресс в этих областях уже виден и не замедляется», — написал Коксон.
Реализуется ли худший сценарий?
Исследователь рассчитывает на координацию между лабораториями. Инциденты вроде атаки на Hugging Face, по его словам, сделали реалистичнее договоренности американских лабораторий сбавить темп. Но предотвратить глобальную гонку он пока не считает возможным без дорогих мер, вплоть до временного запрета наращивать возможности моделей.
Коксон просит сотрудников лабораторий представить, как на деле сложатся ближайшие годы.
«Готовы ли они запускать обучение системы сильнее человека, не имея строгого понимания ее разума?», — задается вопросом он.
Читайте также: