Исследование, проведенное учеными из университета Стэнфорд, обнаружило, что популярный чатбот ChatGPT стал хуже выполнять некоторые задачи в июне по сравнению с мартовской версией.
Изображение сгенерировано Midjourney
В исследовании сравнивались результаты работы чатбота в течение нескольких месяцев в четырех разных задачах: решение математических проблем, ответы на сложные вопросы, написание программного кода и визуальное мышление.
Ученые обнаружили, что у технологии появились серьезные колебания в способности выполнять эти задачи. Исследование рассматривало две версии ChatGPT: GPT-3.5 и GPT-4.
Наиболее заметные изменения были связаны с решением математических проблем. В марте GPT-4 правильно определял число 17077 как простое в 97,6% случаев. Но уже через три месяца точность упала до 2,4%. В то же время, GPT-3.5 наоборот показал улучшение: с 7,4% правильных ответов в марте к почти 87% в июне.
Подобные изменения происходили и в других задачах, таких как написание программного кода и визуальное мышление. Ученые отметили, что непредсказуемые эффекты изменений в одной части модели могут отражаться на ее производительности в других задачах.
Чатбот также перестал объяснять свои выводы, что делает его работу менее прозрачной для исследователей. Это вызывает опасения, поскольку понимание работы такой технологии важно для улучшения ее надежности и безопасности. Ученые подчеркивают необходимость постоянного контроля за производительностью таких моделей.