• хайп
  • нейросети
  • новости
  • 21 июл. 23

ChatGPT резко поглупел и ничего не объясняет — исследование ученых Стэнфорда

Исследование, проведенное учеными из университета Стэнфорд, обнаружило, что чатбот ChatGPT стал хуже выполнять некоторые задачи в июне по сравнению с мартовской версией.

  • 1420
  • 0
  • 0
NFTRU
  • рейтинг +112
  • подписчики 20

Исследование, проведенное учеными из университета Стэнфорд, обнаружило, что популярный чатбот ChatGPT стал хуже выполнять некоторые задачи в июне по сравнению с мартовской версией.

Изображение сгенерировано Midjourney
Изображение сгенерировано Midjourney

В исследовании сравнивались результаты работы чатбота в течение нескольких месяцев в четырех разных задачах: решение математических проблем, ответы на сложные вопросы, написание программного кода и визуальное мышление.

Ученые обнаружили, что у технологии появились серьезные колебания в способности выполнять эти задачи. Исследование рассматривало две версии ChatGPT: GPT-3.5 и GPT-4.

Наиболее заметные изменения были связаны с решением математических проблем. В марте GPT-4 правильно определял число 17077 как простое в 97,6% случаев. Но уже через три месяца точность упала до 2,4%. В то же время, GPT-3.5 наоборот показал улучшение: с 7,4% правильных ответов в марте к почти 87% в июне.

Подобные изменения происходили и в других задачах, таких как написание программного кода и визуальное мышление. Ученые отметили, что непредсказуемые эффекты изменений в одной части модели могут отражаться на ее производительности в других задачах.

Чатбот также перестал объяснять свои выводы, что делает его работу менее прозрачной для исследователей. Это вызывает опасения, поскольку понимание работы такой технологии важно для улучшения ее надежности и безопасности. Ученые подчеркивают необходимость постоянного контроля за производительностью таких моделей.

  • 1420
  • 0
  • 0