Способности ChatGPT ухудшились Ученые Стэнфорда и Калифорнийского университета в Беркли
обнаружили, что более поздние версии ChatGPT гораздо реже давали точные ответы на одинаковые вопросы
в течение нескольких месяцев. Однако они
не смогли объяснить, почему это произошло.
В связи с полученными результатами
аналитики просят всех, кто использует ChatGPT, внедрить какую-либо форму анализа мониторинга, чтобы гарантировать,
что чат-бот остается в актуальном состоянии.
Чтобы проверить, насколько надежны различные модели
ChatGPT, исследователи попросили модели
ChatGPT-3.5 и ChatGPT-4 решить несколько математических задач, ответить на деликатные вопросы,
а также написать строки кода.
В результате выяснилось,
что в марте ChatGPT-4 мог дать правильные ответы в 97,6% случаев. Такой же тест в июне показал,
что точность GPT-4 упала до 2,4%. При этом более ранняя модель чат-бота —
GPT-3.5 — улучшила идентификацию простых чисел за тот же период времени. Когда дело дошло до генерации строк нового кода, возможности обеих моделей
значительно ухудшились за три месяца —
с марта по июнь.
