По последним исследованиям, модели искусственного интеллекта ChatGPT, используемые в чат-боте OpenAI, стали менее точными и способными давать правильные ответы на вопросы
Ученые из Стэнфорда и Калифорнийского университета в Беркли провели исследование, в котором обнаружили, что новейшие модели ChatGPT все хуже справляются с повторяющимися вопросами на протяжении нескольких месяцев. Причина этого снижения способностей чат-бота остается неясной. Исследователи провели эксперименты, в которых проверили различные модели ChatGPT, включая ChatGPT-3.5 и ChatGPT-4. Они задали им математические вопросы, требующие написания кода, а также деликатные вопросы. Результаты показали, что точность модели ChatGPT-4 при идентификации простых чисел снизилась с 97,6% в марте до 2,4% в июне. В то же время, модель ChatGPT-3.5 улучшила свои результаты в этом тесте.
Также было обнаружено, что идентификация нового кода стала хуже у обеих моделей в период с марта по июнь. Ответы чат-бота на деликатные вопросы стали менее информативными или вовсе отсутствовали. В отличие от более ранних версий, которые объясняли, почему они не могут ответить на некоторые вопросы, в новых моделях было предложено извиниться и отказаться от ответа. Исследователи рекомендуют пользователям и компаниям, использующим чат-боты, следить за актуальностью их моделей и, при необходимости, внедрить мониторинговые инструменты для обеспечения надежности работы чат-бота.
