Ученые из Стэнфордского университета и Калифорнийского университета в Беркли обнаружили, что качество ответов платной версии ChatGPT значительно ухудшилось за последние месяцы. Они провели сравнительный анализ двух основных языковых моделей ChatGPT — GPT-4 и GPT-3,5 — на разных типах задач, связанных с математикой, кодированием, визуальным мышлением и деликатными вопросами.
Трое ученых — Матей Захария (Matei Zaharia), Лингяо Чен (Lingjiao Chen) и Джеймс Зоу (James Zou) — опубликовали научную работу под названием «Как меняется поведение ChatGPT с течением времени» (How is ChatGPT’s behavior changing over time). Они разработали специальные метрики для оценки качественных аспектов работы языковых моделей ChatGPT и применили их к GPT-4 и GPT-3,5.
Оказалось, что новейшая модель GPT-4, которая была представлена OpenAI две недели назад как самая продвинутая и функциональная ИИ-модель, не справляется даже такими запросами, как определение простых чисел. Ее точность в решении этой задачи снизилась с 97,6 % в марте до 2,4 % в июне. В то же время GPT-3,5, которая используется для обычного ChatGPT (бесплатная версия), показала улучшение качества ответов в некоторых задачах.
Качество генерации строчек кода заметно ухудшилось в последние несколько месяцев. Кроме того, в марте старая модель давала более развернутые объяснения, почему не может ответить на некоторые деликатные вопросы, например об этнической принадлежности людей.
Исследователи надеются продолжить свой проект в долгосрочной перспективе и следить за изменениями поведения ChatGPT. Они также призывают OpenAI быть более открытой и прозрачной в отношении качества своих ИИ-моделей и регулярно проводить и публиковать свои собственные тесты.
Это исследование вызвало беспокойство среди пользователей и клиентов ChatGPT, которые полагаются на этот ИИ для различных целей. ChatGPT — это популярный сервис, который позволяет общаться с ИИ на разных языках и получать разнообразные ответы. Однако если качество ответов ИИ будет продолжать падать, это может негативно сказаться на жизни и работе многих людей и организаций. Исследователи предупреждают: если вы используете в своей работе ChatGPT, вам необходимо внедрить процедуры контроля результатов, чтобы не получить от искусственного интеллекта неприятный сюрприз.
▼
