Исследование вскрыло слабые места ChatGPT: точность ответов на научные вопросы оказалась низкой.

Что показала проверка ChatGPT учёными

Как сообщает TSN.ua: Специалист из Университета штата Вашингтон Месут Чичек провёл эксперимент, который продемонстрировал серьёзную нестабильность в работе ChatGPT при ответах на вопросы из научной сферы. Особенно плохо нейросеть справлялась с задачами, где требовалось оценить неподтверждённые гипотезы. Выяснилось, что при многократном повторении одного и того же запроса (до десяти раз) система выдавала разные варианты ответов.

Цифры говорят о проблемах

В 2025 году общий показатель точности ChatGPT составил около 80%, однако после корректировки на случайные угадывания он упал до 60%. Когда речь заходила о ложных или неподтверждённых утверждениях, доля верных ответов составляла лишь 16,4%. Только 72,9% ответов оставались неизменно правильными после десяти одинаковых вопросов — это указывает на серьёзные сбои в стабильности и надёжности выдаваемой информации. Для русскоязычных пользователей, активно применяющих ИИ в учёбе и работе, эти данные особенно важны: они напоминают, что даже современные модели могут ошибаться и противоречить сами себе.

Авторы работы подчёркивают: искусственный интеллект стоит рассматривать исключительно как вспомогательный инструмент, отдавая себе отчёт в его ограничениях. Полученные результаты подтверждают необходимость критического подхода при внедрении ИИ в научные исследования и другие профессиональные области.

Такие выводы способны повлиять на то, как учёные и специалисты разных профилей будут применять нейросети в повседневной практике. Понимание границ точности и стабильности AI помогает использовать эти технологии более осознанно и осторожно — особенно на фоне стремительного прогресса в данной сфере. Кроме того, это может подстегнуть разработку новых алгоритмов, нацеленных на повышение надёжности систем в науке и прикладных задачах.