Исследование: ошибки ИИ-ассистентов удваиваются в длинных диалогах.

Как продолжительность диалога влияет на качество ответов ИИ

Как сообщает TSN.ua: Совместное исследование Microsoft Research и Salesforce установило, что в ходе длительных бесед популярные чат-боты на основе искусственного интеллекта допускают более чем в два раза больше ошибок. Основные причины — феномен «галлюцинаций» ИИ и так называемое «раздувание» ответов, что в совокупности ухудшает качество коммуникации с пользователем. Для российских пользователей, активно осваивающих подобные сервисы, понимание этих ограничений особенно важно при работе с объемными или сложными запросами.

Проанализировав свыше 200 тысяч диалогов с ИИ-ассистентами, ученые выяснили: при разовых запросах модели дают корректный ответ примерно в 90% случаев. Однако в продолжительных беседах этот показатель резко снижается до 65%. Чем дольше длится разговор, тем выше вероятность получения ошибочной информации.

Проблема «раздутых» ответов и её последствия

Исследование также показало, что в многоходовых диалогах ответы моделей становятся длиннее на 20–300%. Такое чрезмерное увеличение объема текста затрудняет восприятие сути и может вести к недопониманию.

• На долю ChatGPT приходится более 80% мирового рынка чат-ботов.
• Конкуренты, такие как Perplexity и Google Gemini, суммарно занимают лишь около 15% пользовательской аудитории.

Таким образом, результаты работы подчеркивают необходимость совершенствования алгоритмов чат-ботов для повышения точности и удобства в длительном общении. Это станет ключевым шагом в развитии ИИ-технологий, которые всё глубже проникают в повседневную жизнь. Учитывая доминирующее положение ChatGPT, улучшение его работы окажет значительное влияние на пользовательский опыт и эффективность коммуникаций в бизнесе и клиентском сервисе по всему миру.