Можно ли сделать так, чтобы ИИ перестал придумывать цитаты
Команда исследователей протестировала новую модель GPT-5 и обнаружила значительное снижение уровня галлюцинаций по сравнению с предыдущими моделями, но проблема ложных утверждений остается критичной.
Ложное цитирование, когда модель придумывает цитату реального человека, принципиально неустранимо при сегодняшней архитектуре языковых моделей. ИИ работает как система предсказания токенов на основе статистических паттернов, не различая реальные цитаты и правдоподобные высказывания. Обучающие данные «сжимаются» в параметры с потерей точной информации об источниках, остаются только ассоциации. Решение проблемы ложного цитирования требует фундаментальных изменений в архитектуре ИИ.
Компания OpenAI представила GPT-5, заявив о значительном сокращении галлюцинаций — ситуаций, когда ИИ уверенно выдумывает ложные факты и цитаты. Новая модель идет против общеотраслевой тенденции, поскольку более новые системы других компаний, обычно генерируют больше галлюцинаций, чем их предшественники. Это связано с тем, что более галлюцинирующие модели дают правильные и глубокие ответы тоже чаще. Но в этом случае контроль галлюцинаций возлагается на пользователя. OpenAI отдает предпочтение безопасности, но за счет эффективности.
Тестирование GPT-5, проведенное командой ученых, показало неоднозначные результаты. На бенчмарке ScholarQA-CS модель GPT-5 с доступом к интернету показала 55% корректных ответов, немного превзойдя человеческих экспертов (54%), но уступив специализированной системе OpenScholar (57%).
Точность снизилась, когда GPT-5 не смогла выйти в сеть и потеряла возможность проверки по академическим базам данных. Без доступа к интернету GPT-5 сфабриковала или исказила вдвое меньше цитат, чем одна из ее предшественниц, GPT-4o, но все равно ошибалась в 39% случаев.
Когда ИИ может обратиться к интернету, он получает возможность верифицировать информацию через актуальные источники вместо того, чтобы полагаться только на данные, на которых был обучен. Это особенно важно для свежих событий или изменяющейся информации. Это позволяет снизить процент галлюцинаций, но они все равно остаются.
«Для большинства случаев процент галлюцинаций GPT-5 снизился до уровня, который кажется приемлемым для пользователей», — отмечает Тианьян Сюй, исследователь ИИ из университета Пердью. При этом в технических областях таких как право и математика GPT-5 все еще испытывает серьезные трудности.
На бенчмарке LongFact модель показала впечатляющие 0,8% ложных утверждений с интернетом против 5,1% у модели o3, но без веб-доступа показатель вырос до 1,4%. Модель также стала честнее: она заявляла о выполнении нерешаемых задач лишь в 17% случаев против 47% у o3.
Но ученые отмечают, что галлюцинации являются неотъемлемой особенностью работы больших языковых моделей. ИИ-модели — это статистические машины, они делают предсказания на основе изученных ассоциаций, что приводит к правдоподобным, но иногда неверным ответам. Полное устранение галлюцинаций, вероятно, невозможно, поскольку это следствие фундаментального принципа работы ИИ.
Ложное цитирование, когда модель придумывает цитату реального человека, принципиально неустранимо при сегодняшней архитектуре языковых моделей. ИИ работает как система предсказания токенов на основе статистических паттернов, не различая реальные цитаты и правдоподобные высказывания. Обучающие данные «сжимаются» в параметры с потерей точной информации об источниках, остаются только ассоциации. Решение проблемы ложного цитирования требует фундаментальных изменений в архитектуре ИИ.
Компания OpenAI представила GPT-5, заявив о значительном сокращении галлюцинаций — ситуаций, когда ИИ уверенно выдумывает ложные факты и цитаты. Новая модель идет против общеотраслевой тенденции, поскольку более новые системы других компаний, обычно генерируют больше галлюцинаций, чем их предшественники. Это связано с тем, что более галлюцинирующие модели дают правильные и глубокие ответы тоже чаще. Но в этом случае контроль галлюцинаций возлагается на пользователя. OpenAI отдает предпочтение безопасности, но за счет эффективности.
Тестирование GPT-5, проведенное командой ученых, показало неоднозначные результаты. На бенчмарке ScholarQA-CS модель GPT-5 с доступом к интернету показала 55% корректных ответов, немного превзойдя человеческих экспертов (54%), но уступив специализированной системе OpenScholar (57%).
Точность снизилась, когда GPT-5 не смогла выйти в сеть и потеряла возможность проверки по академическим базам данных. Без доступа к интернету GPT-5 сфабриковала или исказила вдвое меньше цитат, чем одна из ее предшественниц, GPT-4o, но все равно ошибалась в 39% случаев.
Когда ИИ может обратиться к интернету, он получает возможность верифицировать информацию через актуальные источники вместо того, чтобы полагаться только на данные, на которых был обучен. Это особенно важно для свежих событий или изменяющейся информации. Это позволяет снизить процент галлюцинаций, но они все равно остаются.
Борьба с галлюцинациями
«Для большинства случаев процент галлюцинаций GPT-5 снизился до уровня, который кажется приемлемым для пользователей», — отмечает Тианьян Сюй, исследователь ИИ из университета Пердью. При этом в технических областях таких как право и математика GPT-5 все еще испытывает серьезные трудности.
На бенчмарке LongFact модель показала впечатляющие 0,8% ложных утверждений с интернетом против 5,1% у модели o3, но без веб-доступа показатель вырос до 1,4%. Модель также стала честнее: она заявляла о выполнении нерешаемых задач лишь в 17% случаев против 47% у o3.
Но ученые отмечают, что галлюцинации являются неотъемлемой особенностью работы больших языковых моделей. ИИ-модели — это статистические машины, они делают предсказания на основе изученных ассоциаций, что приводит к правдоподобным, но иногда неверным ответам. Полное устранение галлюцинаций, вероятно, невозможно, поскольку это следствие фундаментального принципа работы ИИ.
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.
