Галлюцинация

Галлюцинация — генерация языковой моделью ложных, но убедительных утверждений, представленных как факты.

Общее

Галлюцинация — не баг в обычном смысле. Модель предсказывает наиболее вероятное продолжение текста, и иногда это продолжение звучит правдоподобно, но фактически неверно.

Типы галлюцинаций:

• Фактические — неверные даты, имена, цифры, события.
• Логические — правильные посылки, но неверный вывод.
• Ссылочные — несуществующие источники, статьи, URL.

Причины

• Недостаток информации в обучающих данных.
• Давление контекста — модель «подгоняет» ответ под ожидания промпта.
• Неопределённость — модель не умеет говорить «не знаю» по умолчанию.

Борьба с галлюцинациями

• RAG — дополнение ответа проверенными источниками.
• Температура 0 — снижение случайности для фактических запросов.
• Явные инструкции — «если не уверен, скажи что не знаешь».
• Верификация — проверка ответов через внешние инструменты.

Связанные понятия

• RAG — метод снижения галлюцинаций через поиск фактов.
• Temperature — высокая температура увеличивает риск галлюцинаций.
• LLM — модель, склонная к галлюцинациям по природе генерации.