Галлюцинации нейросетей: почему AI уверенно врёт

Цель AI — чтобы «звучало правильно», и обычно «звучит правильно» совпадает с «является правдой» — но не всегда. Когда они расходятся, получаешь уверенную ложь. Лекарство: проверяй всё, у чего есть последствия, и относись к AI как к толковому стажёру, а не к оракулу.

Что такое галлюцинация нейросети?

Галлюцинация — это уверенный, правдоподобно звучащий ответ, который оказался ложью: выдуманная ссылка, несуществующая статистика, функция, которой нет. Модель не врёт нарочно: её движок предсказания выдаёт текст, который звучит правильно, а встроенного шага проверки «а правда ли это» у неё нет.

Можно ли остановить галлюцинации AI?

Полностью убрать галлюцинации нельзя, но можно сделать их безвредными. Проси источники и проверяй хотя бы один. Давай модели реальные материалы вместо того, чтобы заставлять её вспоминать факты. И держи правило трёх секунд: всё, у чего есть последствия, проверяй так, как проверял бы работу толкового стажёра.