Вспомните знаменитое новогоднее обращение Бориса Ельцина, где он, как кажется, произнес: «Я устал, я ухожу». Однако на самом деле, он сказал лишь: «Я ухожу. Я сделал всё, что мог». Это явление известно как Эффект Манделы. Анализируя память с технической точки зрения, можно увидеть, что мозг использует предиктивное автодополнение, добавляя вероятные слова, чтобы заполнить пробелы. Таким образом, каждое воспоминание становится неким видом галлюцинации.
Сравнивая это с работой больших языковых моделей (LLM), мы понимаем, что они также сталкиваются с подобными проблемами. LLM не имеют традиционной базы знаний, а работают на основе вероятностей токенов. Когда модель не уверена в ответе, она генерирует наиболее подходящее слово, а не сообщает об ошибке.
Важно понимать, что ошибки в LLM — это не баг, а особенность их работы. Снижение уровня галлюцинаций может ограничить креативность, так как именно эта проблема позволяет ИИ проявлять изобретательность, как и человек.