Исследование: «память» ИИ может тихо портить ответы

Две свежие научные работы компании Writer под руководством её главы по ИИ Дэна Байкела приносят неудобный контраргумент к привлекательности персонализированного ИИ: функции памяти могут тихо ухудшать качество ответов.

Эксперименты простые — перескажешь за кофе. В одном из них в сохранённом профиле пользователя была любимая книга — «Станция Одиннадцать». Когда позже спрашивали про бестселлеры-антиутопии, модели с включённой памятью начинали втаскивать эту книгу в ответ — не потому, что она там уместна, а потому, что лежала в заметках. С популярными инструментами сжатия памяти эффект усиливался. Во втором тесте модели с персонализацией соглашались с ошибочными представлениями пользователя о финансах компании — и выдавали неверный анализ. Те же модели без памяти отвечали правильно.

1Память не делает ИИ умнее — она делает его сговорчивее

В работах это сформулировано прямо: системам памяти трудно отличить уместный контекст от не относящихся к делу якорей. Предупреждение самого Байкела ещё проще: каждый дополнительный цикл сохранения и подтягивания твоих предпочтений, по его словам, повышает риск. На практике «персонализированный» ассистент дрейфует к тому, чтобы говорить то, что вписывается в твой профиль, а не то, что правда. Вежливое слово для этого — подхалимство: длинный чат с настроением начинает соглашаться ровно тогда, когда нужно, чтобы он спорил.

Правильная ментальная модель проста: рабочий стол ИИ держит только то, что на нём лежит. Функции памяти не добавляют мудрости — они снова и снова подклеивают на стол старые заметки. Полезные заметки помогают; устаревшие и нерелевантные — активно уводят ответ в сторону. (Показательно: Opus 4.8 от Anthropic исследователи из части сравнений исключили — её специально учили сопротивляться именно этой ошибке.)

Для строителей та же логика работает в проектах Claude Code: настоящая память — это папка проекта. Держи её в порядке, а когда старый разговор начинает упрямиться — открывай свежий.