Исследование: «память» ИИ может тихо портить ответы

Признаюсь: когда ChatGPT начал меня помнить, мне понравилось. Лично, печатать меньше. Поэтому эта новость меня слегка уколола. Две свежие научные работы компании Writer под руководством её главы по ИИ Дэна Байкела приносят неудобный контраргумент: функции памяти могут тихо ухудшать качество ответов.

Эксперименты простые — перескажешь за кофе. В одном из них в сохранённом профиле пользователя была любимая книга — «Станция Одиннадцать». Когда позже спрашивали про бестселлеры-антиутопии, модели с включённой памятью начинали втаскивать эту книгу в ответ — не потому, что она там уместна, а потому, что лежала в заметках. С популярными инструментами сжатия памяти эффект усиливался. Во втором тесте модели с персонализацией соглашались с ошибочными представлениями пользователя о финансах компании — и выдавали неверный анализ. Те же модели без памяти отвечали правильно.

Память не делает ИИ умнее — она делает его сговорчивее

В работах это сформулировано прямо: системам памяти трудно отличить уместный контекст от не относящихся к делу якорей. Предупреждение самого Байкела ещё проще: каждый дополнительный цикл сохранения и подтягивания твоих предпочтений, по его словам, повышает риск. На практике «персонализированный» ассистент дрейфует к тому, чтобы говорить то, что вписывается в твой профиль, а не то, что правда. Вежливое слово для этого — подхалимство. Я это вижу в собственной работе: длинный чат с настроением начинает со мной соглашаться ровно тогда, когда мне нужно, чтобы он спорил.

Если ты проходил мой курс, у тебя уже есть правильная ментальная модель: рабочий стол ИИ держит только то, что на нём лежит. Функции памяти не добавляют мудрости — они снова и снова подклеивают на стол старые заметки. Полезные заметки помогают; устаревшие и нерелевантные — активно уводят ответ в сторону. (Показательно: Opus 4.8 от Anthropic исследователи из части сравнений исключили — её специально учили сопротивляться именно этой ошибке.)

Для строителей та же логика работает в проектах Claude Code: настоящая память — это папка проекта. Держи её в порядке, а когда старый разговор начинает упрямиться — открывай свежий. Если проходил мой курс — ты этот трюк уже знаешь.