9 мин · +80 XP
Токены, контекст и почему он забывает
Две механики, объясняющие 90% поведения ИИ.
К концу этого урока
Ты будешь предсказывать, почему ИИ делает странности — и как их предотвращать.
Две идеи — токены и контекст — объясняют почти всё, что ИИ делает и что сбивает людей с толку. Выучи их, и ты перестанешь удивляться.
Модель не видит ни букв, ни даже целых слов. Она видит «токены» — кусочки текста, примерно ¾ слова каждый. Вот почему она иногда неправильно считает буквы: она вообще не видела этих букв.
Всё в текущем разговоре лежит на столе, который называется контекстным окном. ИИ может рассуждать только о том, что лежит на столе прямо сейчас. Начни совершенно новый чат — и стол вытерт начисто. («Но ChatGPT же меня помнит!» — его «память» это маленький блокнотик сохранённых фактов, который он каждый раз заново кладёт на стол. Сам стол всё равно вытирается. В Claude Code твоим блокнотом — куда более вместительным — становится папка проекта с её файлами.)
Больше стол — лучше работа. Когда ты даёшь сильной модели сразу много нужного контекста — весь файл, полную цель, примеры — качество ответа подскакивает. Если ты годами задавал чат-ИИ вопросы одной строчкой — ты всю свою ИИ-жизнь морил стол голодом. Так делает большинство — и винит ИИ.
Почему ИИ «забывает» то, что ты сказал ему в другом чате?
Автор
Евгений Арсентьев
PhD · Директор по продукту (CPO) в healthtech-компании