← Все новости·2026-11-22·3 мин чтения

Исследователи Nvidia: огромные контекстные окна часто не нужны

По данным The Decoder, команда Nvidia считает большие контекстные окна медленными и дорогими. В тестах им не уступали периодические сводки и точечный поиск.

airesearchllm

Исследователи из Nvidia, компании, которую больше всего знают по чипам для ИИ, говорят, что огромная память нынешних языковых моделей часто больше, чем нужно. Эту память называют контекстным окном. Это объём текста, который модель держит перед глазами, пока пишет ответ. Об этом заявлении сообщил The Decoder, немецкий новостной сайт про ИИ.

Эти окна быстро выросли. GPT-4 от OpenAI вышла в марте 2023 года с окном в 8,192 токена — так называют небольшие кусочки текста, которые считают модели. GPT 5.6 Sol сейчас работает примерно с миллионом. В статье сказано, что из-за такого объёма текста модель работает медленно, стоит дорого и чаще ошибается. Во многих тестах регулярные краткие выжимки и точечный поиск нужного места работали примерно так же хорошо, как полный контекст. Если это подтвердится, умение модели выбирать, что читать, может оказаться важнее размера её окна.

Авторы предлагают такую модель, которая работает по коротким заметкам, а не по длинному контексту. Полная статья доступна только по платной подписке. Поэтому имена исследователей, название их работы и затраты в их тестах неизвестны. Пока это заявление самой команды, и никто другой его ещё не проверял.

Источник: the-decoder.com

Бесплатный курс

Хватит читать про ИИ — начни строить с ним

Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.

Начать →
ЕАЕвгений Арсентьев

Автор

Евгений Арсентьев

PhD · Founder & CEO, Dad4Kids