Nvidia почти вдвое сокращает расход токенов кодового агента с помощью SoL-Pi

Nvidia опубликовала SoL-Pi — подход, который сокращает число токенов у кодового агента почти вдвое за счёт оптимизации не самой модели, а обвязки вокруг неё. SoL-Pi не меняет саму модель, он меняет обвязку (то есть инструкции и политики), связанную с моделью. После тестирования 152 разных конфигураций в почти трёх тысячах прогонов они обнаружили, что лучшая конфигурация сокращает токены на 49%, теряя всего 6,3% качества (93,7%). На бенчмарке EdgeBench SoL-Pi сократил токены на 54,3% по сравнению с Claude Code.

Похоже, эти улучшения реальные и не сильно жертвуют качеством ответов. Также агент стал меньше откатываться назад и выполнять лишние действия. Напомню, это всё ещё исследовательская статья от Nvidia, так что использовать SoL-Pi для оптимизации Claude Code пока нельзя. Возможно, это не сработает так же хорошо для других типов задач, вроде олимпиадных задач по математике, но мне нравится, что они фокусируются на оптимизации обвязки вокруг модели, а не самой модели, поскольку, похоже, агент таскает с собой много лишнего контекста.