Nvidia почти вдвое сокращает расход токенов кодового агента с помощью SoL-Pi

Nvidia выпустила SoL-Pi — систему, которая сокращает расход токенов кодовым агентом почти вдвое за счёт улучшения обвязки вокруг модели, а не самой модели. SoL-Pi не меняет саму модель, а меняет обвязку — набор инструкций и политик вокруг модели. Они протестировали 152 конфигурации почти на трёх тысячах прогонов и обнаружили, что оптимальная конфигурация сокращает расход токенов на 49%, сохраняя при этом 93,7% исходного качества. При применении к бенчмарку EdgeBench SoL-Pi показала сокращение расхода токенов на 54,3% по сравнению с Claude Code.

Эти сокращения выглядят обоснованными и не обошлись слишком дорого с точки зрения качества ответов. Также стало меньше отката назад и лишних шагов со стороны агента. Стоит помнить, что это исследовательский проект Nvidia, и прямо сейчас SoL-Pi нельзя использовать для улучшения Claude Code. На других задачах, например на олимпиадных задачах по математике, эти преимущества выражены не так сильно, но мне нравится сам подход — менять обвязку вокруг модели, а не саму модель, — потому что, по моему опыту, в контексте, который таскает с собой агент, полно балласта, от которого мало толку.