Cache-to-Cache: LLM-агенты передают контекст без текста

Команда исследователей опубликовала статью о методе под названием Cache-to-Cache — он позволяет языковым моделям обмениваться внутренним KV-кэшем вместо обмена текстовыми данными. Удалось получить прирост 6.4–14.2% на разных бенчмарках и ускорение до ~2.5 раза! Статью приняли на ICLR 2026 :)

Сейчас у агентов единственный способ передавать контекст друг другу — это сериализация в текст, а это довольно затратно по токенам. Cache-to-Cache позволяет делиться внутренним состоянием без сериализации в текст. Пока это просто исследовательский проект, в готовом виде его нигде нет, но как только это превратится в продукт, думаю, это сможет ускорить и снизить стоимость твоих агентных пайплайнов.