Berkeley: агентные фреймворки влияют на стоимость, а не на качество

В UC Berkeley протестировали 21 пару модель-фреймворк на двух датасетах: SWE-bench Lite и Terminal-Bench 2.0. Выяснилось, что некоторые пары модель-фреймворк показывают почти одинаковый результат (±2%), хотя стоят совсем по-разному (разница доходит до 5 раз). Например, на Fable 5.1 Claude Code обходится в 2 раза дороже, чем самый дешёвый фреймворк (Pi), но его успешность хуже всего на 1,1%.

Pi — это фреймворк с 4 инструментами (read, write, edit, bash), и он выходит на границу Парето на обоих датасетах. Почему Claude Code стоит настолько дороже, чем Pi? Потому что в начале каждой сессии он выдаёт в 10 раз больше токенов. Если делаешь одну задачу с чёткой постановкой, скорее всего можно обойтись более простым фреймворком и сэкономить. Но если у тебя длинная сессия с кучей контекста по проекту, возможно, стоит потратить чуть больше.