ИИ-агенты в науке: лучший решает лишь 30% задач

Stanford HAI совместно с Allen Institute, NSF IFML, Ai2 и 376 исследователями из 22 стран опубликовал Terminal-Bench-Science — первый бенчмарк, где задачи взяты из реальных рабочих проектов учёных, а не составлены специально для теста. 70 задач охватывают пять направлений: науки о жизни (биология, медицина, нейронауки), физические науки (физика, химия, материаловедение), науки о Земле, математика и инженерные дисциплины.

1Результаты: 30% — это потолок

Лидером стал Claude Opus 5 с результатом 30,0%. GPT-5.6 Sol взял 22,4%, Claude Fable 5 — 21,4%, Claude Opus 4.8 — 10,5%. Все остальные модели, включая Grok 4.6 и Kimi K3, не перешагнули отметку 8%. В разрезе по дисциплинам картина неоднородна: в математике лидируют Claude Fable 5 (33,3%) и GPT-5.6 Sol (31,4%), тогда как в физических и науках о жизни Claude Opus 5 держит первое место с результатами около 28–30%.

2Почему эти задачи сложнее обычных тестов

Авторы изначально получили 920 предложений, из которых прошли фильтрацию только 70 — меньше 8%. Каждая задача должна была быть научно значимой, достаточно сложной для передовых моделей и однозначно верифицируемой. Типы задач включают анализ данных, симуляции, оптимизацию, доказательство теорем, реконструкцию изображений и машинное обучение. Это не вопросы с вариантами ответа — агент работает в терминале и должен получить конкретный результат.

3Стоимость: дороже, чем кажется

Прогон бенчмарка обходится недёшево. Claude Opus 5 потратил около 12 миллиардов токенов и $7 000 на 30% решённых задач. GPT-5.6 Sol оказался эффективнее по соотношению цена/результат: $4 200 за 22,4%. Claude Fable 5 обошёлся дороже всех — $14 200 при 21,4%. Это важный контекст: сегодняшние научные агенты не только медленно решают задачи, но и стоят значительных ресурсов.

Бенчмарк построен как непрерывный: следующая версия 0.2 уже в разработке, дедлайн для pull-request — 5 октября 2026 года. Авторы подчёркивают, что планка будет расти вместе с возможностями моделей. Смысл не в том, чтобы зафиксировать отставание ИИ, а в том, чтобы дать индустрии честное зеркало для измерения реального прогресса в науке.