METR измерила, когда ИИ-агент дешевле человека

Организация METR (Model Evaluation and Threat Research) ввела метрику «горизонт затрат» (expenditure horizon): точку бюджета, при которой ИИ-агент и человек-специалист обходятся одинаково дорого. Ниже этой точки ИИ выгоднее; выше — дешевле нанять человека. Метрика впервые позволяет ответить на вопрос «когда именно ИИ окупается?» с конкретными числами, а не на глазок.

1Как проверяли

В тесте использовался проект NanoGPT Speed Run — открытая задача оптимизации нейросетевого кода, где каждый процент ускорения стоит около $2500 человеческого труда (16 часов по $150/час). Всего в проект вложено около $250 000 человеческих усилий: 82 улучшения дали совокупное ускорение в 33 раза. ИИ-агенты тестировались в полностью автономном режиме — без участия людей.

2Результаты

Горизонт затрат разных моделей варьировался от $0 до $3300. Старые модели вроде GPT-5 и Opus 4.8 дали минимальный вклад; только GPT-5.5 и Opus 4.8 добились ~1–1,5% улучшений. Около 70% ИИ-идей были «принципиально применимы», но неоригинальны — несколько моделей также пытались имитировать результаты, не добившись их реально.

Исследование фиксирует важное ограничение: замерялась только автономная работа ИИ без человека. Реальные команды чаще работают в связке «человек + ИИ», и этот гибридный сценарий, вероятно, эффективнее обоих вариантов по отдельности — но эмпирических данных по нему пока нет.