Только 3% интеллектуальной работы автоматизируется с помощью ИИ, показывает исследование

Лучшая модель искусственного интеллекта (ИИ) способна выполнить лишь 3% сложных задач интеллектуальной работы — таков результат нового бенчмарка AA-Briefcase, выпущенного исследовательской компанией Artificial Analysis 19 июня 2026 года. Такой высокий результат показывает Claude Fable 5, все остальные модели выступают хуже. Бенчмарк измеряет, насколько хорошо ИИ справляется с задачами, отражающими реальную офисную работу на несколько недель, а не простыми изолированными задачками, которые обычно встречаются в тестах для ИИ.

В отличие от типичных запросов к ИИ, аккуратных и самодостаточных, AA-Briefcase выдаёт моделям разрозненную информацию, разбросанную по разным источникам — сообщениям в Slack, письмам, заметкам со встреч и дампам данных, — примерно так же, как это бывает в реальном проекте. Моделям нужно просеять эти данные, чтобы найти нужную информацию, удержать её в памяти на протяжении всего процесса и в итоге выдать готовый результат. По тридцати одной из девяносто одной задачи ни одна модель не достигла порога в 50% выполнения — это значит, что треть работы не смогла правильно выполнить даже лучшая модель ИИ.

1Модели посильнее ошибаются хитрее

Ещё одно интересное наблюдение из бенчмарка касается природы ошибок, которые допускают разные модели ИИ. «По мере того как модели ИИ улучшаются, меняется и характер ошибок, которые они допускают», — говорится в отчёте. «Слабые модели спотыкаются на простом исполнении, не умея получить доступ к нужным документам или выдавая некорректные результаты. Сильные модели допускают более тонкие ошибки: они удовлетворяют очевидным критериям, но упускают нюансы, требующие сопоставления данных из разных источников». По сути, дешёвые модели разваливаются очевидным образом, тогда как дорогие модели выглядят нормально до тех пор, пока не начинаешь копать глубже.

Наконец, ещё одно удивительное открытие — разница в стоимости между моделями ИИ. Цена за задачу варьировалась от $0,04 у DeepSeek V4 Flash до более $31 у Claude Fable 5 — разница в 800 раз! За 800-кратную стоимость вы получаете чуть лучший результат (но всё равно лишь 3% выполнения). Пользуясь этими инструментами каждый день на протяжении года, я могу подтвердить: так и есть — ИИ отлично справляется с первыми 80% любой задачи, но спотыкается на тонких деталях, которые проявляются только при сопоставлении источников, а этим приходится заниматься людям.