Агенты застряли на 12% реальных задач

Новый бенчмарк от аналитической компании SemiAnalysis под названием GDPx ставит разных ИИ-агентов в реальные сценарии и даёт им задачи, которые нужно выполнить за восемь часов. Бенчмарк состоит из 206 разных задач в одиннадцати разных отраслях, таких как проектирование полупроводников, биржевая торговля и юридические услуги. Ни одна из моделей не смогла набрать больше 12% по полностью выполненным задачам. Победителем стала модель Anthropic Claude Opus 5.5 с результатом ровно 12%. На втором месте оказалась Gemini 4 Carbon от Google с результатом 10,9%, за ней следует GPT-6 Astra от OpenAI с результатом 9,6%. И наконец, бюджетная китайская модель DeepSeek 4.1 Flash набрала около 5%. Ни одна из моделей не смогла полностью выполнить ни одной задачи в финансовой и юридической областях.

Это говорит о том, что ИИ-агенты пока не способны успешно выполнять сложные многошаговые задачи без надзора человека. Один разработчик раскритиковал бенчмарк, заявив, что это в основном шум и что задач для оценки каждой области недостаточно. Тем не менее результаты всё же отражают то, что мы уже видели раньше: Anthropic лидирует, а Google и OpenAI отстают.