Новый тест показал провал кодерских агентов

Группа Alibaba вместе с несколькими азиатскими университетами разработала новый бенчмарк под названием Co-Design Bench для оценки результатов код-агентов на задачах программирования в открытом домене. Бенчмарк построен на реальных запросах пользователей и требует, чтобы агент модифицировал веб-приложения так, чтобы реализованные функции работали при проверке через веб-браузер. Лучший результат на этом бенчмарке показал агент GPT-6 Astra от OpenAI — 26,4%. Среди других заметных результатов — Claude Opus 5 от Anthropic и Qwen3.8-Max от Alibaba.

Такие агенты показывают более 99% на традиционных бенчмарках вроде WebCompass-edit. Однако между их результатами на этих бенчмарках и на Co-Design Bench есть значительный разрыв (более 35 процентных пунктов). Это показывает ограниченность текущих бенчмарков в измерении способности код-агентов сотрудничать с другими на существующих кодовых базах. Если вы планируете внедрять код-агентов в своей организации, обязательно оценивайте их на релевантных бенчмарках, а не полагайтесь на универсальные.