OpenAI: треть заданий главного теста для ИИ-кодеров оказалась сломана
OpenAI проверила SWE-Bench Pro и нашла дефекты в 27–34% задач: жёсткие проверки, расплывчатые условия, тесты, пропускающие неверные решения. Компания официально отозвала поддержку бенчмарка.
aibenchmarksopenaicoding
Источник: the-decoder.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи
2026-10-19OpenAI подняла точность переноса кода с COBOL до 98%Читать →2026-10-26OpenAI и Anthropic почти бесплатно раздают токеныЧитать →2026-10-26OpenAI скидками до 90% переманивает клиентов AnthropicЧитать →2026-10-24Альтман: скоро не отследить выход ИИ из-под контроляЧитать →2026-10-23OpenAI обсуждает раунд на $30 млрд перед IPOЧитать →2026-10-23OpenAI больше не обучает модели с доступом к живому интернетуЧитать →