Главный AI-рейтинг переделали из-за GPT-6 Astra
Artificial Analysis выпустила Intelligence Index 4.2 после критики скоринга GPT-6 Astra — Astra прибавила 4 балла, тест GPQA-Diamond убран.
Организация Artificial Analysis выпустила версию 4.2 своего Intelligence Index — после публичной критики: конкурирующие тесты Epoch AI и ARC-AGI-3 показали, что GPT-6 Astra значительно мощнее, чем следовало из индекса. Теперь Astra прибавила 4 балла и вышла на второе место, Claude Fable 5.1 остался первым.
Тест GPQA-Diamond полностью убрали из расчёта — современные модели его уже решают полностью. Добавлены два новых теста: AA-Briefcase и GDP.pdf. Чтобы исключить накрутку на публичные тесты, 40% итогового взвешивания теперь приходится на приватные данные, недоступные разработчикам моделей.
Этот случай обнажил системную проблему: модели обгоняют методологию оценки быстрее, чем успевают обновляться рейтинги. Вопрос «какая модель лучшая» всё сильнее превращается в вопрос «какой рейтинг ещё актуален».
Источник: the-decoder.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи