Kimi K3.1 Pro упала с 4-го места на 9-е в новом индексе Artificial Analysis

Artificial Analysis, которая занимается оценкой и рейтингованием ИИ-моделей, опубликовала Intelligence Index v5. В этом обновлении произошёл серьёзный сдвиг в методологии: теперь 60% оценки основано на закрытых тестовых данных (вопросах, которые ИИ раньше не видел). Это сделано, чтобы сдержать «бенчмаксинг» — оптимизацию модели именно под те типы вопросов, которые задают в конкретном бенчмарке. После этого изменения разрыв между лучшими открытыми моделями и лучшими закрытыми моделями выросй с 3 баллов до 12. Открытая модель Kimi K3.1 Pro, разработанная китайской исследовательской лабораторией Moonshot AI, опустилась с 4-го места на 9-е, и теперь её обгоняют 8 разных закрытых моделей. Аналогично модель Grok 4.7 от xAI потеряла 12 баллов.

Такое падение результатов у Kimi совпадает с паттерном, который уже заметен всем, кто запускал эти модели на реальных агентных задачах — китайские открытые модели обычно хорошо показывают себя на публичных бенчмарках, где вопросы известны заранее, но теряются, когда сталкиваются с неизвестными вопросами. Использование закрытых тестовых данных помогает предотвратить бенчмаксинг для всех моделей, и открытых, и закрытых, обеспечивая более честное сравнение по всей отрасли.