← Все новости·2026-11-21·3 мин чтения

METR обновила график способностей ИИ: на открытых задачах модели отстают

В новую версию графика METR добавила задачи, где нужно суждение. Там модели пока слабее людей.

aiметрисследованияоценка моделей

METR, некоммерческая организация, которая проверяет, на что способны системы ИИ, обновила свой график «горизонта времени». Этот график оценивает модели по длине задач, которые они могут довести до конца. Длину измеряют тем, сколько времени та же задача занимает у человека. Старая версия показывала, что эта длина удваивается каждые четыре месяца. В новую добавили более длинные задачи и задачи с более свободной постановкой.

Результаты неровные. Там, где компьютер может сам проверить успех, как в коде и математике, прогресс продолжается. Но когда модели придумывали новые тесты для ИИ, сотрудники METR не сочли полезным ни один из них. В оценке философских аргументов модели не дотянули до людей. Ближе всех в задаче на придумывание тестов подошли новейшие модели, например Opus 5.5 от Anthropic. Год назад все модели набирали явно меньше нужной планки.

Новые цифры менее надёжны, чем старые. Время на большинство задач оценено на глаз, а не измерено. Большую часть аргументов оценивал один человек. Мэтт Путц, сотрудник METR, сомневается, что такие задачи когда-нибудь дадут такие же чёткие тренды, как задачи на код. Так что отставание в суждениях выглядит настоящим, но пока его измерили грубо.

Источник: www.technologyreview.com

Бесплатный курс

Хватит читать про ИИ — начни строить с ним

Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.

Начать →
ЕАЕвгений Арсентьев

Автор

Евгений Арсентьев

PhD · Founder & CEO, Dad4Kids