METR: Anthropic почти перешла порог ускорения ИИ

Команда METR — независимая группа исследователей безопасности ИИ — 11 недель (с 12 августа по 29 октября) изучала часть публичного отчёта Anthropic по безопасности. По политике безопасности Anthropic они обязаны раскрывать информацию, если прогресс их исследований ускорился более чем в 2 раза благодаря ИИ-агентам. В своём отчёте они заявляют, что коэффициент ускорения «меньше 2». Мы проверили их внутреннюю метрику — она равна 1,97, то есть едва ниже порога.

У них полный контроль над тем, какие метрики использовать для расчёта этого коэффициента ускорения и какие разделы отчёта вычеркнуть перед публикацией. Так что, глядя на ключевые цифры в их отчёте, мы по большей части просто верим им на слово — при том что реальный порог настолько близок к тому, чтобы быть превышенным.