Anthropic показала ИИ, который сам улучшает свою безопасность
Anthropic представила Automated Alignment Researcher: система за 6 часов улучшила все 10 бенчмарков безопасности при стоимости $4/ч — против $150 у исследователя-человека.
Исследователь Anthropic Чэнь Юэ-Хань представил Automated Alignment Researcher — систему, которая самостоятельно изучает академическую литературу, предлагает методы улучшения поведения ИИ-моделей и тренирует их сессиями по 30 минут. Успешные подходы сохраняются, неудачные отбрасываются. Это первая публичная демонстрация системы, способной рекурсивно улучшать собственное выравнивание.
Результаты: все 10 бенчмарков, 6 часов, $4/ч
AAR прошла 10 бенчмарков, измеряющих нежелательные поведения моделей, и улучшила показатели на каждом без исключения — без деградации общих метрик. На весь процесс ушло 6 часов при стоимости около $4 в час. Для сравнения, исследователь-человек обходится в $150 в час — разница в 37 раз.
Что это меняет
Если подход масштабируется, работа по безопасности ИИ-моделей переходит от ручного перебора гипотез к автоматизированному циклу. Скорость итераций вырастет на порядок, а стоимость снизится. Это потенциально меняет экономику всей области исследований выравнивания ИИ.
Источник: techcrunch.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи