Агент Hyra 2.0 теперь строит инструменты, а не просто отвечает

Лаборатория искусственного интеллекта китайского технологического гиганта Tencent выпустила обновлённую версию своего исследовательского агента Hyra 2.0. В отличие от предшественника, Hyra 1.0, который три месяца назад самостоятельно решил математическую гипотезу в аддитивной комбинаторике (раздел, посвящённый сумме и разности множеств чисел), остававшуюся нерешённой более полувека — и это стало первым случаем для китайской открытой модели — Hyra 2.0 не просто решает задачи, но и разрабатывает универсальные инструменты: модели, пайплайны и валидаторы, которые могут быть полезны всему сообществу.

Например, Hyra 2.0 разработал модель для проектирования белковых последовательностей под названием HyInv, у которой всего 1,96 миллиона параметров. Агент обучил её полностью самостоятельно — через предобучение, тонкую настройку, обучение с подкреплением и ускорение — и эта модель генерирует белковые последовательности, которые лучше соответствуют нужной структуре, чем лучший на сегодня инструмент ProteinMPNN, при этом работая в 57 раз быстрее. Другая модель, HyPLM-Flash, с 650 миллионами параметров, обучена на 726 миллиардах токенов (единица текстовых данных) — это 0,73 от объёма данных, на которых обучалась популярная белковая модель ESM-2 650M. Она использует от одной пятой до одной восьмой объёма данных, на которых обучались две другие белковые модели — E1-600M и ESM C 600M соответственно. В сравнении с 12 другими моделями для анализа белков HyPLM-Flash оказалась самой быстрой и в среднем заняла 3-е место по итогам 35 испытаний.

Кроме того, Hyra 2.0 самостоятельно придумал новый код коррекции ошибок для квантовых компьютеров. Код коррекции ошибок — это метод обнаружения и исправления ошибок в ходе квантовых вычислений. С параметрами [488, 123, 22] этот код по эффективности превосходит текущее лучшее решение в открытом рейтинге qLDPC Challenge для кодов коррекции ошибок квантовых вычислений примерно на 48%. Кроме того, он успешно пересчитал дистанции для 178 из 187 кодов из этого рейтинга, добившись ускорения в 8–55 раз по сравнению с исходной реализацией на CPU.

Кроме того, исследовательский агент внёс вклад в open source-проект по разработке процессора XiangShan, основанный на открытой архитектуре набора команд (ISA) RISC-V. Благодаря правкам агента процессор получил прирост производительности на 5,79% на ГГц в тесте SPEC CPU2006 — без изменения тактовой частоты и с увеличением площади чипа не более чем на 0,3%. По словам команды Hyra, такой прирост равносилен примерно двум-трём месяцам работы разработчиков проекта. Агент нашёл десять ошибок с помощью автоматического тестирования случайными входными данными (fuzzing) и ещё одну серьёзную ошибку с помощью формальной верификации — формального метода доказательства корректности кода. Эта ошибка оказалась несогласованностью в поведении кеша между разными ядрами процессора и не была занесена в базу ошибок проекта. Патч был принят в open source-проект по разработке чипов OpenLLC.

И наконец, Hyra 2.0 успешно доказал две открытые математические гипотезы и подтвердил доказательства вместе с экспертами-людьми. Одна гипотеза касается действий окружности и была предложена математиком Яу, а другая — о равноудалённых точках в пяти измерениях — предложена математиком Петти. В робототехнике агент создал странную на вид пятипалую роборуку, пальцы которой становятся длиннее, закручиваясь по спирали наружу. При дополнительном обучении с тем же объёмом вычислительных ресурсов она может вращать предметы на 28,6% быстрее, чем оптимальное решение, описанное в литературе (проверено только в симуляции, не на физических устройствах).