GitHub-радар
Открытая библиотека по оценке ИИ-агентов
443+ проверенных ресурса по оценке ИИ-агентов — статьи, инструменты, бенчмарки — с глубокими заметками и готовым плейбуком. Тот систематический список, которого не хватало.
Это подборка из более чем 443 тщательно отобранных и поддерживаемых материалов по оценке ИИ-агентов (научные статьи, фреймворки, фрагменты интервью с таймкодами и многое другое). Уникальность этого ресурса в том, что он основан на анализе цитирований глубиной 4 по 11 600 статьям плюс на проверках на пробелы в состязательном режиме, а не на случайном наборе ссылок. Этот ресурс стал виральным, когда ведущие лаборатории начали публиковать большие посты про оценку, и оценка ИИ-агентов стала ограничивающим фактором при обучении RL-агентов.
Зачем это вайб-кодеру
Этот ресурс отлично подойдёт, если ты строишь что-то на основе ИИ-агентов или если тебе интересно понять, что делает одни инструменты «надёжными», а другие — постоянно выдающими галлюцинации. Из этого ресурса ты узнаешь, как измерить разницу между такими инструментами. Там даже есть фрагменты кода, которые показывают, как внедрить эти идеи в свою работу!
▌ Ещё находки