GitHub-радар
Auto-BenchMax: улучшаем результаты бенчмарков на использование инструментов в 2 раза
Открытый пайплайн для генерации обучающих данных, который удваивает результат вашей LLM на бенчмарках по использованию инструментов и агентности. Одна итерация подняла Qwen3-Coder-30B с 19.1 до 40.4 на бенчмарке MCP-Atlas (улучшение больше чем в 2 раза)!
Это открытый пайплайн, разработанный участником сообщества 'sunny-glow' для генерации обучающих данных, которые удваивают результаты вашей LLM на бенчмарках по использованию инструментов и агентности. Полный пайплайн, код обучения (Qwen3-Coder-30B, обученная с помощью axolotl + DeepSpeed ZeRO-3) и синтетический датасет первой итерации (1312 примеров) можно найти в этом репозитории. С помощью этого пайплайна нам удалось поднять результат на публичном бенчмарке MCP-Atlas с 19.1 до 40.4 всего за одну итерацию. Пайплайн поддерживает как Execute-then-Extract для бенчмарков на основе правил, так и Construct-then-Verify для бенчмарков, оцениваемых с помощью LLM. Пайплайн можно запустить даже одной командой из Claude Code с помощью прилагаемого skill!
Зачем это вайб-кодеру
Если вы хотите дообучить свои модели под агентность или использование инструментов, этот репозиторий даёт понятный, воспроизводимый способ добиться улучшения в 2 раза на любом бенчмарке — и при этом всё выложено в открытый доступ для сообщества.
▌ Ещё находки