GitHub-радар
Как автоматически улучшить настройки своего ИИ-агента
Harness² — исследовательский инструмент Google, который сам подбирает удачные настройки твоего ИИ-агента под конкретную задачу, не трогая саму модель. После прогона у тебя остаётся готовая улучшенная конфигурация и отчёт о том, что изменилось.
Это система, которая пробует разные варианты настройки агента на одной задаче и собирает из удачных вариантов улучшенную версию. Сама модель при этом не меняется — меняется только обвязка вокруг неё: промпты, память, инструкции для инструментов.
Когда пригодится
Пригодится, если ты сам настраиваешь поведение агента и хочешь проверять изменения на практике, а не на словах. Если ты просто даёшь агенту задачи и не трогаешь его настройки, инструмент тебе ничего не даст.
Плюсы
- Можно попробовать бесплатно: локальная демка работает без ключей моделей
- Проверяет изменения настроек на реальной задаче, а не в теории
- Запоминает удачные настройки и использует их в следующих задачах
- Открытый код под лицензией Apache 2.0 — можно менять как хочешь
Минусы
- Для боевых бенчмарков нужен платный доступ к Google Cloud Vertex AI
- Результаты показаны только для Gemini и GLM-5, без Opus и Fable
- Бесполезен, если ты не настраиваешь конфигурацию агента сам
Как поставить — по шагам
- 1Открой своего ИИ-агента (Claude Code, Codex) в папке, где собираешься работать
- 2Отправь агенту текст из блока ниже — он поставит локальную демку с GitHub
- 3Подожди, пока агент выполнит установку через uv и запустит команду harness2-demo
- 4Проверь результат в папке runs/demo — там видно, какие изменения предложил и собрал инструмент
- 5Для настоящего бенчмарка на модели подготовь платный доступ к Google Cloud Vertex AI
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Поставь локальную демку Harness² с https://github.com/google-research/harness2 — по инструкции из README через uv (команда harness2-demo, без ключей моделей) — и покажи, что получилось в папке runs/demo. Если захочешь прогнать боевой бенчмарк на модели, спроси у меня доступ к Google Cloud / Vertex AI.
Видеокарта не нужна — модели вызываются через Google Cloud Vertex AI по API, а не считаются на вашей машине. Локальная демка без моделей ставится на обычный ноутбук через uv. Для боевых бенчмарков добавляются Node.js, Google Cloud CLI и платный доступ к Vertex AI, а для LAB и WorkBuddy-Bench — ещё Pandoc, Poppler и Docker.
Открыть на GitHub▌ Ещё находки