GitHub-радар
Готовая модель, которая по фото и команде управляет роборукой
Это базовая модель для роборук: по фото с камеры и текстовой команде она выдаёт движения руки. Дообучи её под свою задачу — не обучай с нуля.
Модель смотрит на изображение с камеры, читает текстовую команду и выдаёт движения роборуки.
Когда пригодится
Пригодится, если ты занимаешься робототехникой и хочешь готовую базу для дообучения своей роборуки. Не нужна, если у тебя нет физического робота или задача не связана с управлением рукой.
Плюсы
- Обучена на 20 000 часах записей с девяти роботов — хорошая стартовая база
- Код обучается в 1,5–2,8 раза быстрее аналогичных решений
- Веса лежат на Hugging Face и ModelScope, гайд по дообучению — в репозитории на GitHub
- Есть версия с дистилляцией глубины, помимо обычной
Минусы
- Нужен физический робот и GPU для обучения и запуска
- Установка и дообучение требуют Python, conda и настройки конфигов
Как поставить — по шагам
- 1Создай окружение Python 3.12 через conda — инструмент для управления Python-окружениями.
- 2Клонируй репозиторий командой git clone https://github.com/Robbyant/lingbot-vla.git
- 3Запусти bash install.sh, чтобы установить зависимости.
- 4Скачай веса модели с Hugging Face или ModelScope — площадок для ИИ-моделей.
- 5Открой гайд по дообучению в репозитории и подготовь свои данные в формате LeRobot.
- 6Отправь агенту задачу на запуск обучения или оценки модели под свою роборуку.
▌ Ещё находки