GitHub-радар
Подними свой быстрый и дешёвый сервер ИИ-модели
vLLM — open-source инструмент, который превращает скачанную модель в сервис, отвечающий сразу многим пользователям быстро и без лишних затрат памяти.
Это программа, которая запускает большую языковую модель на твоём собственном сервере и отдаёт ответы по запросам — быстро и сразу нескольким пользователям одновременно.
Когда пригодится
Нужен, если разворачиваешь свой сервис на открытой модели — ради приватности или чтобы не платить за дорогие внешние API. Если хочешь просто пользоваться ИИ-помощником для кода каждый день — это не то: сам код он не пишет и не правит.
Плюсы
- Обслуживает множество запросов одновременно на одной видеокарте
- Совместим с API OpenAI и Messages API Anthropic — минимум правок кода
- Поддерживает 200+ открытых моделей с Hugging Face: Llama, Qwen, DeepSeek
- Активный проект, 2000+ контрибьюторов, лицензия Apache 2.0
Минусы
- Нужна видеокарта NVIDIA или AMD — на CPU работает, но слишком медленно
- Не пишет и не правит код сам — просто отдаёт готовую модель пользователям
- Требует сервер и видеокарту — дополнительные расходы на инфраструктуру
Как поставить — по шагам
- 1Открой ИИ-агента (Claude Code, Codex) в папке своего проекта
- 2Отправь агенту текст из блока ниже
- 3Дай агенту доступ к видеокарте и, если нужно, к закрытой модели на Hugging Face
- 4Проверь, что сервер отвечает на обычный запрос так же, как API OpenAI
- 5Если всё работает, подключи к серверу своё приложение вместо внешнего API
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Разверни тестовый сервер vLLM отсюда: https://github.com/vllm-project/vllm — поставь по README (uv pip install vllm), подними его с какой-нибудь маленькой открытой моделью с Hugging Face на видеокарте (спроси меня, если нужен доступ к закрытой модели) и покажи, что эндпоинт отвечает на обычный запрос как OpenAI API.
Тяжёлое — нужна видеокарта NVIDIA или AMD, без неё по-настоящему не раскроется: на CPU или обычном ноутбуке vLLM запустится, но так медленно, что смысла в этом почти нет. Это инструмент для тех, кто поднимает свой сервер с открытой моделью, а не для работы между делом на ноутбуке.
Открыть на GitHub▌ Ещё находки