GitHub-радар
MiniCPM5-2B: маленькая модель для простых задач на ноутбуке
OpenBMB выпустила MiniCPM5-2B — небольшую модель для запуска на своём устройстве через Ollama или LM Studio; разбираю, какие рутинные задачи она снимет со счёта за API.
MiniCPM5-2B — вторая модель серии MiniCPM5 от OpenBMB, на 2 миллиарда параметров, сделанная для запуска на своём устройстве. OpenBMB пишет, что в её сравнении модель лучшая среди открытых моделей своего размера и не отстаёт от моделей класса 4B, особенно в коде, математике, длинном контексте, работе с инструментами и агентских задачах. Здесь лежат GGUF-файлы для llama.cpp, Ollama и LM Studio: сжатая версия Q4_K_M весит около 1,6 ГБ, 8-битная — около 2,7 ГБ. Вместе с моделью OpenBMB выложила обучающие датасеты, веса — под лицензией Apache 2.0.
Зачем это вайб-кодеру
Когда счёт за токены начинает расти, я первым делом смотрю на маленькие локальные модели. Разобрать письма, набросать ответ, вытащить поля из документов — это часто по привычке уходит в платный API, хотя модель на 2 миллиарда параметров на ноутбуке сделает это бесплатно и не отправит данные клиентов наружу. Лицензия Apache 2.0 позволяет встроить её и в продукт. Хороший первый проект: локальный помощник, который сортирует входящие запросы до того, как что-то дойдёт до дорогой модели.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Поставь мне модель MiniCPM5-2B локально: https://huggingface.co/openbmb/MiniCPM5-2B-GGUF — возьми версию Q4_K_M, запусти через Ollama и покажи, как отдавать ей простые задачи вместо платного API.
Обычный ноутбук от 8 ГБ оперативки — сжатая версия модели весит около 1,6 ГБ.
Открыть на Hugging Face▌ Ещё находки