GitHub-радар
Модель 27B (6 ГБ) — Ternary-Bonsai от Prism ML
27B-модель с тернарными весами на базе Qwen, работающая локально на вашем ноутбуке, занимает всего 5,95 ГБ.
Ternary-Bonsai-2-27B — это языковая модель на 27 миллиардов параметров, построенная на базе Qwen3.8-27B и выпущенная компанией Prism ML. Эта модель использует тернарные веса (каждый вес может принимать одно из трёх значений), достигая реальных 1,72 бита на вес по всем слоям. При размере 5,95 ГБ (против ~54 ГБ у FP16) заявляется, что модель сохраняет 98,2% интеллекта FP16-версии и набирает средний балл 84,78 в 14 тестах в режиме мышления — против 72,59 у обычной сборки той же модели в IQ2_XXS. Модель способна выдавать ~47 токенов в секунду на ноутбуке Apple M5 Max. Длина контекста: 262144 токена. Файлы в формате GGUF, работают с llama.cpp на CUDA/Metal/CPU.
Зачем это вайб-кодеру
Занимая всего 5,95 ГБ, эта модель реально может работать на вашем обычном ноутбуке с 8 ГБ оперативной памяти и выше. Теперь вы можете использовать 27B-модель для рассуждений локально, не платя за облачные сервисы! Если важна приватность данных или нужна работа офлайн, эта модель — отличный выбор. На мой взгляд, эта модель достаточно хороша для локального использования, например для каких-то простых задач или если у вас нет денег на платные модели, но до топовых моделей для агентных задач ей далеко.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Поставь мне модель Ternary-Bonsai-2-27B от Prism ML: https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf — скачай GGUF-файл и запусти через Ollama, потом покажи пример диалога.
Обычный ноутбук от 8 ГБ оперативки — модель занимает около 6 ГБ; с 16 ГБ будет свободнее.
Открыть на Hugging Face▌ Ещё находки