GitHub-радар
TurboFieldfare — 26-миллиардная модель на MacBook с 8 ГБ
Оптимизированный рантайм инференса на Swift + Metal для открытой модели Google Gemma 4 26B-A4B, которому хватает всего ~2 ГБ памяти — работает даже на Mac с 8 ГБ!
Оптимизированный рантайм инференса на Swift + Metal для открытой модели Google Gemma 4 26B-A4B. Он заточен именно под эту модель (это не универсальный движок вроде MLX или llama.cpp) и держит в памяти только общее ядро на 1,35 ГБ и FP16 KV-кэш, подгружая экспертов с SSD по мере необходимости. Благодаря этому полную модель весом 14,3 ГБ можно запустить, используя всего ~2 ГБ памяти, что делает её доступной даже на слабых Mac с Apple Silicon. Прилагается полностью задокументированный набор из 103 экспериментальных результатов по разным ядрам, кэшированию, I/O и декодированию. В комплекте нативное приложение для Mac, CLI, стример модели и локальный OpenAI-сервер. Требуется macOS 26+.
Зачем это вайб-кодеру
Запускайте настоящую локальную OpenAI-совместимую модель на своём Mac без облака, подписок и утечки данных куда-либо — на том самом Mac, что у вас уже есть!
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Собери TurboFieldfare отсюда: https://github.com/drumih/turbo-fieldfare (swift build -c release), запусти приложение и дай модели скачаться при первом старте.
Любой Mac на M-чипе — хватит даже 8 ГБ памяти; на SSD модель займёт ~15 ГБ. Нужна macOS 26+.
Открыть на GitHub▌ Ещё находки