GitHub-радар
35B-модель в 3 ГБ памяти — Edge0 запустили на обычном Маке
Edge0 выпустили 35B MoE-модель, которая хранит веса на SSD и подгружает нужные куски по мере генерации — активная память 3 ГБ на Apple Silicon.
Мы обучили 35B sparse MoE модель (Qwen3.5-35B), которая может работать на Apple Silicon с выгрузкой экспертов на SSD. Это значит, что веса модели хранятся на диске и загружаются в память по мере необходимости (всего 3GB активной памяти), а не загружаются все сразу в RAM, как у обычной 35B модели, которой нужно 64GB+ RAM. Все веса нашей модели занимают 19.6GB на диске. Наша модель генерирует текст со скоростью ~15 токенов в секунду и читает входные данные (обработка промпта) со скоростью ~140 токенов в секунду. Взаимодействовать с моделью можно через наш CLI-интерфейс, который легко установить через pip. Также модель можно использовать и в режиме чата, и в режиме API-сервера.
Зачем это вайб-кодеру
Теперь можно запускать модель масштаба 35B локально на своём Mac с Apple Silicon, имея всего ~20GB места на SSD! Раньше для запуска таких больших моделей локально нужно было иметь 64GB RAM или доступ к GPU-серверу. Наша модель работает примерно так же, как другие открытые 35B модели в сети, и этого достаточно, чтобы поиграться, решать простые повторяющиеся задачи и понять, что эти открытые модели умеют. Для серьёзной работы мы рекомендуем использовать Claude или Fable.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Поставь мне модель Edge0 локально: https://huggingface.co/Edge0/Edge0-35B-A3B-preview — установи пакет edge0 по инструкции в README, запусти в режиме чата и покажи, как с ней разговаривать.
Нужен Mac на Apple Silicon с ~20 ГБ свободного места на SSD — модель хранит веса на диске и загружает нужные части в оперативную память по ходу генерации, суммарная нагрузка на RAM около 3 ГБ.
Открыть на Hugging Face▌ Ещё находки