GitHub-радар
Edge0: модель на 35 миллиардов параметров на обычном Mac
Открытый движок команды Edge0 держит в памяти только нужные части большой модели и читает остальное с диска — разбираю, что это значит для счёта за API.
Edge0 — открытый движок команды Edge0 для запуска больших моделей из «экспертов» на Mac с чипами Apple Silicon. Вместо того чтобы грузить всю модель в память, он подтягивает нужные части с SSD и заранее угадывает, какие понадобятся дальше; по словам авторов, это ускоряет генерацию до 59%. В комплекте две превью-модели: на 35 миллиардов параметров — около 23 ГБ на диске и примерно 2,9 ГБ памяти в пике, и на 8 миллиардов — около 4,2 ГБ на диске. Обе построены на открытых базовых моделях и идут с адаптерами, которые возвращают качество, потерянное при сжатии. Пока поддерживается только macOS на чипах M1–M4.
Зачем это вайб-кодеру
Денежный вопрос тут простой: какие рутинные запросы вашего агента можно отдать своему ноутбуку вместо платного API. Пересказы, черновики, сортировка входящих — если с ними справляется локальная модель, эта часть счёта за токены обнуляется, а данные не уходят с компьютера. Это превью, поэтому я бы сначала проверил его на одной повторяющейся задаче и сравнил результат с моделью, за которую платите.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Разверни Edge0 на моём Mac: https://github.com/Edge0-AI/Edge0 — по README, начни с малой модели на 8 миллиардов параметров, запусти и покажи, как задать ей вопрос, потом скажи, потянет ли мой Mac большую.
Mac на Apple Silicon (M1–M4): большая модель — около 23 ГБ на диске и около 3 ГБ оперативки в пике, малая — около 4,2 ГБ на диске. Windows и Linux пока не поддерживаются.
Открыть на GitHub▌ Ещё находки