GitHub-радар
Edge0: как запустить модель на 35 миллиардов параметров на обычном компьютере
Движок для инференса с открытым кодом от Edge0 загружает в память только то, что нужно прямо сейчас, а остальное подгружает с SSD — расскажу, как это может сэкономить вам деньги на API.
Edge0 — это движок для инференса с открытым кодом, разработанный командой Edge0 для запуска больших моделей типа mixture of experts на macOS с процессорами Apple Silicon. Вместо того чтобы держать всю модель в памяти, Edge0 подгружает нужные части с SSD и заранее предугадывает, что понадобится дальше, — по словам разработчиков, это даёт прирост скорости генерации до 59%. В пакет входят две предобученные модели: на 35 миллиардов параметров (23 ГБ на диске, ~2,9 ГБ пиковое использование памяти) и на 8 миллиардов параметров (~4,2 ГБ на диске). Эти модели основаны на open source базовых моделях и оснащены адаптерами, которые восстанавливают качество, потерянное из-за сжатия. Сейчас Edge0 доступен только для macOS с процессорами от M1 до M4.
Зачем это вайб-кодеру
Так что это значит для вас? На самом деле вопрос вот в чём: сколько раз в день вы делаете запросы к API для задач, которые можно решить локально? Если ваши агенты способны выполнять эти задачи с помощью локальных моделей, вам не придётся платить за токены, а ваши данные не будут уходить в интернет. Это превью-релиз, так что начните с того, чтобы опробовать его на одной повторяющейся задаче и посмотреть, как он справляется по сравнению с вашей текущей платной моделью.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Разверни Edge0 на моём Mac: https://github.com/Edge0-AI/Edge0 — по README, начни с малой модели на 8 миллиардов параметров, запусти и покажи, как задать ей вопрос, потом скажи, потянет ли мой Mac большую.
Mac на Apple Silicon (M1–M4): большая модель — около 23 ГБ на диске и около 3 ГБ оперативки в пике, малая — около 4,2 ГБ на диске. Windows и Linux пока не поддерживаются.
Открыть на GitHub▌ Ещё находки