GitHub-радар
Kimi K3 на CPU: модель на 2,78 трлн параметров в 8 ГБ ОЗУ
Движок на C99, который запускает Kimi K3 от Moonshot AI — языковую модель на 2,78 триллиона параметров — на обычном CPU с 8,24 ГБ ОЗУ, стримя чекпоинт в 1,56 ТБ прямо с диска. Без GPU, без фреймворков: всего 176 КБ кода.
Движок на 176 КБ C99 для запуска Kimi K3 от Moonshot AI — языковой модели-смеси экспертов на 2,78 триллиона параметров — полностью на CPU, без BLAS, CUDA или ML-фреймворков. Стримит чекпоинт в 1,56 ТБ с NVMe и держит в ОЗУ только 8 ГБ активных экспертов, выдавая одинаковый результат при любом объёме памяти от 8 до 224 ГБ.
Зачем это вайб-кодеру
Демонстрирует, что модели масштаба фронтира запускаются на обычном железе — ноутбуке, а не GPU-кластере. Проект показывает, что умный стриминг и квантизация делают инференс моделей с триллионами параметров доступным на домашней машине.
▌ Ещё находки