GitHub-радар
Kimi K3 на C: LLM с 2,78 трлн параметров на CPU при 8 ГБ оперативной памяти
Запускает Kimi K3 от Moonshot AI (языковую модель mixture-of-experts на 2,78 трлн параметров) на одном CPU, используя всего 8,24 ГБ оперативной памяти, потоково читая с диска чекпоинт на 1,56 ТБ. Никаких GPU, никаких фреймворков — только 176 КБ кода на C99.
Реализация Kimi K3 от Moonshot AI (языковая модель mixture-of-experts на 2,78 трлн параметров) на C99, работающая целиком на CPU, без BLAS, без CUDA и без каких-либо ML-фреймворков. Чекпоинт на 1,56 ТБ стримится с NVMe, при этом в памяти держится только 8 ГБ активных экспертов. Результат получается одинаковым при разных объёмах памяти (от 8 ГБ до 224 ГБ).
Зачем это вайб-кодеру
Это показывает, что топовые модели можно запускать на обычном железе (вроде твоего ноутбука), а не только на специализированных GPU. И что с умным стримингом и квантованием триллионы параметров можно гонять дома у себя!
▌ Ещё находки