GitHub-радар
Как запустить Kimi K3 локально на mac: Deltafin
Deltafin позволяет запустить модель Moonshot AI с 2,8 триллиона параметров (Kimi K3) локально на вашем Mac с Apple Silicon через сервер API, совместимый с OpenAI.
Deltafin — это исследовательский проект, который позволяет запускать языковую модель Moonshot AI с архитектурой Mixture-of-Experts на 2,8 триллиона параметров (Kimi K3) на одном Mac/Linux-компьютере с Apple Silicon, стримя эксперты модели из локального дискового кеша. Семейство Kimi K2.x (на котором основана K3) следует архитектуре DeepSeek V3. В исследовательских заметках рассматривается методология инференса в сравнении с моделями DeepSeek V4. Deltafin также поставляется с сервером API, совместимым с OpenAI, который можно использовать для замены ChatGPT API в любом приложении. На M1 Max с 64 ГБ оперативной памяти deltafin выдаёт примерно один токен за 15 секунд. Локальный режим требует около 1,7 ТБ дискового пространства, тогда как режим стриминга требует всего 215 ГБ (за счёт более медленного инференса).
Зачем это вайб-кодеру
Kimi K3 на данный момент — одна из крупнейших публично доступных AI-моделей. Deltafin позволяет любому запустить эту модель локально без необходимости платить за облако или получать API-ключ. Хотя есть существенные минусы (например, нужен мощный Mac, много места на диске и времени), это показывает, что передовой ИИ уже сейчас можно запускать на персональных устройствах.
▌ Ещё находки