GitHub-радар
Kimi-K3 на Apple Silicon: MLX-порт модели Moonshot AI
Разработчик PipeNetwork портировал Kimi-K3 — мультимодальную модель компании Moonshot AI (Китай) на 2,78 трлн параметров с контекстом в 1 млн токенов — на Apple MLX, разобрав по деталям всю архитектуру: Kimi Delta Attention, Attention Residuals и трёхмерную видео-башню MoonViT.
PipeNetwork успешно перевела модель Kimi-K3 от Moonshot AI на фреймворк MLX от Apple (Apple Silicon). Модель Kimi-K3 — это мультимодальная MoE-модель на 2,78 триллиона параметров (104 миллиарда параметров активны на токен), созданная китайской AI-компанией Moonshot AI. У неё контекст в 1 млн токенов. Мы реализовали все текстовые башни (Kimi Delta Attention, Attention Residuals), пространственно-временную видеобашню визуального восприятия MoonViT и мультимодальную обёртку, и численно проверили их эквивалентность с оригинальным кодом на PyTorch.
Зачем это вайб-кодеру
К сожалению, модели Kimi-K3 нужно как минимум 870 ГБ памяти — это больше, чем способен выдать самый мощный Mac в мире сейчас (всего 512 ГБ памяти), так что пока запустить нашу реализацию на одной машине мы не можем. Но мы на шаг ближе к полной прозрачности модели Kimi-K3 на связке ML-инструментов Apple, а это позволит нам раньше предложить API-сервисы и облачное развёртывание моделей K3.
▌ Ещё находки