GitHub-радар
Kimi-K3 на Apple Silicon: MLX-порт модели Moonshot AI
Разработчик PipeNetwork портировал Kimi-K3 — мультимодальную модель компании Moonshot AI (Китай) на 2,78 трлн параметров с контекстом в 1 млн токенов — на Apple MLX, разобрав по деталям всю архитектуру: Kimi Delta Attention, Attention Residuals и трёхмерную видео-башню MoonViT.
PipeNetwork перенёс Kimi-K3 компании Moonshot AI (Китай) на Apple MLX. Kimi-K3 — мультимодальная модель типа MoE с 2,78 трлн параметрами суммарно (104 млрд активны на каждый токен) и контекстом в 1 млн токенов. Порт включает текстовую башню с Kimi Delta Attention и Attention Residuals, трёхмерную видео-башню MoonViT и мультимодальный слой — каждый покрыт тестами, сверяющими результаты с оригинальным PyTorch-кодом.
Зачем это вайб-кодеру
Для запуска Kimi-K3 нужно минимум 870 ГБ оперативной памяти — больше, чем в самом мощном существующем Mac (512 ГБ). Запустить её локально сегодня не получится. Ценность порта в другом: архитектура модели теперь полностью читаема на стеке Apple, что ускорит появление облачных сервисов и API на базе Kimi-K3.
▌ Ещё находки