GitHub-радар
Swiftlet: 35B-модели Qwen на iPhone и Mac
Открытый Swift-рантайм на Metal, который стримит веса 35B и 80B модели Qwen прямо с диска — в RAM держится только 2–3 ГБ. Работает на Mac с чипами Apple Silicon и на iPhone 17 полностью без интернета.
Swiftlet — это open source реализация движка для запуска моделей на Swift и Metal, для моделей семейства Qwen3-Next/Qwen3.5/3.6 Mixture-of-Experts, которые выпустила команда Qwen из Alibaba по лицензии Apache 2.0. Благодаря возможности загружать в память лишь небольшую часть плотных весов, стримя разреженных экспертов с диска, мы можем запускать 35B-модель, используя всего 2.6GB памяти на Mac с M5, со скоростью 7–11 токенов в секунду. А на iPhone 17 мы можем запускать ту же модель с ~2.5GB памяти со скоростью около 1 токена в секунду. Swiftlet стал популярен благодаря способности стримить большие MoE-веса с диска, а не загружать их целиком в память.
Зачем это вайб-кодеру
Если тебе интересен локальный запуск ИИ-приложений без оплаты API и без переживаний насчёт безопасности данных, теперь ты можешь развернуть мощные большие языковые модели на своих существующих Mac-устройствах без подписки и без требований офлайн-режима. При этом этот репозиторий — хорошая стартовая точка для создания системы запуска ИИ с сохранением приватности на платформе Apple.
▌ Ещё находки