YC-стартап Magnitude ускорил локальные модели для ИИ-агентов

Стартап из YC S25 выпустил Magnitude — open source движок для запуска ИИ-моделей локально, который сам подстраивает вычисления под конкретное железо пользователя, а не использует одинаковый код для всех устройств. По заявленным автором цифрам, на Apple Metal это даёт 92% прироста скорости генерации и 9% прироста обработки запроса против llama.cpp, на NVIDIA CUDA — 19% и 23% соответственно, а памяти на одного агента уходит на 27% меньше. Инструмент бесплатный, лицензия Apache 2.0, и в один клик подключается к Claude Code, Codex, OpenCode и другим агентам, для остальных есть совместимый с OpenAI API.

Сама по себе эта штука не делает открытые модели умнее, она просто ускоряет то, что уже умеет открытая модель на конкретном железе, и для серьёзных агентных задач этого обычно недостаточно: по моему опыту бесплатные открытые модели пока не тянут настоящую работу с агентами наравне с топовыми платными. Но для экспериментов, простых повторяющихся задач или ситуации, когда на подписку просто нет денег, более быстрый и экономный по памяти локальный движок — штука полезная и честная, без обещаний заменить дорогую модель. Подключение одним кликом к Claude Code и Codex интересно само по себе: можно быстро попробовать, что локальная модель вытягивает на своих задачах, не трогая основную агентную цепочку.