GitHub-радар
Cactus Needle 3: модели 8–29 МБ для команд без интернета
Крошечные модели для распознавания команд прямо на устройстве: влезают в телефон, часы и браузер. Чтобы работали хорошо, нужна настройка под твои задачи — стоит $19 через их сервис.
Needle 3 — семейство маленьких моделей (от 8 до 29 МБ), которые можно развернуть для вызова инструментов и структурированного извлечения данных на периферийных устройствах — смартфонах, носимых гаджетах, системах умного дома и в браузере через WebAssembly. Это единая по весам модель, в которую включены все глубины от 2 до 20 слоёв, так что можно выбрать размер модели в зависимости от доступных ресурсов. Получив запрос пользователя и набор заранее заданных инструментов, модель выдаёт типизированный JSON-ответ с тем, какой инструмент нужно вызвать, и его параметрами. Эту модель можно дообучить на своих данных за $19 через хостинговый сервис Cactus. Как упоминает основатель в этой теме на HN, если потратить время на то, чтобы правильно подобрать список инструментов под свою прикладную область, от этой модели можно получить вполне приличную производительность.
Зачем это вайб-кодеру
Needle 3 можно встроить в приложения, которые работают с пользовательским вводом (умный дом, голосовые помощники, локальные ИИ), и обрабатывать запросы локально, то есть без сетевых вызовов и обращений к API. После дообучения на своём списке инструментов эта модель хорошо справляется с конкретными, повторяющимися задачами. Но не ждите от неё работы как от швейцарского ножа: она сильно отстаёт от топовых моделей на общих бенчмарках и поддерживает не больше ~10 инструментов.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Зайди на https://cactuscompute.com/needle, прочитай документацию и подготовь набор из 30 примеров команд для умного дома (свет, таймеры, музыка, температура) в нужном формате для fine-tuning. Покажи готовый датасет перед отправкой.
Запустится на любом устройстве — телефоне, часах, браузере (WebAssembly). Видеокарта и большая оперативная память не нужны.
Открыть на GitHub▌ Ещё находки