GitHub-радар
LocalJev: локальный Jev API от GitHub Next без платных вызовов
GitHub Next собрали локальный сервер с Jev-протоколом: отправляешь текст и сразу несколько вопросов, получаешь ответы за один вызов — работает на твоём маке через DiffusionGemma, без API-счёта.
LocalJev — локальный сервер, реализующий протокол Jev от TypeSafe AI, созданный командой GitHub Next. Jev — это API, которому передаёшь текст и список вопросов (какой отдел, насколько срочно, как настроен клиент), и он отвечает на все сразу одним запросом. LocalJev переводит вопросы в промпт, отправляет DiffusionGemma через локальный oMLX-сервер и возвращает ответ в том же формате, что оригинальный TypeSafe Jev. Разница: у облачного оригинала вероятности считываются напрямую из логитов модели, а тут модель генерирует их текстом — поэтому результаты приблизительные. Авторы прямо пишут: перед использованием в важных задачах нужно проверить точность на своих данных.
Зачем это вайб-кодеру
Если в твоём приложении или агенте нужно классифицировать входящие сообщения — сортировать заявки, определять срочность, оценивать тональность — LocalJev позволяет делать это локально без оплаты за каждый вызов. Хорошо подходит для простой, повторяющейся классификации, где редкая ошибка не критична. Для решений с высокой ценой ошибки — проверь точность на своих данных сначала.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Разверни localjev с https://github.com/githubnext/localjev — действуй по README (Bun + oMLX с DiffusionGemma 26B-4bit), запусти сервер и покажи тестовый запрос: заявка от клиента, три вопроса — отдел, срочность, настроение. Спроси меня, если нужны ключи.
Нужен Mac с 32 ГБ и больше — для DiffusionGemma 26B в 4-bit. На 16 ГБ не запустить.
Открыть на GitHub▌ Ещё находки