GitHub-радар
LocalJev: бесплатный локальный запуск типизированной классификации Jev
GitHub Next запускает локальный сервер на Jev: задайте вопрос с несколькими типами и получите ответы по всем типам за один запрос прямо на вашем Mac через DiffusionGemma, без необходимости платить за API.
API TypeSafe Jev принимает сообщение и список типизированных вопросов об этом сообщении (например: «какой команде назначить этот тикет?», «насколько срочная это проблема?», «насколько раздражён клиент?») и за один раз возвращает ответы на все типы вопросов. LocalJev реализует протокол TypeSafe Jev: превращает вопросы в промпт для классификации, отправляет запрос к локальному экземпляру DiffusionGemma через сервер oMLX и возвращает ответ в том же формате, что и платный API TypeSafe Jev. Главное отличие LocalJev от Jev в том, что Jev возвращает вероятности в логит-пространстве модели, а LocalJev просит модель выдать вероятности на естественном языке, так что результаты — лишь приближение. Учти: перед принятием критичных решений важно проверить калибровку модели на своих данных.
Зачем это вайб-кодеру
С LocalJev можно классифицировать сообщения прямо на своём Mac, не платя за вызовы API — отлично подходит для приложений и агентов, которым нужно классифицировать сообщения (например, распределение тикетов поддержки, оценка срочности, анализ тональности). LocalJev годится для простых и однотипных задач классификации, где точность не критична. Для решений с высокой ценой ошибки советуем проверить калибровку модели на своих данных.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Разверни localjev с https://github.com/githubnext/localjev — действуй по README (Bun + oMLX с DiffusionGemma 26B-4bit), запусти сервер и покажи тестовый запрос: заявка от клиента, три вопроса — отдел, срочность, настроение. Спроси меня, если нужны ключи.
Нужен Mac с 32 ГБ и больше — для DiffusionGemma 26B в 4-bit. На 16 ГБ не запустить.
Открыть на GitHub▌ Ещё находки