GitHub-радар
WebLLM: языковые модели прямо в браузере, без сервера
Движок для запуска LLM в браузере с аппаратным ускорением через WebGPU. Добавьте AI-чат на любой сайт — модель работает у пользователя, без серверных расходов и без передачи данных.
WebLLM — опенсорс-движок для запуска языковых моделей прямо в браузере, от команды MLC AI. Вычисления выполняются на устройстве пользователя через WebGPU — серверная сторона не нужна, данные никуда не уходят. Полностью совместим с OpenAI API: существующий код с openai.chat.completions.create() работает с минимальными правками. Поддерживает Llama 3, Phi 3, Gemma, Mistral и Qwen. Устанавливается как npm-пакет (@mlc-ai/web-llm), вычисления идут в Web Worker — интерфейс не тормозит. Живое демо без установки: chat.webllm.ai.
Зачем это вайб-кодеру
Вместо оплаты за каждый API-запрос или содержания собственного сервера — модель работает у пользователя прямо в браузере. Нулевые расходы на хостинг AI-вычислений, а в приложениях с чувствительными данными — никакие данные пользователя не покидают устройство.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Добавь на мой сайт AI-чат, который работает прямо в браузере без сервера: https://github.com/mlc-ai/web-llm — используй npm-пакет @mlc-ai/web-llm по README, покажи рабочий пример чата с Llama, спроси у меня, если нужны ключи
Запустится в браузере на обычном ноутбуке — нужна поддержка WebGPU (Chrome или Edge на современных Mac и Windows). Safari и мобильные устройства поддерживают WebGPU с ограничениями.
Открыть на GitHub▌ Ещё находки