GitHub-радар
Tencent Hy4: открытая 770B с контекстом 1M
Tencent выпустила превью-версию Hy4 — MoE-модель на 770 млрд параметров с окном контекста в 1M токенов и лицензией Apache 2.0. Она поддерживает такие задачи, как программирование, офисную работу, разработку игр и научные рассуждения.
Превью-версия Hy4 — это MoE-флагман нового поколения, разработанный командой Tencent Hy. У неё 770 миллиардов параметров, а во время инференса на каждый токен активируется 49 миллиардов параметров. Это позволяет ей достигать производительности большой модели, не вычисляя все её веса разом. У неё также есть окно контекста в 1M токенов, что примерно равно 750 000 словам. Это позволяет модели обрабатывать целые кодовые базы или книги за один раз. Она также поддерживает такие задачи, как разработка ПО (например, понимание, планирование и отладка долгосрочных задач разработки), офисная работа (включая превращение контекста в разного рода документы, таблицы и финансовые модели), разработка игр (создание играбельных прототипов по текстовому описанию) и научные рассуждения (в области ИИ, физики и математики). Она распространяется по лицензии Apache 2.0. Чтобы запустить её, понадобится 8 GPU с тензорным параллелизмом. Это серверная модель.
Зачем это вайб-кодеру
Благодаря лицензии Apache 2.0 любой облачный провайдер может хостить модель Hy4 и предоставлять API. Так что уже совсем скоро мы вполне можем увидеть разные облачные сервисы с конкурентными ценами за токен. Окно контекста в 1M токенов тоже весьма полезно — ведь можно разом отправить всю свою кодовую базу или документ, не прибегая ни к каким обходным путям.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Найди облачных провайдеров, которые уже открыли API к Hy4 от Tencent: https://huggingface.co/tencent/Hy4-preview — сравни цены и покажи, как сделать тестовый запрос.
Это серверная модель — дома не запустить, но она задаёт планку.
Открыть на Hugging Face▌ Ещё находки