GitHub-радар
Meta Llama 3.1 8B: локальная модель с контекстом 128K
Открытая языковая модель от Meta — запускается на MacBook от 16 ГБ и работает с контекстом до 128 тысяч токенов.
Meta выпустила Llama 3.1 8B Instruct в июле 2024 года как часть серии мультиязычных генеративных моделей. Модель поддерживает восемь языков: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Контекстное окно — 128 тысяч токенов, что достаточно для большинства длинных документов. Модель умеет вызывать инструменты и функции — это делает её пригодной для простых агентных сценариев. В 4-битной версии она занимает около 4.8 ГБ и запускается на MacBook от 16 ГБ памяти. До сих пор её скачивают почти шесть миллионов раз в месяц — это один из самых популярных вариантов для локального запуска.
Зачем это вайб-кодеру
Для тех, кто хочет попробовать запустить языковую модель локально, это один из самых надёжных вариантов: официальная версия от Meta, а не дообучение неизвестного автора. Хорошо подходит для простых повторяемых задач, обработки документов и экспериментов без сети. Качество ответов заметно ниже, чем у фронтирных моделей, поэтому для серьёзной агентной работы я бы выбирал что-то помощнее.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Поставь мне Meta Llama 3.1 8B локально: https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct — найди квантованную GGUF-версию или поставь через Ollama и покажи, как к ней обращаться
Обычный MacBook от 16 ГБ памяти — в 4-битной версии модель занимает около 4.8 ГБ.
Открыть на Hugging Face▌ Ещё находки