GitHub-радар
Meta Llama 3.1 8B: локальная модель со 128K контекста
Открытая текстовая модель от Meta, которая запускается на ноутбуках с 16 ГБ памяти и поддерживает 8 языков с контекстом в 128 000 токенов для длинных текстов.
Meta представила Llama 3.1 8B Instruct (часть семейства многоязычных генеративных моделей с 8B, 70B и 405B параметров) в июле 2024 года. На сегодняшний день это самая скачиваемая открытая модель на Hugging Face — почти шесть миллионов загрузок в месяц. Она доступна на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекст модели — 128 000 токенов, чего должно хватить для любого длинного документа. Она также поддерживает инструменты и функции, так что её можно использовать для создания простых локальных агентов. В 4-битной версии модель весит около 4,8 ГБ и запускается на ноутбуке с 16 ГБ оперативной памяти.
Зачем это вайб-кодеру
Если вы хотите начать экспериментировать с локальными языковыми моделями, это, пожалуй, самый безопасный вариант, поскольку это официальный релиз от Meta, а не чья-то дообученная версия неизвестного происхождения. Она неплохо справляется с простыми повторяющимися задачами, обработкой документов и офлайн-экспериментами. Что касается ответов, они, конечно, гораздо проще по сравнению с последними моделями вроде Claude или GPT, так что для более серьёзных агентских задач я бы её использовать не советовал.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Поставь мне Meta Llama 3.1 8B локально: https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct — найди квантованную GGUF-версию или поставь через Ollama и покажи, как к ней обращаться
Обычный MacBook от 16 ГБ памяти — в 4-битной версии модель занимает около 4.8 ГБ.
Открыть на Hugging Face▌ Ещё находки