GitHub-радар
NVIDIA Nemotron Omni: видео, аудио и документы локально
Nemotron 3 Nano Omni от NVIDIA появился в Ollama — мультимодальная модель на 31 млрд параметров, которая обрабатывает видео, аудио, изображения и текст вместе, умеет транскрибировать записи, читать PDF с графиками и работать как зрячий агент.
Nemotron 3 Nano Omni — мультимодальная модель от NVIDIA, которая обрабатывает видео, аудио, изображения и текст за один проход. 31 миллиард параметров — при каждом запросе задействуется лишь часть из них, поэтому модель тратит меньше памяти, чем можно ожидать. Понимает видео до двух минут, расшифровывает речь с временными метками по каждому слову, читает PDF и сканы с таблицами и диаграммами через OCR, поддерживает управление интерфейсами в агентских сценариях. Контекст — 256 000 токенов: длинный документ или целая переписка с прикреплёнными файлами влезает целиком. NVIDIA разработала модель в рамках семейства Nemotron на основе Qwen3-VL-30B-A3B от Alibaba и других Qwen-вариантов. Версия для Ollama весит в сжатом виде около 28 ГБ.
Зачем это вайб-кодеру
Обрабатывать записи совещаний, аудио и документы с иллюстрациями в одном месте, не переключаясь между разными инструментами и сервисами — это удобно для любого, кто работает с контентом. Локально — значит файл никуда не уходит: удобно с переговорами, договорами, исследовательскими материалами, которые не хочется отправлять в чужой API. Контекст 256 000 токенов позволяет одновременно скормить длинный транскрипт и PDF и задать вопросы по обоим.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Установи Nemotron 3 Nano Omni от NVIDIA локально: ollama run nemotron3 — и покажи, как отправить ему видеофайл и попросить расшифровать и пересказать содержимое
Нужен Mac от 48 ГБ памяти или видеокарта на 32 ГБ — сжатая версия весит около 28 ГБ.
Открыть на Hugging Face▌ Ещё находки