NVIDIA выпустила открытую модель распознавания речи Nemotron 3.5 Transcribe

NVIDIA представила свою модель распознавания речи с открытыми весами — Nemotron 3.5 Transcribe. У этой модели 30 миллиардов параметров, однако в любой момент времени она использует только около 4 миллиардов из них благодаря архитектуре mixture-of-experts (смесь экспертов), которая позволяет задействовать лишь часть модели для каждой задачи. В одном чекпоинте (файле весов модели) она умеет делать транскрибацию аудио, определять, кто говорит, и переводить на другие языки. На Hugging Face Open ASR Leaderboard — бенчмарке для открытых моделей распознавания речи — она показала ошибку в 5.33%, и это самый низкий показатель среди всех открытых моделей. После файнтюна на специализированных данных и дополнительного обучения на медицинских данных от Eka Care (компании, работающей с медицинскими записями), ошибку удалось снизить с 22.44% до 12.17% — это почти 46%-ное улучшение!

Это огромный шаг вперёд для голосовых агентов — программ, которые слушают тебя и отвечают голосом. Вместо того чтобы собирать несколько API для транскрибации аудио, определения, кто что сказал, и перевода на другие языки, теперь всё это можно сделать одной моделью. К тому же, поскольку веса открытые, модель можно развернуть локально на своей видеокарте (GPU, используется для искусственного интеллекта) и обработать 100 часов аудио за 3 минуты, без постоянных обращений к какому-то внешнему API. Наконец, то, что ошибку удалось снизить почти на 46% при файнтюне на медицинских данных, показывает, насколько хорошо эта модель обобщается на специализированные области, а не просто хорошо выступает на общих бенчмарках.