GitHub-радар
Youdao выпустила модель для распознавания речи на лету
NetEase Youdao показала потоковую модель распознавания речи с задержкой меньше секунды — ставится бесплатно и расшифровывает звук почти вживую.
Это модель потокового распознавания речи (ASR) с низкой задержкой и высокой точностью, по-настоящему потоковая, называется Confucius4-R2T2. Её сделала NetEase Youdao — китайский онлайн-словарь и переводчик. Confucius4-R2T2 распознаёт аудиопоток в реальном времени, на уровне фреймов. Длина каждого фрейма — от 80 мс до 2 с. Модели не нужно ждать конца всего предложения, и она не редактирует результат постфактум. При средней задержке 200–600 мс Confucius4-R2T2 показывает результаты, похожие на офлайн-модель ASR. Confucius4-R2T2 построена на основе Qwen3-ASR от Alibaba (модель на 1,7 миллиарда параметров) и доучена командой Youdao. Кроме китайского и английского, она поддерживает ещё около десятка языков, включая русский. У Confucius4-R2T2 около 2 миллиардов параметров, и она может работать на твоём компьютере.
Зачем это вайб-кодеру
Confucius4-R2T2 помогает нам обрабатывать наш контент, особенно для субтитров и прямых трансляций с субтитрами. Поскольку она выдаёт субтитры с низкой задержкой (<1 сек), мы можем использовать её в живых стримах и быстро расшифровывать видео. Низкая задержка — одна из сильных сторон Confucius4-R2T2. У большинства потоковых ASR-моделей задержка высокая. Однако Confucius4-R2T2 в основном оптимизирована под китайский и английский. Так что если хочешь использовать её для других языков (например, русского), точность не гарантирована. Можешь спокойно установить её сам. Никакой чужой API-ключ не нужен. Но придётся настроить Docker и кое-что подправить.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Поставь мне модель распознавания речи Confucius4-R2T2 от NetEase Youdao: https://huggingface.co/netease-youdao/Confucius4-R2T2 — разверни её локально по инструкции из карточки (через Docker) и покажи, как отправить ей аудио и получить текст почти в реальном времени.
Обычный ноутбук от 8 ГБ оперативки — модель весит около 4 ГБ.
Открыть на Hugging Face▌ Ещё находки