Hayamimi: субтитры на нескольких языках в реальном времени на CPU, без облака

Hayamimi (что по-японски значит «быстрое ухо») — это инструмент на Python, который обеспечивает многоязычную транскрипцию речи в текст в реальном времени, используя только CPU, без облачных API и без GPU. Он использует квантованные (INT8) модели ONNX, чтобы направлять высказывания на подходящие модели в зависимости от языка. У японского, китайского, корейского, кантонского, английского и более чем 24 языков ЕС есть своя специализированная модель, а остальные направляются в Omnilingual ASR от Meta. Достигнута доля ошибок по символам в 5,8% на реальном японском эфирном аудио — это меньше половины по сравнению с Whisper large-v3-turbo (13,8%), при скорости в 10–50 раз быстрее реального времени. Субтитры частично отображаются во время вашей речи (интервал ~0,5 сек), финальные субтитры (задержка ~100 мс) появляются, когда вы закончили говорить. Субтитры в реальном времени отображаются на веб-дашборде. Также доступны метки говорящих (например, S1, S2) и переводы. Поддерживается и оверлей для OBS для субтитров при стриминге. Низкое потребление памяти (< 2 ГБ). Python 3.10 или выше, ffmpeg, ~3,1 ГБ загружаемых моделей (1,1 ГБ для минимальной установки японский+английский).

Установи hayamimi из https://github.com/oboroge0/hayamimi по инструкции из README — создай виртуальное окружение, установи зависимости, скачай модели — и запусти транскрибацию с микрофона с дашбордом на http://localhost:8833/dashboard. Спроси, если нужны разрешения системы на микрофон.

💻 Запустится на обычном ноутбуке — нужны Python и ffmpeg; при первом запуске скачивает ~3 ГБ моделей (или ~1 ГБ в минимальном режиме только для японского и английского).