GitHub-радар
Синтез речи для сцен с несколькими персонажами и длинными текстами
Fish Audio Drama 3 — модель синтеза речи нового поколения для диалогов нескольких персонажей и длинных текстов. Она озвучивает до 16 голосов в одном прогоне без ручной склейки дорожек.
Это TTS-модель (превращает текст в аудио), которая переключает голоса по тегам speaker в тексте. Всего в ней 35 миллиардов параметров, но на каждый токен (небольшой кусочек текста) используется только 3 миллиарда из них.
Когда пригодится
Пригодится, если делаешь видео, подкасты или аудиодраму с несколькими говорящими и хочешь готовую сцену без склейки разных голосов. Не нужен, если достаточно одного голоса или готового облачного TTS-сервиса.
Плюсы
- До 16 голосов в одном тексте по тегам speaker
- Клонирует голос по короткому аудиообразцу
- Рендерит аудио быстрее реального времени даже при 16 запросах
- Бесплатна для некоммерческого использования и выручки меньше $500 000
Минусы
- Нет готовой сборки под Ollama/llama.cpp, нужен отдельный сервер
- Требуется видеокарта на 48 ГБ или Mac с 64 ГБ памяти
- Настройка через SGLang-Omni или vLLM-Omni сложнее обычного TTS-сервиса
Как поставить — по шагам
- 1Открой карточку модели на Hugging Face: https://huggingface.co/fishaudio/drama-3
- 2Проверь, что у тебя видеокарта от 48 ГБ или Mac с памятью от 64 ГБ
- 3Открой агента (Claude Code, Codex) в папке своего проекта
- 4Отправь агенту текст из блока ниже
- 5Дождись, когда агент развернёт SGLang-Omni или vLLM-Omni и соберёт тестовую сцену
- 6Прослушай сцену с двумя персонажами и проверь переключение голосов по тегам
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Разверни у себя модель синтеза речи Fish Audio Drama 3 (https://huggingface.co/fishaudio/drama-3) через SGLang-Omni или vLLM-Omni под мою видеокарту и сделай тестовую сцену с двумя говорящими персонажами.
Готовых файлов на диске — около 41 ГБ, нужна видеокарта на 48 ГБ или Mac с памятью от 64 ГБ. Сборки под Ollama нет — ставится через сервер SGLang-Omni или vLLM-Omni.
Открыть на Hugging Face▌ Ещё находки