Tencent Gander: агент разговаривает и работает в фоне одновременно

Tencent опубликовал Gander — модель, которая ведёт разговор и выполняет задачи в фоне одновременно. Система делится на два блока: «мозжечок» обрабатывает речь с шагом в одну секунду, «мозг» решает сложные задачи и может быть заменён без переобучения. На бенчмарке Full-Duplex-Bench v3 Gander прерывал пользователя в 8% случаев против 13,5% у GPT-Realtime.

Нынешние голосовые агенты обычно ждут паузы в разговоре, прежде чем принять новое задание — Gander хочет решить именно это. Точность задач пока немного ниже конкурентов, авторы объясняют это ошибками в распознавании речи. Код на GitHub уже открыт, веса и данные обещают выложить.