DeepMind научила Pixel 11 читать жестовый язык в реальном времени
DeepMind выпустила SL2T — модель перевода жестового языка в текст. С 12 августа она встроена в Gboard на Pixel 11: обучена на 100 000+ часах видео, рекорд 70 баллов на FLEURS-ASL.
DeepMind выпустила SL2T (Sign-Language-to-Text) — модель, которая в реальном времени переводит жесты в текст прямо на смартфоне, без интернета. С 12 августа 2026 года она встроена в клавиатуру Gboard и приложение Live Transcribe на Pixel 11: достаточно держать телефон и жестикулировать — текст появляется мгновенно, бесплатно.
Как это работает
Модель не записывает видео и не отправляет его в облако: устройство отслеживает только позы рук через MediaPipe Holistic — алгоритм, превращающий движения в числа. Это решает вопрос конфиденциальности. Система работает для левшей и тех, кто держит телефон в одной руке — что критически важно при наборе текста жестами.
SL2T обучена на более чем 100 000 часах видеозаписей с охватом 50+ жестовых языков (около 25% — американский жестовый язык, ASL). На отраслевом тесте FLEURS-ASL модель набирает 70 баллов в режиме zero-shot — без дополнительной настройки под конкретного пользователя. Это значительно выше всех ранее опубликованных результатов.
Почему это важно
Впервые перевод жестового языка стал встроенной клавиатурной функцией, а не отдельным приложением или дорогим устройством. Для примерно 70 миллионов глухих людей в мире это означает, что написать сообщение или найти информацию в интернете теперь можно жестами — без специального оборудования и дополнительных расходов.
Источник: deepmind.google
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи