Qualcomm ставит на очки с ИИ, который работает без облака

Qualcomm показала чип, гоняющий 3-млрд-параметровую модель прямо на смарт-очках, и набор для массового выпуска ИИ-гаджетов. Платформа «после смартфона» собирается.

4 мин чтенияЕАЕвгений АрсентьевЕвгений Арсентьев · PhD

Qualcomm 16 июня анонсировала два продукта вокруг одной ставки: устройством, которое в итоге заменит смартфон, станет то, что ты носишь на себе. Первый — Snapdragon Reality Elite, чиповая платформа смешанной реальности для очков. Второй — START (Scalable Turnkey AI-Ready Toolkit), набор аппаратных модулей и программный стек, чтобы производители могли быстро собирать ИИ-устройства, а не инженерить их с нуля.

Цифры Reality Elite агрессивные: GPU быстрее до 60%, CPU — до 30%, а NPU (та часть, что отвечает за ИИ) — рывок на 160%. Чип тянет картинку 4.4K на глаз при 90 кадрах в секунду и поддерживает очки и с видеопрозрачностью, и с оптической прозрачностью. Но по-настоящему важна другая строчка: он крутит языковую модель на 3 миллиарда параметров прямо на устройстве со скоростью 45 токенов в секунду. То есть ИИ-помощник живёт на самих очках, а не звонит на сервер за каждым ответом. У START же три референсных дизайна — связка «аудио плюс камера», монокулярный дисплей и бинокулярный, — а первые партнёры из мира оптики — Inspecs и O'Neill (принадлежит TitanFlex). Из раннего железа — XREAL Project Aura, показанный на Google I/O, и готовящееся устройство Play for Dream.

Глава Qualcomm Кристиано Амон сказал, что компания «работает над более чем 40 разными носимыми ИИ-устройствами — включая украшения, наушники с камерами, броши и часы». Сам принцип он сформулировал так: «то, что ты носишь, что всегда с тобой, что может видеть мир вокруг тебя».

Почему локальная модель важнее эффектного демо

Если убрать AR-хайп, по-настоящему интересный факт — это локальная модель. Два года мы провели с ИИ-помощниками, которые на деле просто микрофон, передающий твой голос в дата-центр в ожидании ответа. Модель на 3 миллиарда параметров, работающая прямо на очках, меняет физику процесса: меньше задержки, работает без сигнала и — что мне важнее всего — куда меньше твоего дня утекает в чьё-то облако. Камера, которая «всегда с тобой и видит мир вокруг», — это либо кошмар приватности, либо реально полезный инструмент, и чем именно она станет, сильно зависит от того, остаётся обработка на устройстве или нет. Qualcomm только что удешевила вариант «на устройстве».

Для обычного человека ничего из этого не покупка на следующей неделе — это то, что тебе предложат через год-два, упакованное десятком разных способов десятком брендов на одной и той же начинке Qualcomm. Вот что стоит усвоить уже сейчас: когда платформу поставляет один чипмейкер, весь последующий поток «ИИ-очков» и наушников с камерами будет делить одни и те же сильные стороны и одни и те же слепые зоны. Честно говоря, я сомневаюсь, что момент «после смартфона» наступит так быстро, как обещают презентации, — но трубы прокладывают настоящие.

Что бы я сделал

Когда ИИ-очки или наушники с камерами начнут появляться на полках, сделай первым вопросом одну характеристику — раньше разрешения и автономности: ИИ работает на самом устройстве или стримит на сервер? «На устройстве» — это меньше задержки и меньше твоего окружения, покидающего комнату; «только облако» — наоборот. А если ты делаешь продукты, урок из START прямой: выигрывают часто не те, кто изобретает железо, а те, кто берёт готовую платформу и выпускает поверх неё сфокусированное полезное устройство, пока остальные ещё проектируют своё.

Смартфон никуда не денется ни в этом году, ни, скорее всего, в следующем. Но интересный сигнал здесь не отдельный гаджет — а то, что слой поставщиков для «того, что придёт после телефона» тихо собирается, и в центре него ИИ-модель, достаточно маленькая, чтобы жить у тебя на лице.

#qualcomm#smart-glasses#ai-hardware#wearables

Гайды по теме

ЕАЕвгений Арсентьев

Автор

Евгений Арсентьев

PhD · Директор по продукту (CPO) в tech-компании

Хочешь реально это построить?

Гайды объясняют. Бесплатный курс превращает — персонально, с геймификацией и заточенный на быстрый запуск.

◉ Начать бесплатный курс

Источник: techcrunch.com