Google выпустила TorchTPU — PyTorch без Nvidia

Google выложил в открытый доступ TorchTPU — версию популярного набора инструментов для ИИ PyTorch, которая переносит существующие ИИ-приложения на собственные чипы Google Tensor Processing Unit без переписывания кода, нужна только смена настроек. Вместе с этим Google выпустил TPU Agent Suite — инструмент, который помогает разработчикам переносить приложения и исправлять ошибки при переносе. Ещё Google обновил LiteRT, свой инструмент для запуска ИИ на телефонах, ноутбуках и небольших встроенных устройствах, чтобы он лучше работал с приложениями на PyTorch.

PyTorch — набор инструментов, под который всё это сделано, — используется примерно в 85 процентах ИИ-приложений. Google получил поддержку от Meta (компании, создавшей PyTorch), Hugging Face (площадки для публикации ИИ-моделей), Inferact (создателя vLLM — инструмента для запуска ИИ-моделей) и RadixArk (создателя SGLang — тоже инструмента для запуска ИИ-моделей), поэтому TorchTPU без проблем работает с их софтом. Днём раньше похожий шаг под свои чипы Trainium сделал Amazon.

Эта история не про написание кода ИИ-агентами, а про то, на чьих чипах эти агенты потом обучаются и работают. Если команда гоняет свои модели на PyTorch, теперь есть законный способ перенести нагрузку с Nvidia на TPU без переписывания проекта, и это реально снижает зависимость от одного поставщика железа. Но Google не привёл цифр, насколько TPU быстрее или дешевле чипов Nvidia, так что сравнение придётся делать на своей собственной нагрузке.