GitHub-радар
WeMM-Embedding: универсальное решение для поиска по тексту, изображениям и видео
Мультимодальные модели эмбеддингов, разработанные командой WeChat Vision из Tencent для совместного поиска по тексту, изображениям, видео и визуальным документам.
Команда WeChat Vision в Tencent представила серию универсальных мультимодальных моделей эмбеддингов: WeMM-Embedding. Эти модели объединяют текст, изображения, видео, визуальные документы и перемежающуюся мультимодальную информацию в едином векторном пространстве для кросс-модального поиска. Например, они позволяют пользователям находить релевантные видеофрагменты или документы по текстовым запросам, либо искать изображения, похожие на загруженные пользователем. Существует три варианта WeMM-Embedding, каждый с 2, 4 и 9 миллиардами параметров. Все веса моделей выложены на платформе Hugging Face под именем tencent/ . Вы можете легко использовать эти модели со стандартными transformers или sentence-transformers. Также поддерживается продакшен-деплой с vLLM и SGLang. Благодаря механизму Matryoshka-эмбеддингов вы можете проецировать больший вектор эмбеддинга (64–4096) в меньший без переобучения, жертвуя частью производительности ради экономии места на диске и времени инференса.
Зачем это вайб-кодеру
Когда вы строите поисковую систему для индексации мультимедийной библиотеки, систему вопрос-ответ для ответов на вопросы по документам или мультимодальную рекомендательную систему, вам приходится поддерживать несколько моделей эмбеддингов и писать связующий код, чтобы интегрировать их для разных модальностей. С WeMM-Embedding вам нужна всего одна модель и одно пространство эмбеддингов, чтобы закрыть все ваши потребности, что значительно снижает сложность системы и позволяет обслуживать мультимодальные запросы с помощью единого API.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Разверни WeMM-Embedding-2B из https://github.com/Tencent/WeMM-Embedding — следуй README, загрузи модель с Hugging Face (tencent/WeMM-Embedding-2B) и покажи пример: получи эмбеддинги для текстового запроса и изображения, потом сравни их через cosine similarity.
Для 2B-версии нужен Mac с 16+ ГБ памяти. Для 9B — NVIDIA-видеокарта с 20+ ГБ: на обычном ноутбуке не запустить.
Открыть на GitHub▌ Ещё находки