ByteDance разрабатывает предобученную модель на 10 трлн параметров

По данным Financial Times, ByteDance разрабатывает огромную языковую модель с числом параметров до 10 триллионов. Модель сейчас проходит предобучение (это занимает от 3 до 6 месяцев), и над ней работает команда Seed численностью 2,000 человек.

Эта модель будет втрое больше текущей крупнейшей китайской языковой модели (Kimi K3 от Moonshot) и, вероятно, покажет результаты, похожие на Mythos 5 от Anthropic (по оценкам, около 8 триллионов параметров). Кроме того, xAI сейчас предобучает свою модель Grok с 6 и 10 триллионами параметров на кластере Colossus 2 (по словам Элона Маска).

Основатель компании Zhang Yiming поставил перед этой командой задачу «добиться мирового лидерства в возможностях моделей для долгих горизонтов планирования». Больше года они отказываются от дистилляции (обучения меньших моделей на выходных данных более крупных), сосредоточившись вместо этого на разработке собственных методов предобучения.

Хотя на качество языковой модели влияет множество факторов, ясно одно: технологические компании считают крупные модели очень ценным активом. Они видят в больших архитектурах потенциал, который пока не раскрыт до конца, и тот, кто первым раскроет этот потенциал, получит серьёзное конкурентное преимущество.