Soofi S: полностью открытая немецкая модель с качеством 70B при затратах вычислений всего на 3B

Эту модель разработал немецкий консорциум во главе с KI Bundesverband при поддержке Федерального министерства экономики Германии. В проекте участвовали институты Фраунгофера, DFKI, Дармштадтский технический университет, Ellamind и Merantix Momentum.

В основе модели — гибридная архитектура Mamba-Transformer с общим числом параметров 31,6 миллиарда, но активными на токен являются лишь 3,2 миллиарда. Это даёт вычислительные требования на уровне модели с 3B параметров, но результаты получаются гораздо лучше.

Обучение проходило в Industrial AI Cloud компании Deutsche Telekom в Мюнхене с использованием до 512 GPU Nvidia B200, 253 000 GPU-часов и примерно 27 триллионов токенов (март–май). Обучающий набор состоял из HPLT, корпуса Commons и коммерческого корпуса Genios (1,3%).

Результаты: лучшие показатели среди полностью открытых моделей на английских и немецких бенчмарках (обходит OLMo 3 32B и Apertus 70B) HumanEval: 73,8% German MBPP: 84,2% Слабые места: немецкая математика и фактологическая память

Веса, чекпоинты, код и манифест данных выложены в открытый доступ. Проект соответствует Open Source AI Definition 1.0, но не проходит по более строгим европейским требованиям из-за лицензионной зависимости от Genios.