Inkling: 975 млрд параметров в открытом доступе

Thinking Machines Lab выпустила Inkling — открытую мультимодальную модель с 975 миллиардами параметров, которая понимает текст, изображения и аудио и держит контекст до 1 миллиона токенов.

Архитектура MoE (смесь экспертов) делает её реалистичной: в каждый запрос включаются только 41 млрд параметров, поэтому модель не требует суперкомпьютера. Веса уже выложены на Hugging Face — для скачивания и дообучения под конкретные задачи.

Открытая модель такого масштаба ломает привычную иерархию: всё, что раньше работало только через закрытые платные API, теперь можно запустить самостоятельно или настроить на корпоративных данных. Гонка между проприетарными и открытыми моделями нагревается с каждой неделей.