GitHub-радар
Открытый роутер для LLM по образцу Sakana
Открытая реализация Fugu от Sakana AI — оркестратор, который маршрутизирует запросы к лучшей модели в пуле и показал 107% от лучшей одиночной модели.
OpenFugu — это open source реализация закрытой системы Fugu, разработанной Sakana AI. Fugu — это оркестратор, который использует небольшую модель-роутер на 0.6B параметров, чтобы направлять запросы к наиболее подходящей модели-воркеру среди набора LLM. Такая схема даёт результат 107% по сравнению с использованием только лучшей модели-воркера. Мы разберём, как понять архитектуру, запустить демки, обучить свой роутер и в итоге развернуть его через API.
Зачем это вайб-кодеру
С такой схемой можно использовать более дешёвые и быстрые модели для простых задач, оставляя тяжёлую артиллерию для сложных случаев. С OpenFugu теперь можно реализовать эту архитектуру без доступа к закрытой технологии — просто обучив свой роутер на своих данных!
▌ Ещё находки