GitHub-радар
Запускаем локальные LLM — полный разбор железа
Практический опыт создания системы за $51 тысячу с четырьмя видеокартами для локального обучения топовых моделей — включая бюджетные варианты (от $2 тысяч).
Личная база знаний по обучению больших языковых моделей локально. На этой странице — информация о системе за $51 тысячу с четырьмя видеокартами (4x RTX PRO 6000, 384 ГБ видеопамяти), а также бюджетные варианты от $2 тысяч. Есть настройки BIOS, параметры ядра и docker-compose файлы для разных моделей.
Зачем это вайб-кодеру
Это самый подробный на сегодняшний день материал, если вы хотите запустить у себя эффективного AI-ассистента локально, не платя за API и не делясь своими данными.
▌ Ещё находки