GitHub-радар
Напиши свою GPT-модель с нуля и узнай, как работают языковые модели
Это код из книги Build a Large Language Model (From Scratch): шаг за шагом ты собираешь GPT-подобную модель и начинаешь понимать, что происходит внутри нейросетей, которыми уже пользуешься каждый день.
Набор ноутбуков и Python-кода (интерактивные файлы с кодом и объяснениями), по которым ты пишешь языковую модель с нуля — от разбивки текста на кусочки до обучения и дообучения.
Когда пригодится
Пригодится, если хочешь разобраться в устройстве ИИ-моделей, а не просто их использовать. Не нужен, если хочешь готовый продукт прямо сейчас — на выходе только знания.
Плюсы
- Работает на обычном ноутбуке, мощная видеокарта не обязательна
- Код живой: 107 000+ звёзд на GitHub, регулярные обновления
- Есть бонусные ноутбуки про токенизаторы и механизмы внимания
Минусы
- Новичку без опыта в программировании пройти весь путь самому тяжело
- На выходе нет готового продукта — только понимание, как всё работает
Как поставить — по шагам
- 1Открой github.com/rasbt/LLMs-from-scratch и скачай его командой git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
- 2Открой ноутбук второй главы (ch02) — файл с кодом и пояснениями, который выполняется по шагам
- 3Отправь агенту текст из блока ниже
- 4Прочитай объяснение агента построчно и убедись, что понял каждую часть кода
- 5Переходи к ноутбуку следующей главы только после того, как разобрался с текущей
- 6Видеокарта не обязательна — код работает и на обычном ноутбуке, просто медленнее
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Открой репозиторий https://github.com/rasbt/LLMs-from-scratch, возьми ноутбук второй главы (ch02) и построчно объясни мне, что делает код и зачем, прежде чем переходить к следующей главе.
Обычный ноутбук — код основных глав работает на Python без видеокарты, GPU просто ускорит обучение, если он есть.
Открыть на GitHub▌ Ещё находки