GitHub-радар
Crawl4AI: превращает любой сайт в чистый текст для ИИ
Crawl4AI — бесплатная библиотека с открытым кодом, которая готовит сайты для работы с ИИ: вместо захламлённого HTML ты получаешь чистый текст, понятный LLM и агентам.
Это краулер: он открывает страницу в настоящем браузере, убирает меню, футеры и прочий мусор и отдаёт чистый markdown-текст или структурированные данные в JSON.
Когда пригодится
Пригодится, когда агенту нужен качественный текст с любого сайта — для анализа рынка, мониторинга конкурентов или подготовки документов для RAG (генерация ответов на основе документов). Не нужен, если ты не работаешь с веб-страницами или хватает простого запроса к API сайта.
Плюсы
- Бесплатный и работает локально, без подписок
- Сам убирает навигацию и футеры, оставляет суть
- Вытаскивает структурированные данные по селекторам без ИИ
- Умеет маскироваться под человека на сайтах с защитой от ботов
Минусы
- На сайтах с сильной защитой от ботов нужно вручную настраивать прокси
- Для разбора через LLM требуется платный ключ модели
Как поставить — по шагам
- 1Открой ИИ-агента (Claude Code или похожий) в папке своего проекта.
- 2Отправь агенту текст из блока ниже — он установит crawl4ai и настроит браузер.
- 3Попроси агента запустить краулинг одной тестовой страницы в markdown.
- 4Проверь результат — агент должен показать чистый текст страницы без меню и футеров.
- 5Если нужен разбор через LLM, дай агенту ключ модели, когда он попросит.
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Поставь crawl4ai отсюда: https://github.com/unclecode/crawl4ai — по README (pip install -U crawl4ai и crawl4ai-setup), запусти краулинг одной тестовой страницы в markdown и покажи результат; спроси у меня ключ модели, если возьмёшься за разбор через LLM.
Запустится на обычном ноутбуке: нужен Python и немного места на диске под headless-браузер, его ставит сама команда crawl4ai-setup, видеокарта не нужна. Для разбора страниц через LLM понадобится ключ модели (спроси у меня). На сайтах с сильной защитой от ботов без своей настройки прокси проще платное облако проекта, но это уже не локальный вариант.
Открыть на GitHub▌ Ещё находки