GitHub-радар
Собирай данные с любых сайтов на Python — даже с защитой от ботов
Scrapling — библиотека для Python, которая скачивает страницы сайта и достаёт из них нужные данные: текст, цены, ссылки. Она сама обходит защиту от ботов и помнит вход на сайт, так что тебе не нужно решать это самому.
Готовый набор инструментов на языке Python для сбора данных с сайтов: обычные запросы или скрытый браузер, если сайт требует JavaScript или блокирует ботов.
Когда пригодится
Пригодится, если нужно регулярно собирать данные с сайта, защищённого Cloudflare, или требующего входа. Не нужен, если данные уже отдаёт открытое API сайта.
Плюсы
- Сам проходит проверку Cloudflare «докажи, что не бот»
- Держит вход и куки между запросами без твоего участия
- Подсказывает ИИ-агенту актуальные команды библиотеки
- Проверяет собранный текст на вредоносные инструкции для ИИ
Минусы
- Настройка Agent Skill и MCP-сервера — два отдельных шага сверх установки
- Браузерная часть докачивает файлы при первом запуске
Как поставить — по шагам
- 1Установи Scrapling командой pip install scrapling в своём проекте на Python
- 2Открой агента (Claude Code, Codex и похожие) в папке своего проекта
- 3Попроси агента настроить Agent Skill и MCP-сервер по инструкции с GitHub-страницы Scrapling
- 4Отправь агенту текст из блока ниже, указав свою задачу и адрес сайта
- 5Проверь, что агент вернул именно те данные с сайта, которые ты просил
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Поставь Scrapling (pip install scrapling) и подключи его Agent Skill и MCP-сервер по инструкции из https://github.com/D4Vinci/Scrapling, потом собери для меня [опишу задачу] с сайта [укажу URL] и покажи результат.
Запустится на обычном ноутбуке — нужен только Python; headless-браузер при первом запуске сам скачивает нужные файлы, видеокарта не нужна.
Открыть на GitHub▌ Ещё находки