GitHub-радар
Firecrawl: чистые веб-данные для ваших ИИ-агентов
В чём этот сервис особенно хорош — так это в том, чтобы дать ИИ-агенту чистый текст или структурированные данные с веб-страницы.
Firecrawl — это сервис веб-скрапинга с открытым исходным кодом, разработанный командой Firecrawl. У них также есть хостинговый API-сервис. Они сканируют интернет, открывают веб-страницы и возвращают либо чистый текст в формате Markdown, либо структурированные данные в формате JSON, либо скриншоты — вместо сырого HTML-кода. Этот инструмент заявляет, что способен просканировать 96% интернета, даже если странице для отрисовки требуется JavaScript. Он также берёт на себя работу с прокси и ограничением частоты запросов. С помощью этого инструмента можно имитировать клики мышью, прокрутку и набор текста. Также можно извлекать информацию из документов PDF и DOCX или использовать его как MCP-инструмент для подключения к другим ИИ-агентам.
Зачем это вайб-кодеру
Это отличный инструмент для любого ИИ-агента, которому нужен доступ к вебу. Вместо сырого HTML-кода вы получите чистый текст и не будете отвлекаться на рекламу или навигационные панели. Я бы использовал его, если бы ИИ-агенту нужно было периодически собирать информацию с сайтов — например, отслеживать веб-страницы конкурентов. Минус в том, что хостинговая версия требует настроить собственный API-ключ, а версия с открытым исходным кодом требует развёртывания. Если вам нужно просто разово спарсить пару страниц, вы, вероятно, сможете обойтись и без этого инструмента.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Подключи Firecrawl к моему агенту как MCP-инструмент: https://github.com/firecrawl/firecrawl — действуй по README, спроси у меня ключ или разверни открытую версию, потом собери со страниц трёх моих конкурентов тарифы и цены в одну таблицу.
Облачная версия работает без установки по ключу; открытую версию агент развернёт у вас сам, мощный компьютер не нужен.
Открыть на GitHub▌ Ещё находки