andyliszewski/webcrawl-mcp
🔌 MCP Serverandyliszewski
Локальный MCP-сервер для эффективного веб-скрейпинга, поиска и обхода сайтов с интеллектуальным рендерингом.
Сервер webcrawl-mcp предоставляет мощный интерфейс для выполнения веб-задач непосредственно в рабочем процессе AI-агентов. Использование trafilatura для локального извлечения статического контента значительно снижает задержки по сравнению с браузерными решениями. Если страница требует динамической загрузки, сервер бесшовно подключает Firecrawl в качестве резервного механизма для обработки JavaScript. Набор инструментов включает: 'scrape' для извлечения чистого текста, 'search' через DuckDuckGo для приватного поиска, 'map' для анализа структуры сайта и 'crawl' для рекурсивного обхода ссылок. Эта архитектура идеальна для создания автономных агентов, собирающих контекст из сети без использования тяжелой облачной инфраструктуры.
💡Основное
- ├─Локальный парсинг через trafilatura
- ├─Интеграция поиска DuckDuckGo
- └─Умный JS-рендеринг через Firecrawl
🎯Для
- ├─Разработчики AI-агентов
- ├─RAG-инженеры
- └─Специалисты по скрапингу