andyliszewski/webcrawl-mcp
🔌 MCP 서버andyliszewski
지능형 폴백 렌더링을 지원하는 로컬 우선 웹 스크래핑, 검색 및 크롤링 MCP 서버입니다.
webcrawl-mcp 서버는 AI 에이전트가 워크플로우 내에서 직접 웹 기반 작업을 수행할 수 있는 강력한 인터페이스를 제공합니다. trafilatura를 활용한 로컬 우선 정적 콘텐츠 추출 방식을 통해 전체 브라우저 렌더링 솔루션 대비 지연 시간과 오버헤드를 획기적으로 줄였습니다. 페이지에 동적 콘텐츠가 필요한 경우, 서버는 Firecrawl을 폴백 메커니즘으로 원활하게 통합하여 JavaScript가 많은 사이트도 처리합니다. 제공되는 도구 세트는 URL에서 깨끗한 텍스트를 추출하는 'scrape', 개인정보 보호 중심의 DuckDuckGo 검색을 수행하는 'search', 사이트 구조를 파악하는 'map', 링크된 콘텐츠를 재귀적으로 탐색하는 'crawl'로 구성됩니다. 이 아키텍처는 무거운 클라우드 의존적 스크래핑 인프라 없이 웹에서 컨텍스트를 수집해야 하는 자율 에이전트 개발자에게 이상적이며, 가볍고 모듈화되어 모든 MCP 호환 클라이언트와 쉽게 연동됩니다.
💡하이라이트
- ├─trafilatura 기반 로컬 우선 파싱
- ├─DuckDuckGo 검색 통합 지원
- └─지능형 Firecrawl JS 폴백
🎯대상
- ├─AI 에이전트 개발자
- ├─RAG 엔지니어
- └─데이터 스크래퍼