AIMLPM/markcrawl
🔌 MCP 서버AIMLPM
웹사이트를 LLM용 마크다운으로 변환하여 RAG 파이프라인을 최적화하는 MCP 서버입니다.
Markcrawl은 AI 워크플로우에서 흔히 발생하는 '노이즈가 많은' 웹 데이터 문제를 해결합니다. 전용 MCP 서버 인터페이스를 통해 LLM이 웹을 혼란스러운 HTML 태그의 집합이 아닌 구조화된 데이터 소스로 활용할 수 있게 합니다. 이 도구는 보일러플레이트, 내비게이션 메뉴, 광고를 제거하고 토큰 효율성과 모델 이해도에 최적화된 깔끔한 마크다운 형식의 핵심 콘텐츠만을 추출하는 데 탁월합니다. 단순 크롤링을 넘어 검색 기능과 구조화된 데이터 추출을 지원하여 에이전트가 심층적인 연구 작업을 자율적으로 수행할 수 있도록 돕습니다. 모듈식으로 가볍게 설계되어 기존 RAG 아키텍처나 실시간 웹 컨텍스트가 필요한 에이전트 워크플로우에 쉽게 통합할 수 있습니다. 연구 보조 도구를 만들든 지식 베이스 생성기를 만들든, Markcrawl은 인터넷을 신뢰할 수 있는 기계 판독형 데이터베이스로 변환하는 데 필요한 기반을 제공합니다.
💡하이라이트
- ├─HTML을 깔끔한 마크다운으로 변환
- ├─네이티브 MCP 서버 통합 지원
- └─RAG 파이프라인에 최적화된 데이터
🎯대상
- ├─AI 엔지니어
- ├─RAG 개발자
- └─데이터 과학자