andyliszewski/webcrawl-mcp
🔌 MCP सर्वरandyliszewski
कुशल वेब स्क्रैपिंग, सर्च और क्रॉलिंग के लिए एक लोकल-फर्स्ट MCP सर्वर, जिसमें इंटेलिजेंट रेंडरिंग फॉलबैक शामिल है।
webcrawl-mcp सर्वर AI एजेंट्स को उनके वर्कफ़्लो के भीतर सीधे वेब-आधारित कार्य करने के लिए एक मजबूत इंटरफ़ेस प्रदान करता है। लोकल-फर्स्ट स्टेटिक कंटेंट निष्कर्षण के लिए trafilatura का लाभ उठाकर, यह पूर्ण-ब्राउज़र रेंडरिंग समाधानों की तुलना में लेटेंसी और ओवरहेड को काफी कम करता है। जब किसी पेज को डायनामिक कंटेंट की आवश्यकता होती है, तो सर्वर JavaScript-हैवी साइटों को संभालने के लिए Firecrawl को एक फॉलबैक तंत्र के रूप में एकीकृत करता है। इसका टूलसेट व्यापक है: 'scrape' URL से स्वच्छ टेक्स्ट निकालता है, 'search' गोपनीयता-केंद्रित जानकारी के लिए DuckDuckGo का उपयोग करता है, 'map' साइट संरचनाओं की पहचान करता है, और 'crawl' लिंक की गई सामग्री की खोज को सक्षम बनाता है। यह आर्किटेक्चर उन डेवलपर्स के लिए आदर्श है जो भारी, क्लाउड-निर्भर स्क्रैपिंग इंफ्रास्ट्रक्चर पर भरोसा किए बिना वेब से संदर्भ इकट्ठा करने वाले स्वायत्त एजेंट्स बना रहे हैं। इसे हल्का, मॉड्यूलर और किसी भी MCP-अनुपालन क्लाइंट के साथ अत्यधिक संगत होने के लिए डिज़ाइन किया गया है।
💡मुख्य बातें
- ├─लोकल-फर्स्ट trafilatura पार्सिंग
- ├─DuckDuckGo सर्च एकीकरण
- └─स्मार्ट Firecrawl JS फॉलबैक
🎯के लिए
- ├─AI एजेंट डेवलपर्स
- ├─RAG इंजीनियर्स
- └─डेटा स्क्रैपर्स