mlc-ai/web-llm-chat
📦 ओपन सोर्स प्रोजेक्टmlc-ai
WebGPU का उपयोग करके सीधे अपने ब्राउज़र में बड़े भाषा मॉडल चलाएं, पूरी तरह निजी और सर्वर-मुक्त AI चैट।
Web-LLM-Chat एज AI में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो ब्राउज़र वातावरण में परिष्कृत जनरेटिव AI क्षमताओं को लाने के लिए WebLLM इंजन का उपयोग करता है। WebGPU के माध्यम से क्लाइंट के हार्डवेयर का उपयोग करके, यह एप्लिकेशन बाहरी API कॉल या सर्वर इंफ्रास्ट्रक्चर की आवश्यकता के बिना कुशल अनुमान (inference) प्राप्त करता है। यह आर्किटेक्चर गोपनीयता के प्रति जागरूक डेवलपर्स और उपयोगकर्ताओं के लिए विशेष रूप से अभिनव है, क्योंकि सभी मॉडल वेट और बातचीत का डेटा उपयोगकर्ता की मशीन पर ही रहता है। यह प्रोजेक्ट TypeScript और Next.js के साथ बनाया गया है, जो उन लोगों के लिए एक परिचित डेवलपर अनुभव प्रदान करता है जो स्थानीय LLMs को वेब एप्लिकेशन में एकीकृत करना चाहते हैं। यह Qwen, Phi-2 और TinyLlama सहित मॉडल आर्किटेक्चर की एक विस्तृत श्रृंखला का समर्थन करता है, जो उपयोगकर्ता की हार्डवेयर क्षमताओं के आधार पर लचीले परिनियोजन विकल्प प्रदान करता है। प्रोजेक्ट का मॉड्यूलर डिज़ाइन इसे गोपनीयता-प्रथम AI इंटरफेस बनाने के लिए एक आदर्श शुरुआती बिंदु बनाता है जो ऑफ़लाइन काम करते हैं और आधुनिक ब्राउज़रों में स्केल होते हैं।
💡मुख्य बातें
- ├─नेटिव WebGPU मॉडल एक्सेलेरेशन
- ├─जीरो-सर्वर गोपनीयता आर्किटेक्चर
- └─Llama, Mistral और Gemma का समर्थन
🎯के लिए
- ├─वेब डेवलपर्स
- ├─गोपनीयता समर्थक
- └─AI शोधकर्ता