Aatricks/llmedge
🏗️ फ्रेमवर्कAatricks
Android पर GGUF मॉडल और स्टेबल-डिफ्यूजन चलाने के लिए एक उच्च-प्रदर्शन वाली नेटिव AI इंफरेंस लाइब्रेरी।
Aatricks/llmedge उच्च-प्रदर्शन C++ इंफरेंस इंजन और एंड्रॉइड इकोसिस्टम के बीच एक सेतु का कार्य करती है। llama.cpp और stable-diffusion.cpp को रैप करके, यह लाइब्रेरी एक नेटिव कोटलिन इंटरफ़ेस प्रदान करती है जो डेवलपर्स को सीधे मोबाइल हार्डवेयर पर अत्याधुनिक AI मॉडल निष्पादित करने की अनुमति देता है। मुख्य विशेषताओं में GGUF मॉडल प्रारूप के लिए समर्थन शामिल है, जो क्वांटाइज्ड LLMs के लिए उद्योग मानक है, और ऑन-डिवाइस इमेज जनरेशन के लिए स्टेबल-डिफ्यूजन का नेटिव कार्यान्वयन शामिल है। यह लाइब्रेरी एज कंप्यूटिंग के लिए अनुकूलित है, जो डेटा प्रोसेसिंग को डिवाइस पर ही रखकर विलंबता और बैंडविड्थ की खपत को कम करती है। यह विजन-लैंग्वेज मॉडलिंग, OCR, स्पीच-टू-टेक्स्ट और RAG पाइपलाइनों सहित कार्यों की एक विस्तृत श्रृंखला का समर्थन करती है। यह टूल उन डेवलपर्स के लिए आवश्यक है जो एंड्रॉइड पर गोपनीयता-प्रथम, ऑफलाइन-सक्षम AI एप्लिकेशन बनाना चाहते हैं, जो मॉडल लोडिंग, मेमोरी आवंटन और इंफरेंस निष्पादन को कुशलतापूर्वक प्रबंधित करने के लिए आवश्यक एब्स्ट्रैक्शन प्रदान करता है।
💡मुख्य बातें
- ├─नेटिव GGUF मॉडल सपोर्ट
- ├─Stable-diffusion.cpp एकीकरण
- └─एज परफॉरमेंस के लिए अनुकूलित
🎯के लिए
- ├─एंड्रॉइड डेवलपर्स
- └─एज AI इंजीनियर