lmstudio-community/gemma-4-E4B-it-MLX-6bit
🧠 AI मॉडलlmstudio-community
Apple Silicon पर उच्च-प्रदर्शन इन्फरेंस के लिए अनुकूलित 6-बिट क्वांटाइज्ड Gemma 4 E4B मॉडल।
यह मॉडल Google के Gemma 4 E4B आर्किटेक्चर का एक विशेष पोर्ट है, जिसे Apple द्वारा विकसित MLX मशीन लर्निंग फ्रेमवर्क के लिए तैयार किया गया है। 6-बिट क्वांटाइजेशन प्रक्रिया मॉडल को उपभोक्ता-ग्रेड Apple Silicon हार्डवेयर पर प्रभावी ढंग से चलाने की अनुमति देती है, जो गति और सटीकता के बीच संतुलन बनाती है। एक 'any-to-any' मल्टीमॉडल मॉडल के रूप में, यह इमेज-टू-टेक्स्ट और टेक्स्ट-टू-टेक्स्ट जनरेशन जैसे जटिल इनपुट का समर्थन करता है। Safetensors का उपयोग सुरक्षित और कुशल मॉडल लोडिंग सुनिश्चित करता है। MLX बैकएंड का लाभ उठाकर, यह कार्यान्वयन अनुकूलित मेमोरी प्रबंधन और हार्डवेयर त्वरण प्रदान करता है, जिससे उपयोगकर्ता विशाल GPU क्लस्टर की आवश्यकता के बिना स्थानीय रूप से परिष्कृत मल्टीमॉडल क्षमताओं को तैनात कर सकते हैं। इसे LM Studio इकोसिस्टम के भीतर सहज एकीकरण के लिए डिज़ाइन किया गया है, जो तेजी से प्रोटोटाइपिंग और स्थानीय AI एप्लिकेशन विकास को सुविधाजनक बनाता है।
💡मुख्य बातें
- ├─Apple MLX फ्रेमवर्क के लिए अनुकूलित
- ├─दक्षता के लिए 6-बिट क्वांटाइजेशन
- └─Any-to-any मल्टीमॉडल कार्यों का समर्थन
🎯के लिए
- ├─AI डेवलपर्स
- ├─Apple Silicon उपयोगकर्ता
- └─एज AI शोधकर्ता