lmstudio-community/gemma-4-E4B-it-MLX-8bit
🧠 AI मॉडलlmstudio-community
Apple Silicon पर कुशल स्थानीय निष्पादन के लिए Google के Gemma 4-E4B मॉडल का अनुकूलित 8-बिट MLX क्वांटाइजेशन।
यह मॉडल Google Gemma 4-E4B-it आर्किटेक्चर का एक विशेष पोर्ट है, जिसे 8-बिट वेट क्वांटाइजेशन के साथ MLX प्रारूप में परिवर्तित किया गया है। MLX, Apple का मशीन लर्निंग फ्रेमवर्क है जिसे विशेष रूप से Apple Silicon (M-सीरीज चिप्स) पर कुशल निष्पादन के लिए डिज़ाइन किया गया है। 8-बिट क्वांटाइजेशन लागू करके, यह मॉडल कम्प्यूटेशनल दक्षता और आउटपुट गुणवत्ता के बीच संतुलन बनाता है, जिससे उपयोगकर्ता पूर्ण-सटीक वेट की तुलना में कम VRAM आवश्यकताओं के साथ जटिल इमेज-टू-टेक्स्ट कार्य चला सकते हैं। यह मॉडल 'एनी-टू-एनी' पाइपलाइन का समर्थन करता है, जो बहुमुखी मल्टीमॉडल इंटरैक्शन को सुविधाजनक बनाता है। इसे सुरक्षित और तेज़ लोडिंग के लिए safetensors का उपयोग करके पैक किया गया है, जो Hugging Face इकोसिस्टम और LM Studio जैसे स्थानीय इन्फरेंस टूल के साथ संगतता सुनिश्चित करता है। यह रिलीज उन शोधकर्ताओं और डेवलपर्स के लिए विशेष रूप से महत्वपूर्ण है जिन्हें क्लाउड-आधारित API पर निर्भर हुए बिना स्थानीय अनुप्रयोगों में अत्याधुनिक मल्टीमॉडल क्षमताओं को एकीकृत करने की आवश्यकता है।
💡मुख्य बातें
- ├─8-बिट MLX अनुकूलित क्वांटाइजेशन
- ├─एनी-टू-एनी मल्टीमॉडल कार्यों का समर्थन
- └─नेटिव Apple Silicon त्वरण
🎯के लिए
- ├─AI डेवलपर्स
- └─Apple Silicon उपयोगकर्ता