zai-org/GLM-5.1-FP8
🧠 AI मॉडलzai-org
Zhipu AI का FP8-क्वांटाइज़्ड MoE भाषा मॉडल, DeepSeek Attention के साथ, प्रदर्शन और दक्षता का संतुलन।
GLM-5.1-FP8 Zhipu AI के GLM-5.1 बड़े भाषा मॉडल का एक क्वांटाइज़्ड वेरिएंट है, जिसे MIT लाइसेंस के तहत ओपन-सोर्स प्रोजेक्ट के रूप में जारी किया गया है। यह मॉडल Mixture of Experts (MoE) आर्किटेक्चर को DeepSeek Attention (DSA) के साथ जोड़ता है — DSA एक नया ध्यान तंत्र है जो लंबे संदर्भ की समझ और अनुमान दक्षता को बेहतर बनाने के लिए डिज़ाइन किया गया है। FP8 (8-बिट फ़्लोटिंग पॉइंट) क्वांटाइज़ेशन अपने BF16/FP16 समकक्ष की तुलना में मॉडल के मेमोरी फ़ुटप्रिंट और अनुमान कंप्यूट आवश्यकताओं को काफ़ी हद तक कम कर देता है, जिससे प्रतिस्पर्धी जनरेशन गुणवत्ता बनाए रखते हुए अधिक किफ़ायती हार्डवेयर पर तैनाती संभव होती है। अंग्रेज़ी और चीनी दोनों का समर्थन करने वाला GLM-5.1-FP8 सामान्य-उद्देश्यीय टेक्स्ट जनरेशन, संवादात्मक AI और जटिल तर्क कार्यों के लिए डिज़ाइन किया गया है। 10 लाख से अधिक डाउनलोड के साथ, इसने ओपन-सोर्स समुदाय में महत्वपूर्ण पकड़ बनाई है। मॉडल Hugging Face के माध्यम से safetensors फ़ॉर्मेट में सुरक्षित और कुशल लोडिंग के लिए वितरित किया गया है, और पारदर्शी बेंचमार्किंग के लिए प्रकाशित मूल्यांकन परिणाम शामिल हैं।
💡मुख्य बातें
- ├─FP8 क्वांटाइज़ेशन मेमोरी और कंप्यूट बचाता है
- ├─DeepSeek Attention के साथ MoE आर्किटेक्चर
- └─MIT लाइसेंस, 1M+ डाउनलोड HuggingFace पर
🎯के लिए
- ├─AI शोधकर्ता
- ├─LLM डेवलपर्स
- └─ओपन-सोर्स AI उत्साही