RedHatAI/Qwen3.6-35B-A3B-NVFP4
🧠 AI मॉडलRedHatAI
Red Hat का NVFP4-क्वांटाइज़्ड 35B MoE मॉडल, प्रति टोकन केवल 3B सक्रिय।
यह मॉडल Qwen/Qwen3.6-35B-A3B का पोस्ट-ट्रेनिंग क्वांटाइज़ेशन है जो NVFP4 (NVIDIA FP4) प्रारूप का उपयोग करता है, जो 35B कुल पैरामीटर और प्रति टोकन 3B सक्रिय के साथ MoE आर्किटेक्चर को बनाए रखता है। Red Hat का compressed-tensors पुस्तकालय और vLLM समर्थन इसे NVIDIA GPU पर अनुमान के लिए तैयार करता है। NVFP4 क्वांटाइज़ेशन मेमोरी फुटप्रिंट को कम करता है और सटीकता बनाए रखते हुए अनुमान को गति देता है। यह Red Hat की प्रभावी ओपन-सोर्स मॉडल प्रदान करने की AI पहल का हिस्सा है।
💡मुख्य बातें
- ├─35B MoE, प्रति टोकन 3B सक्रिय
- ├─NVFP4 क्वांटाइज़ेशन, 2M+ डाउनलोड
- └─ओपन-सोर्स, vLLM सपोर्ट
🎯के लिए
- ├─AI इंजीनियर
- ├─क्वांटाइज़ेशन शोधकर्ता
- └─NLP अभ्यासकर्ता