unsloth/Qwen3.6-35B-A3B-GGUF
🧠 AI मॉडलunsloth
Qwen का GGUF-क्वांटाइज़्ड 35B MoE मल्टीमोडल मॉडल, कुशल स्थानीय इन्फरेंस के लिए Unsloth द्वारा अनुकूलित।
यह रिपॉजिटरी Qwen के Qwen3.6-35B-A3B के GGUF-फॉर्मेट क्वांटाइज़्ड बिल्ड प्रदान करती है, जो एक बड़ा मल्टीमोडल (इमेज-टेक्स्ट-टू-टेक्स्ट) मिश्रण-ऑफ-एक्सपर्ट्स मॉडल है। 'A3B' पदनाम प्रति फॉरवर्ड पास लगभग 3 बिलियन सक्रिय पैरामीटर को दर्शाता है, जो 35B पैरामीटर के बड़े पूल से लिए जाते हैं, जो क्षमता को इन्फरेंस दक्षता के साथ संतुलित करता है। तेज़ और मेमोरी-कुशल मॉडल रूपांतरणों के लिए प्रसिद्ध Unsloth ने कई GGUF क्वांटाइज़ेशन स्तर (जैसे Q2_K से Q8_0) पैकेज किए हैं ताकि उपयोगकर्ता VRAM उपयोग और गुणवत्ता के बीच समझौता कर सकें। मॉडल Apache 2.0 लाइसेंस के तहत है और transformers इकोसिस्टम का समर्थन करता है, जो इसे llama.cpp, Ollama, LM Studio और अन्य GGUF-संगत रनटाइम के साथ संगत बनाता है। इसकी मल्टीमोडल क्षमता टेक्स्ट जनरेशन के साथ-साथ विज़न-लैंग्वेज समझ को सक्षम बनाती है, और MoE आर्किटेक्चर घने 35B मॉडल की तुलना में तेज़ इन्फरेंस की अनुमति देता है जबकि उच्च-गुणवत्ता वाले आउटपुट बनाए रखता है।
💡मुख्य बातें
- ├─35B MoE, ~3B सक्रिय प्रति टोकन
- ├─मल्टीमोडल इमेज-टेक्स्ट-टू-टेक्स्ट
- ├─कई GGUF क्वांट आकार
- └─Apache 2.0, Unsloth अनुकूलित
🎯के लिए
- ├─AI शोधकर्ता
- ├─स्थानीय LLM उपयोगकर्ता
- └─मल्टीमोडल ऐप डेवलपर्स