Lorbus/Qwen3.6-27B-int4-AutoRound
🧠 AI मॉडलLorbus
कुशल इमेज-टू-टेक्स्ट इन्फरेंस के लिए अनुकूलित, उच्च-प्रदर्शन वाला 4-बिट क्वांटाइज्ड Qwen3.6-27B मॉडल।
Lorbus/Qwen3.6-27B-int4-AutoRound मॉडल बड़े पैमाने के विजन-लैंग्वेज मॉडल को सुलभ बनाने की दिशा में एक महत्वपूर्ण कदम है। AutoRound क्वांटाइजेशन (w4g128, w4a16) का उपयोग करके, यह मॉडल मूल 27B पैरामीटर आर्किटेक्चर को 4-बिट प्रारूप में संकुचित करता है। यह तकनीकी अनुकूलन मॉडल को पूर्ण-सटीक संस्करण की तुलना में काफी कम VRAM वाले हार्डवेयर पर चलने की अनुमति देता है, जबकि AutoRound एल्गोरिदम यह सुनिश्चित करता है कि मॉडल की बुद्धिमत्ता में गिरावट न्यूनतम हो। यह transformers और safetensors प्रारूपों का समर्थन करता है, जो vLLM जैसे आधुनिक AI स्टैक के साथ सहज एकीकरण सुनिश्चित करता है। यह मॉडल विशेष रूप से जटिल इमेज-टेक्स्ट-टू-टेक्स्ट पाइपलाइनों के लिए ट्यून किया गया है, जो हल्के और तेज़ पैकेज में उन्नत मल्टीमॉडल रीजनिंग, इमेज कैप्शनिंग और विजुअल क्वेश्चन आंसरिंग को सक्षम बनाता है।
💡मुख्य बातें
- ├─4-बिट AutoRound क्वांटाइजेशन
- ├─अनुकूलित w4g128, w4a16 वेट्स
- └─हाई-स्पीड इमेज-टू-टेक्स्ट इन्फरेंस
🎯के लिए
- ├─AI शोधकर्ता
- ├─ML इंजीनियर
- └─एज कंप्यूटिंग डेवलपर्स