Qwen/Qwen2.5-7B-Instruct-AWQ
🧠 एआई मॉडलQwen
AWQ-क्वांटिज्ड 7B इंस्ट्रक्ट मॉडल कुशल टेक्स्ट जनरेशन के लिए।
Qwen2.5-7B-Instruct-AWQ, Qwen टीम द्वारा उत्पादित Qwen2.5-7B-Instruct मॉडल का एक क्वांटिज्ड वेरिएंट है। बेस मॉडल (Qwen/Qwen2.5-7B-Instruct) एक ट्रांसफॉर्मर-आधारित डिकोडर भाषा मॉडल है जो निर्देशों का पालन करने और मल्टी-टर्न वार्तालाप में शामिल होने के लिए फाइन-ट्यून किया गया है। AWQ क्वांटाइज़ेशन तकनीक एक्टिवेशन मैग्नीट्यूड का विश्लेषण करके वेट को संपीड़ित करती है, जिससे मेमोरी फुटप्रिंट में काफी कमी आती है और न्यूनतम सटीकता हानि के साथ अनुमान में तेजी आती है। यह संस्करण उपभोक्ता GPU और एज डिवाइसों पर तैनाती के लिए अनुकूलित है। यह लंबी संदर्भ लंबाई (32K टोकन तक) का समर्थन करता है और MMLU, GSM8K और HumanEval जैसे बेंचमार्क पर मजबूत प्रदर्शन बनाए रखता है। मॉडल एक खुले लाइसेंस के तहत जारी किया गया है और कुशल सर्विंग के लिए हगिंग फेस ट्रांसफॉर्मर्स और vLLM के साथ संगत है।
💡मुख्य बातें
- ├─7B पैरामीटर, AWQ क्वांटिज्ड
- ├─निर्देश-ट्यून्ड, संवादात्मक
- └─दक्षता के लिए अनुकूलित (कम मेमोरी, कम विलंबता)
🎯के लिए
- ├─AI शोधकर्ता
- ├─ML इंजीनियर
- └─संवादात्मक AI के डेवलपर