mistralai/Mixtral-8x7B-Instruct-v0.1
🧠 AI मॉडलmistralai
47B पैरामीटर वाला उच्च-प्रदर्शन वाला Sparse Mixture-of-Experts मॉडल, जो निर्देश पालन और बहुभाषी कार्यों के लिए अनुकूलित है।
Mixtral-8x7B-Instruct-v0.1 ओपन-वेट AI विकास में एक महत्वपूर्ण मील का पत्थर है। डिकोडर-ओनली Sparse Mixture-of-Experts आर्किटेक्चर का उपयोग करके, यह मॉडल प्रत्येक टोकन को अपने आठ विशेषज्ञ नेटवर्क के एक सबसेट के माध्यम से रूट करता है। यह चयनात्मक सक्रियण सुनिश्चित करता है कि मॉडल इन्फरेंस के दौरान कम्प्यूटेशनल रूप से कुशल बना रहे और प्रदर्शन से समझौता किए बिना उच्च थ्रूपुट प्रदान करे। इस मॉडल को सुपरवाइज्ड फाइन-ट्यूनिंग और डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) का उपयोग करके जटिल निर्देश पालन, चैट इंटरैक्शन और मल्टी-टर्न वार्तालापों में उत्कृष्ट होने के लिए प्रशिक्षित किया गया है। यह 32k टोकन की कॉन्टेक्स्ट विंडो का समर्थन करता है, जो इसे लंबे दस्तावेज़ विश्लेषण और जटिल तर्क कार्यों के लिए उपयुक्त बनाता है। यह vLLM जैसे मानक इन्फरेंस फ्रेमवर्क के साथ पूरी तरह से संगत है और सुरक्षित वेट लोडिंग के लिए safetensors फॉर्मेट का उपयोग करता है।
💡मुख्य बातें
- ├─47B पैरामीटर्स, 13B सक्रिय प्रति टोकन
- ├─32k कॉन्टेक्स्ट विंडो का समर्थन
- └─बहुभाषी निर्देश ट्यूनिंग
🎯के लिए
- ├─AI शोधकर्ता
- ├─मशीन लर्निंग इंजीनियर
- └─सॉफ्टवेयर डेवलपर्स