Kimi-K2-Instruct-0905
🧠 AI मॉडलmoonshotai
1M संदर्भ MoE मॉडल, ओपन-सोर्स MoEs में सर्वश्रेष्ठ।
Kimi-K2-Instruct-0905 Moonshot AI द्वारा प्रशिक्षित एक बड़े पैमाने का MoE मॉडल है, जिसमें कुल 1 ट्रिलियन पैरामीटर हैं और प्रति टोकन 371B सक्रिय होते हैं। यह उन्नत RoPE और अटेंशन स्केलिंग के माध्यम से 1 मिलियन टोकन तक संदर्भ लंबाई का समर्थन करता है। मॉडल को खुले लाइसेंस (MIT-शैली) के तहत जारी किया गया है और कोडिंग, गणित और बहुभाषी कार्यों पर मजबूत प्रदर्शन प्रदान करता है। इसे 10.7 ट्रिलियन टोकन पर प्रशिक्षित किया गया, शुरू में 100K संदर्भ के साथ, फिर 1M तक विस्तारित किया गया। आर्किटेक्चर 64 की-वैल्यू हेड्स के साथ ग्रुप्ड क्वेरी अटेंशन (GQA) का उपयोग करता है। इंस्ट्रक्ट संस्करण को चैट और निर्देश पालन के लिए फाइन-ट्यून किया गया है।
💡मुख्य बातें
- ├─1T पैरामीटर, 371B सक्रिय
- ├─1M संदर्भ विंडो
- └─ओपन MoE में सर्वश्रेष्ठ
🎯के लिए
- ├─AI शोधकर्ता
- ├─डेवलपर्स
- └─ओपन-सोर्स समुदाय