FacebookAI/xlm-roberta-large
🧠 AI मॉडलFacebookAI
बड़ा बहुभाषी RoBERTa मॉडल fill-mask के लिए, 100 भाषाओं का समर्थन।
XLM-RoBERTa-large (XLM-R-large) XLM-RoBERTa का एक बड़ा संस्करण है, जो 100 भाषाओं को कवर करने वाले 2.5 टेराबाइट फ़िल्टर्ड CommonCrawl डेटा पर पूर्व-प्रशिक्षित बहुभाषी मॉडल है। इसमें 561M पैरामीटर, 24 लेयर, 16 अटेंशन हेड्स और हिडन साइज़ 1024 है। यह 250k शब्दावली के साथ SentencePiece टोकनाइजेशन का उपयोग करता है। BERT के विपरीत, यह डायनामिक मास्किंग (RoBERTa-शैली) का उपयोग करता है। यह टेक्स्ट क्लासिफिकेशन, सीक्वेंस लेबलिंग, प्रश्नोत्तर और मास्क्ड लैंग्वेज मॉडलिंग जैसे कार्यों का समर्थन करता है। यह कई क्रॉस-लिंगुअल बेंचमार्क पर mBERT से बेहतर प्रदर्शन करता है।
💡मुख्य बातें
- ├─561M पैरामीटर
- ├─100 भाषाएँ
- └─2.5TB CommonCrawl प्रशिक्षण डेटा
🎯के लिए
- ├─NLP शोधकर्ता
- ├─बहुभाषी AI इंजीनियर
- └─ML इंजीनियर
🔗लिंक
- ├─मॉडल कार्ड
- └─पेपर