distilbert/distilbert-base-uncased
🧠 AI मॉडलdistilbert
मास्क्ड भाषा मॉडलिंग के लिए हल्का डिस्टिल्ड BERT, 40% छोटा और 60% तेज़।
DistilBERT बेस अनकास्ड एक ट्रांसफॉर्मर मॉडल है जिसे मास्क्ड लैंग्वेज मॉडलिंग ऑब्जेक्टिव पर नॉलेज डिस्टिलेशन के साथ प्रशिक्षित किया गया है। इसमें 66M पैरामीटर (BERT बेस के 110M की तुलना में), 6 परतें (12 के बजाय), और हिडन साइज़ 768 है। यह मॉडल GLUE बेंचमार्क पर BERT के प्रदर्शन का 97% प्राप्त करता है जबकि 40% छोटा और 60% तेज़ है। यह PyTorch, TensorFlow, JAX और Rust (Candle के माध्यम से) का समर्थन करता है। अनकास्ड संस्करण टेक्स्ट को लोअरकेस करता है और उच्चारण हटाता है। DistilBERT संसाधन-सीमित वातावरण के लिए आदर्श है और कई NLP कार्यों के लिए एक मजबूत बेसलाइन के रूप में कार्य करता है।
💡मुख्य बातें
- ├─66M पैरामीटर, 6 परतें
- ├─BERT के प्रदर्शन का 97%
- └─40% छोटा, 60% तेज़
🎯के लिए
- ├─NLP इंजीनियर
- ├─AI शोधकर्ता
- └─छात्र