FacebookAI/xlm-roberta-base
🧠 Модель ИИFacebookAI
Многоязычная masked language model, предобученная на 100+ языках.
XLM-RoBERTa base — это transformer-модель с 12 слоями, 768 скрытыми единицами, 12 головками внимания и 270M параметров. Она использует многоязычную цель masked language modeling, обученную на отфильтрованных данных CommonCrawl. Модель поддерживает PyTorch, TensorFlow, JAX и ONNX. Она достигает передовых результатов на кросс-лингвистических бенчмарках, таких как XNLI и MLQA.
💡Основное
- ├─270M параметров, 100+ языков
- ├─Предобучен на 2.5 ТБ данных CommonCrawl
- └─Многоязычное masked language modeling
🎯Для
- ├─Исследователи NLP
- ├─Разработчики многоязычного ИИ
- └─Команды языковых технологий