FacebookAI/roberta-large
🧠 AI 模型FacebookAI
FacebookAI 预训练的大规模 RoBERTa 模型，用于掩码语言建模。
RoBERTa-large 是 Liu 等人 (2019) 提出的 RoBERTa 模型的一个变体。它采用 24 层 Transformer 架构，隐藏单元 1024，注意力头 16，参数数量 3.55 亿。该模型基于动态掩码的掩码语言建模目标，在大型英文语料库（BookCorpus、CC-News、OpenWebText、Stories）上预训练。支持多种下游任务，如文本分类、序列标注和问答。模型在 Hugging Face 上提供 PyTorch、TensorFlow、JAX、ONNX 和 SafeTensors 格式。下载量超过 800 万，仍是最受欢迎的开源语言模型之一。
💡核心亮点
- ├─3.55亿参数, 24层
- ├─动态掩码与大批次训练
- └─Hugging Face 800万+下载
🎯适用人群
- ├─NLP 研究人员
- ├─机器学习工程师
- └─数据科学家