google-bert/bert-base-cased
🧠 AI模型google-bert
Google的BERT基础区分大小写模型,用于掩码语言建模。
BERT-base-cased是一个变压器模型,以自监督方式在大型英文语料库上预训练。它使用掩码语言建模(MLM)目标,其中15%的标记被掩码,模型预测原始标记。它还使用下一句预测(NSP)。该模型区分大小写,即能区分大写和小写。它包含12个变压器层,768隐藏维度,12个注意力头,总计1.1亿参数。模型支持PyTorch、TensorFlow和JAX格式,并兼容safetensors。它是许多NLP任务的基础模型。