google-bert/bert-base-cased
🧠 AI模型google-bert
Google的BERT基础区分大小写模型，用于掩码语言建模。
BERT-base-cased是一个变压器模型，以自监督方式在大型英文语料库上预训练。它使用掩码语言建模（MLM）目标，其中15%的标记被掩码，模型预测原始标记。它还使用下一句预测（NSP）。该模型区分大小写，即能区分大写和小写。它包含12个变压器层，768隐藏维度，12个注意力头，总计1.1亿参数。模型支持PyTorch、TensorFlow和JAX格式，并兼容safetensors。它是许多NLP任务的基础模型。