emilyalsentzer/Bio_ClinicalBERT
🧠 AI 模型emilyalsentzer
Bio_ClinicalBERT：在生物医学和临床文本上预训练的BERT模型，用于医学自然语言处理。
Bio_ClinicalBERT基于BERT架构，在来自PubMed的生物医学文献和MIMIC-III数据库的临床笔记组合上进行了预训练。模型使用掩码语言建模目标，并采用MIT许可证发布。支持PyTorch、TensorFlow和JAX框架。关键特性包括：1.1亿参数（基础版）、12层、768隐藏维度和12个注意力头。广泛用于命名实体识别、关系提取和医学文本分类等任务。模型检查点在HuggingFace上可用，并被多篇研究论文引用（arXiv:1904.03323, arXiv:1901.08746）。
💡核心亮点
- ├─1.1亿参数，BERT基础版
- ├─在PubMed + MIMIC-III上预训练
- └─掩码语言建模目标
🎯适用人群
- ├─NLP研究人员
- ├─医疗AI开发者
- └─生物医学信息学家