emilyalsentzer/Bio_ClinicalBERT
🧠 AI 모델emilyalsentzer
의료 NLP를 위해 생의학 및 임상 텍스트로 사전 학습된 BERT.
Bio_ClinicalBERT는 BERT 아키텍처를 기반으로 하며, PubMed의 생의학 문헌과 MIMIC-III 데이터베이스의 임상 노트를 결합하여 사전 학습되었습니다. 이 모델은 마스크된 언어 모델링 목표를 사용하며 MIT 라이선스로 배포됩니다. PyTorch, TensorFlow 및 JAX 프레임워크를 지원합니다. 주요 특징: 1억 1천만 개의 파라미터(기본 버전), 12개 레이어, 768개의 은닉 차원, 12개의 어텐션 헤드. 의료 분야의 개체명 인식, 관계 추출, 텍스트 분류 등에 널리 사용되었습니다. 모델 체크포인트는 HuggingFace에서 제공되며 여러 연구 논문(arXiv:1904.03323, arXiv:1901.08746)에서 인용되었습니다.
💡하이라이트
- ├─1억1천만 파라미터, BERT 베이스
- ├─PubMed + MIMIC-III로 사전 학습
- └─마스크 언어 모델링 목표
🎯대상
- ├─NLP 연구자
- ├─헬스케어 AI 개발자
- └─생의학 정보학 전문가