emilyalsentzer/Bio_ClinicalBERT
🧠 एआई मॉडलemilyalsentzer
बायोमेडिकल और क्लिनिकल टेक्स्ट पर पूर्व-प्रशिक्षित BERT मॉडल, मेडिकल NLP के लिए।
Bio_ClinicalBERT BERT आर्किटेक्चर पर आधारित है और PubMed से बायोमेडिकल साहित्य और MIMIC-III डेटाबेस से क्लिनिकल नोट्स के संयोजन पर पूर्व-प्रशिक्षित है। मॉडल एक मास्क्ड लैंग्वेज मॉडलिंग उद्देश्य का उपयोग करता है और MIT लाइसेंस के तहत जारी किया गया है। यह PyTorch, TensorFlow और JAX फ्रेमवर्क का समर्थन करता है। मुख्य विशेषताओं में शामिल हैं: 110M पैरामीटर (बेस संस्करण), 12 परतें, 768 छिपे हुए आयाम, और 12 अटेंशन हेड्स। इसका उपयोग चिकित्सा संदर्भों में नामित इकाई पहचान, संबंध निष्कर्षण और पाठ वर्गीकरण जैसे कार्यों के लिए व्यापक रूप से किया गया है। मॉडल के चेकपॉइंट हगिंगफेस पर उपलब्ध हैं, और इसका उल्लेख कई शोध पत्रों (arXiv:1904.03323, arXiv:1901.08746) में किया गया है।
💡मुख्य बातें
- ├─110M पैरामीटर, BERT बेस
- ├─PubMed + MIMIC-III पर प्रशिक्षित
- └─मास्क्ड भाषा मॉडलिंग उद्देश्य
🎯के लिए
- ├─NLP शोधकर्ता
- ├─स्वास्थ्य सेवा AI डेवलपर
- └─बायोमेडिकल सूचना विज्ञानी