google-bert/bert-base-uncased
🧠 KI-Modellgoogle-bert
Vortrainiertes BERT-Modell für Masked Language Modeling und NLP-Aufgaben.
BERT (Bidirektionale Encoder-Repräsentationen von Transformatoren) verwendet einen bidirektionalen Trainingsansatz, indem 15% der Token in jeder Sequenz maskiert und vorhergesagt werden. Das Basismodell hat 12 Transformer-Schichten, 768 verborgene Einheiten, 12 Aufmerksamkeitsköpfe und insgesamt 110 Millionen Parameter. Es wird auf dem BooksCorpus und der englischen Wikipedia vortrainiert. Die 'uncased'-Version bedeutet, dass der Text vor der Tokenisierung in Kleinbuchstaben umgewandelt wurde. Das Modell ist in mehreren Frameworks verfügbar (PyTorch, TensorFlow, JAX) und unterstützt ONNX, CoreML und SafeTensors. Es dient als Basismodell für das Feintuning auf spezifische NLP-Aufgaben.
💡Highlights
- ├─110M Parameter
- ├─12 Schichten, 768 verborgen
- └─Bidirektionales Training
🎯Für
- ├─NLP-Forscher
- ├─Machine-Learning-Ingenieure
- └─Datenwissenschaftler