google/electra-base-discriminator
🧠 Модель ИИgoogle
Дискриминатор ELECTRA base от Google: эффективное предобучение через обнаружение заменённых токенов.
ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately) представляет новый метод предобучения, при котором сеть-генератор искажает входные токены, а дискриминатор предсказывает, какие токены были заменены. Базовый дискриминатор имеет 110 миллионов параметров и достигает производительности, сравнимой с BERT-base на GLUE, используя только четверть вычислительных ресурсов. Создан с использованием Transformers, PyTorch, TF, JAX и Rust. Использует архитектуру трансформера. Ключевое новшество: дискриминатор учится на всех токенах, а не только на замаскированных.
💡Основное
- ├─110M параметров
- ├─Предобучение с обнаружением заменённых токенов
- └─Более 29M загрузок на HuggingFace
🎯Для
- ├─Исследователи NLP
- ├─Инженеры машинного обучения
- └─Разработчики ИИ