TinyLlama/TinyLlama-1.1B-Chat-v1.0
🧠 Модель ИИTinyLlama
Компактная чат-модель на 1,1 млрд параметров на архитектуре Llama, обученная на 3 трлн токенов, с открытым исходным кодом.
TinyLlama-1.1B-Chat-v1.0 — компактная языковая модель с открытым исходным кодом, оптимизированная для генерации текста в диалоговых сценариях. Построена на архитектуре Llama, имеет 1,1 млрд параметров и предварительно обучена на огромном корпусе из 3 трлн токенов из SlimPajama (627B токенов) и StarCoder. Модель использует Flash Attention для эффективного обучения и инференса. Чат-вариант прошёл контролируемую донастройку на наборе данных UltraChat и оптимизацию предпочтений с помощью UltraFeedback. Несмотря на малый размер, TinyLlama достигает конкурентоспособных результатов на различных бенчмарках, что делает её подходящей для сред с ограниченными ресурсами. Модель выпущена под лицензией Apache 2.0 и поддерживает типичные задачи генерации текста с акцентом на диалог.
💡Основное
- ├─1,1 млрд параметров
- ├─Обучена на 3 трлн токенов
- └─Оптимизирована для чата
🎯Для
- ├─Исследователи ИИ
- ├─Энтузиасты
- └─Разработчики мобильных приложений