RedHatAI/Qwen3.6-35B-A3B-NVFP4
🧠 Модель ИИRedHatAI
Квантизированная MoE-модель 35B от Red Hat, всего 3B активных на токен.
Эта модель представляет собой пост-тренировочную квантизацию Qwen/Qwen3.6-35B-A3B в формате NVFP4 (NVIDIA FP4), сохраняя архитектуру MoE с 35B общих параметров и 3B активируемых на токен. Библиотека compressed-tensors от Red Hat и поддержка vLLM делают её готовой к инференсу на GPU NVIDIA. Квантизация NVFP4 уменьшает использование памяти и ускоряет вывод, сохраняя точность. Это часть инициативы Red Hat по предоставлению эффективных открытых моделей ИИ.
💡Основное
- ├─35B MoE, только 3B активных на токен
- ├─Квантизация NVFP4, 2M+ загрузок
- └─Открытый исходный код, поддержка vLLM
🎯Для
- ├─Инженеры ИИ
- ├─Исследователи квантизации
- └─Практики NLP