RedHatAI/Qwen3.6-35B-A3B-NVFP4
🧠 AI 模型RedHatAI
Red Hat 的 NVFP4 量化版 35B MoE 模型，每个 token 仅激活 3B 参数。
该模型使用 NVFP4（NVIDIA FP4）格式对 Qwen/Qwen3.6-35B-A3B 进行训练后量化，保留了 MoE 架构，总参数 35B，每 token 激活 3B。Red Hat 的 compressed-tensors 库和 vLLM 支持使其可在 NVIDIA GPU 上推理。NVFP4 量化降低了内存占用并加速推理，同时保持精度。它是 Red Hat 人工智能计划的一部分，旨在提供高效开源模型。
💡核心亮点
- ├─35B MoE，每 token 仅激活 3B
- ├─NVFP4 量化，超 200 万次下载
- └─开源，支持 vLLM
🎯适用人群
- ├─AI 工程师
- ├─量化研究人员
- └─NLP 从业者