cyankiwi/Qwen3.5-9B-AWQ-4bit
🧠 AI 模型cyankiwi
针对 Qwen3.5-9B 多模态模型的高效 4-bit AWQ 量化版本，助力低显存环境下的高性能推理。
Qwen3.5-9B-AWQ-4bit 模型是对 Qwen3.5-9B 基础架构的战略性优化。通过应用 4-bit AWQ 技术，该模型相比 FP16 版本大幅降低了 VRAM 使用量，使其能够轻松运行在显存有限的 GPU 上。这种量化技术在压缩过程中保护了关键权重，从而有效保留了模型的推理能力和多模态理解水平。该模型完全兼容 Hugging Face Transformers 库，并采用 safetensors 格式以实现安全高效的加载。它专为图文处理任务设计，在需要视觉上下文的对话场景中表现出色。Apache 2.0 许可证确保了研究和商业部署的灵活性，为构建高吞吐量、低延迟的视觉语言应用提供了坚实基础。