unsloth/gemma-4-12b-it-GGUF
🧠 AI 模型unsloth
Unsloth 优化的 GGUF 量化版 Google Gemma 4 12B 多模态模型，专为本地快速推理。
本仓库提供由 Unsloth 准备并优化的 Google Gemma 4 12B 指令微调（IT）模型的 GGUF 量化版本，专为高效的本地推理而设计。原始模型是一个支持图文到文本流水线的多模态架构，GGUF 格式使其能够通过 llama.cpp、Ollama、LM Studio 和 text-generation-webui 等推理引擎在消费级硬件上运行。
Unsloth 以生成高度优化的动态量化模型文件而闻名，能在保持模型质量的同时显著降低显存需求。Gemma 4 12B 基础模型在能力与效率之间取得了良好平衡，而此分发版本让希望运行强大多模态模型的用户无需依赖昂贵的云端 GPU 即可使用。该模型保留了 Gemma 4 原版的统一文本与视觉能力，并采用 Apache 2.0 许可证发布，允许广泛的商业和研究用途。
💡核心亮点
- ├─多模态图文到文本流水线
- ├─GGUF 格式支持本地 CPU/GPU 推理
- ├─基于 Google Gemma 4 12B IT
- ├─Unsloth 优化的量化方案
- └─Apache 2.0 开源许可证
🎯适用人群
- ├─AI 开发者
- ├─本地大语言模型用户
- └─多模态 AI 研究人员