unsloth/Qwen3.6-35B-A3B-GGUF
🧠 AI Модельunsloth
GGUF-квантованная 35B MoE мультимодальная модель от Qwen, оптимизированная Unsloth для эффективного локального инференса.
Этот репозиторий предоставляет квантованные сборки в формате GGUF модели Qwen3.6-35B-A3B от Qwen — большой мультимодальной (image-text-to-text) модели с архитектурой Mixture-of-Experts. Обозначение «A3B» указывает примерно на 3 миллиарда активных параметров за один прямой проход, выбираемых из пула в 35B параметров, что балансирует возможности и эффективность инференса. Unsloth, известная быстрыми и эффективными по памяти конвертациями моделей, подготовила несколько уровней квантования GGUF (например, от Q2_K до Q8_0), позволяя пользователям выбирать компромисс между использованием VRAM и качеством. Модель лицензирована под Apache 2.0 и поддерживает экосистему transformers, что делает её совместимой с llama.cpp, Ollama, LM Studio и другими средами выполнения, поддерживающими GGUF. Мультимодальные возможности обеспечивают понимание визуально-языковой информации наряду с генерацией текста, а архитектура MoE обеспечивает более быстрый инференс по сравнению с плотной моделью на 35B при сохранении высокого качества выходных данных.
💡Основное
- ├─35B MoE, ~3B активных на токен
- ├─Мультимодальный image-text-to-text
- ├─Несколько размеров квантования GGUF
- └─Apache 2.0, оптимизировано Unsloth
🎯Для
- ├─Исследователи ИИ
- ├─Пользователи локальных LLM
- └─Разработчики мультимодальных приложений