bentoml/BentoDiffusion
📦 Проект с открытым исходным кодомbentoml
Готовое к продакшену обслуживание диффузионных моделей с BentoML, включая тонкую настройку и развертывание в Kubernetes.
BentoDiffusion — это комплексный инструмент для обслуживания диффузионных моделей в продакшене, построенный на основе BentoML. Он включает готовые к использованию сервисы для популярных моделей, таких как Stable Diffusion и SDXL, с поддержкой адаптеров LoRA и генерации изображений по тексту. Проект также предоставляет скрипты для тонкой настройки моделей на пользовательских наборах данных. Он легко интегрируется с Kubernetes, обеспечивая масштабируемое и надежное развертывание. Ключевые возможности включают автоматическое кэширование моделей, динамическую пакетную обработку и конечные точки REST API. Код модульный, что позволяет легко расширять его для новых диффузионных моделей. BentoDiffusion предназначен для ML-инженеров и команд DevOps, стремящихся эффективно развертывать генеративные модели ИИ.
💡Основное
- ├─Обслуживает SD, SDXL, LoRA
- ├─BentoML + Kubernetes
- └─Включает скрипты тонкой настройки
🎯Для
- ├─ML-инженеры
- ├─Специалисты DevOps
- └─Исследователи ИИ