RobertBiehl/CLIP-tf2
📦 Open Source ProjectRobertBiehl
Полноценная реализация модели CLIP от OpenAI, портированная на TensorFlow 2 и Keras.
CLIP-tf2 устраняет разрыв между исследованиями на базе PyTorch и производственными средами на TensorFlow. Преобразуя архитектуру оригинального OpenAI CLIP в слои, совместимые с Keras, этот проект позволяет практикам использовать предобученные веса для классификации изображений, семантического поиска и zero-shot распознавания объектов. Реализация сохраняет целостность оригинальной модели, включая архитектуру с двумя энкодерами: визуальным трансформером (ViT) или ResNet и текстовым трансформером. Репозиторий особенно полезен для разработчиков, которым требуются высокопроизводительные мультимодальные модели, но чьи проекты ограничены использованием TensorFlow 2. Поддерживаются стандартные рабочие процессы загрузки и инференса Keras, что делает проект готовым решением для интеграции передовых мультимодальных возможностей в существующие приложения на TF.
💡Основное
- ├─Нативная реализация Keras/TF2
- ├─Zero-shot классификация изображений
- └─Поддержка архитектур ViT и ResNet
🎯Для
- ├─Разработчики TensorFlow
- └─Инженеры по компьютерному зрению