envoyproxy/ai-gateway
🏗️ Frameworkenvoyproxy
Облачный AI-шлюз на базе Envoy для унификации, защиты и управления доступом к генеративным AI-сервисам.
Envoy AI Gateway использует высокопроизводительную архитектуру Envoy Proxy, чтобы сократить разрыв между традиционным управлением API и современными генеративными AI-сервисами. Он выступает в роли специализированной плоскости управления (control plane) для AI-трафика, позволяя организациям стандартизировать взаимодействие с LLM от различных поставщиков. Ключевые технические особенности включают трансформацию запросов/ответов, ограничение частоты запросов на основе токенов и бесшовную интеграцию с Kubernetes. Используя мощные возможности фильтрации Envoy, шлюз обеспечивает наблюдаемость специфических для AI метрик, таких как использование токенов и задержка, одновременно обеспечивая соблюдение политик безопасности на границе сети. Проект упрощает развертывание AI-приложений, предоставляя единый API, снижая зависимость от конкретного вендора и гарантируя, что AI-инфраструктура соответствует тем же операционным стандартам, что и другие микросервисы в облачной экосистеме.
💡Основное
- ├─Единый API для доступа к разным LLM
- ├─Нативная интеграция с Kubernetes
- └─Расширенная наблюдаемость AI-трафика
🎯Для
- ├─Инженеры платформ
- ├─DevOps-инженеры
- └─Архитекторы AI-инфраструктуры