just-llms/justllms
🏗️ Фреймворкjust-llms
Готовая к продакшену Python-библиотека для оркестрации LLM от разных провайдеров и интеллектуальной маршрутизации запросов.
justllms создана для решения проблемы фрагментации в современной разработке AI. Поскольку компании все чаще используют стратегии с несколькими моделями для балансировки стоимости, задержек и производительности, управление разрозненными API становится серьезной инженерной задачей. justllms абстрагирует эти сложности в чистый и единый Python-интерфейс. Ключевые функции включают интеллектуальную маршрутизацию запросов, позволяющую динамически переключаться между провайдерами на основе метрик, и продвинутое управление состоянием диалогов. Библиотека разработана с учетом требований продакшена: обработка ошибок, лимиты запросов и форматирование полезной нагрузки остаются консистентными независимо от выбранной модели. Это позволяет легко менять модели, например, переходя с DeepSeek на Gemini, без необходимости переписывать основную бизнес-логику.
💡Основное
- ├─Единый API-обертка для LLM
- ├─Интеллектуальная маршрутизация
- └─Встроенная оптимизация затрат
🎯Для
- ├─AI-инженеры
- └─Бэкенд-разработчики