IBJunior/local-agent-docker-model-runner
📦 Open Source ProjectIBJunior
Гибкий бэкенд на NestJS для запуска локальных LLM через Docker с поддержкой потоковой передачи и встроенной памятью.
local-agent-docker-model-runner создан для упрощения оркестрации AI-агентов на локальной инфраструктуре. Построенный на фреймворке NestJS, он использует LangChain и LangGraph.js для создания структурированной среды выполнения агентных рабочих процессов. Архитектура проекта модульна, что позволяет легко менять модели через Docker-контейнеры. Ключевые особенности включают систему очередей сообщений на базе Redis для асинхронных задач и слой персистентной памяти на PostgreSQL для сохранения контекста сессий. Система поддерживает потоковую передачу ответов модели в реальном времени, что делает её подходящей для интерактивных чат-приложений. Контейнеризация среды выполнения гарантирует стабильность при переходе от разработки к продакшену. Это идеальный выбор для тех, кто хочет создавать приватные, self-hosted AI-агенты без затрат и задержек, связанных с проприетарными облачными API.
💡Основное
- ├─Архитектура NestJS и LangGraph.js
- ├─Локальные LLM через Docker
- └─Память Postgres и очереди Redis
🎯Для
- ├─Бэкенд-разработчики
- └─AI-инженеры