openvinotoolkit/model_server
🔧 도구openvinotoolkit
OpenVINO 모델을 클라우드 및 엣지 환경에서 배포하기 위한 고성능 확장형 추론 서버입니다.
OpenVINO Model Server는 모델 개발과 프로덕션 배포 사이의 간극을 메우기 위해 설계되었습니다. OpenVINO 런타임을 활용하여 CPU, 통합 GPU, NPU를 포함한 인텔 하드웨어에서 최상의 추론 성능을 보장합니다. OpenVINO IR, ONNX, TensorFlow 등 다양한 모델 형식을 지원하여 폭넓은 머신러닝 워크플로우에 유연하게 대응합니다. 주요 기능으로는 모델 버전 관리, 동적 모델 로딩, 그리고 단일 요청 내에서 다단계 추론 워크플로우를 처리하는 DAG 기반의 복잡한 파이프라인 실행이 있습니다. 컨테이너 네이티브 방식으로 설계되어 쿠버네티스와 원활하게 통합되며, 자동 확장 및 고가용성을 제공합니다. 엣지에서의 실시간 컴퓨터 비전 작업부터 클라우드의 대규모 생성형 AI 워크로드까지, OVMS는 엔터프라이즈급 AI 애플리케이션에 필요한 저지연 및 고처리량 인프라를 제공합니다.
💡하이라이트
- ├─고성능 C++ 기반 추론 엔진
- ├─쿠버네티스 및 클라우드 네이티브 지원
- └─복잡한 DAG 파이프라인 실행 지원
🎯대상
- ├─MLOps 엔지니어
- ├─AI 인프라 아키텍트
- └─엣지 컴퓨팅 개발자