pykeio/ort
🏗️ Frameworkpykeio
Высокопроизводительные привязки ONNX Runtime для Rust, обеспечивающие эффективный вывод и обучение моделей машинного обучения.
ort — это комплексная обертка на Rust для ONNX Runtime, созданная для устранения разрыва между высокоуровневыми моделями машинного обучения и производительностью Rust. Она упрощает загрузку, выполнение и дообучение ONNX-совместимых моделей, сохраняя при этом гарантии безопасности и скорости экосистемы Rust. Основные функции включают поддержку пользовательских операторов, аппаратное ускорение через различные провайдеры (CUDA, TensorRT, CoreML) и удобный API, который скрывает сложности базового C++ ONNX Runtime. Независимо от того, создаете ли вы конвейеры компьютерного зрения в реальном времени, инструменты обработки естественного языка или AI-приложения для периферийных устройств, ort предоставляет необходимые абстракции для работы с тензорами и графами моделей с минимальными накладными расходами. Активная поддержка и фокус на производительности делают эту библиотеку незаменимым инструментом для инженеров, внедряющих сложные AI-модели в производственные среды, где критически важны низкая задержка и надежность.
💡Основное
- ├─Идиоматичные привязки ONNX Runtime
- ├─Поддержка CUDA, TensorRT и CoreML
- └─Высокопроизводительный вывод и обучение
🎯Для
- ├─Rust-разработчики
- └─ML-инженеры