mechramc/Orion
📦 Open Source Projectmechramc
Высокопроизводительная среда выполнения для обучения и запуска LLM напрямую на Apple Neural Engine.
Orion знаменует собой важный сдвиг в способах взаимодействия ИИ-моделей с оборудованием Apple. В отличие от стандартных реализаций, зависящих от Metal или CoreML, Orion взаимодействует с Apple Neural Engine (ANE) напрямую. Такой низкоуровневый подход позволяет выполнять небольшие LLM с высокой эффективностью, минимизируя накладные расходы и максимально используя возможности специализированных аппаратных блоков. Проект, написанный на Objective-C, фокусируется на реверс-инжиниринге ANE, чтобы раскрыть функции, обычно скрытые высокоуровневыми API Apple. Ключевые особенности включают возможность дообучения моделей прямо на устройстве, что редко встречается в мобильном сегменте, и полностью автономную архитектуру, гарантирующую конфиденциальность данных. Ориентируясь непосредственно на ANE, Orion предоставляет разработчикам инструмент для расширения границ локального машинного обучения без задержек и энергопотребления, характерных для GPU-вычислений (Metal).
💡Основное
- ├─Прямой доступ к железу ANE
- ├─Дообучение LLM на устройстве
- └─Без зависимостей CoreML и Metal
🎯Для
- ├─Исследователи ИИ
- ├─Инженеры встраиваемых систем
- └─Разработчики под Apple Silicon