cryptopoly/ChaosEngineAI
🚀 Productcryptopoly
Высокопроизводительная локальная AI-рабочая станция для Apple Silicon с поддержкой спекулятивной декодировки и сжатия кэша.
ChaosEngineAI представляет собой унифицированный настольный интерфейс для управления и выполнения локальных AI-процессов. Инструмент ориентирован на оптимизацию под Apple Silicon и предоставляет удобную среду для работы с LLM и моделями генерации изображений. Архитектура поддерживает бэкенды MLX, llama.cpp, vLLM и MTPLX.
Технические инновации включают спекулятивную декодировку DFlash и DDTree, значительно ускоряющую генерацию токенов. Внедрение стратегий сжатия кэша TurboQuant и TriAttention позволяет работать с большими контекстными окнами при сниженных затратах памяти, что критически важно для локального оборудования. Интеграция с Hugging Face упрощает поиск и развертывание моделей, предлагая мощное решение «все в одном» для разработчиков и продвинутых пользователей, которым требуется высокая производительность без использования облачных API.
💡Основное
- ├─Спекулятивная декодировка DFlash/DDTree
- ├─Сжатие TurboQuant и TriAttention
- └─Поддержка MLX, vLLM, llama.cpp
🎯Для
- ├─AI-исследователи
- ├─Разработчики под Apple Silicon
- └─Энтузиасты локального AI