AbeEstrada/mlx-rag
📦 Open Source ProjectAbeEstrada
Легковесная реализация RAG, оптимизированная для Apple Silicon с использованием фреймворка MLX.
Репозиторий mlx-rag предоставляет оптимизированную кодовую базу для разработчиков, желающих развернуть системы RAG в macOS. Построенный на базе MLX — исследовательской библиотеки машинного обучения от Apple — проект обеспечивает высокопроизводительное выполнение LLM на архитектурах с унифицированной памятью. Проект демонстрирует полный цикл RAG, включая загрузку документов, векторное представление и генерацию с учетом контекста. Благодаря MLX, проект эффективно использует управление памятью и аппаратное ускорение, что критически важно для работы с большими моделями локально. Модульная архитектура позволяет экспериментировать с различными моделями эмбеддингов и стратегиями поиска при сохранении низкой задержки. Это решение особенно полезно для создания локальных баз знаний, персональных ассистентов или инструментов анализа документов, где приоритетом является конфиденциальность данных и работа в офлайн-режиме на оборудовании Apple.
💡Основное
- ├─Оптимизировано для Apple Silicon
- ├─Локальный RAG-конвейер
- └─Построено на фреймворке MLX
🎯Для
- ├─AI-разработчики
- └─Энтузиасты Apple Silicon