Dellagi/FinAI-Agent-RAG-Spark-Pipeline
📦 Open Source ProjektDellagi
Eine verteilte KI-Handels-Pipeline mit Apache Spark, Ollama-LLMs und ChromaDB für intelligente Finanzentscheidungen.
Die FinAI-Agent-RAG-Spark-Pipeline bietet ein robustes Framework für die Analyse von Finanzmärkten und den automatisierten Handel. Das System nutzt Apache Spark für die großskalige Datenaufnahme und -transformation, um eine leistungsstarke Verarbeitung von Marktsignalen zu gewährleisten. Die Integration von Ollama ermöglicht den Einsatz lokaler Large Language Models, was den Datenschutz erhöht und die Latenz im Vergleich zu cloudbasierten APIs reduziert. Zu den technischen Hauptmerkmalen gehört eine Retrieval-Augmented Generation (RAG)-Architektur, die historische Marktdaten und Handelsstrategien in ChromaDB speichert und dem Agenten ein episodisches Gedächtnis für zukünftige Trades verleiht. Die Pipeline ist ereignisgesteuert und nutzt Kafka zur Verwaltung von Echtzeit-Datenströmen. Dieser modulare Ansatz erlaubt es Entwicklern, LLMs auszutauschen oder die Handelslogik anzupassen, während das skalierbare, verteilte Rückgrat erhalten bleibt. Es ist eine ideale Referenzimplementierung für Ingenieure, die die Lücke zwischen Big-Data-Engineering und generativer KI im Fintech-Sektor schließen möchten.
💡Highlights
- ├─Verteilte Spark-Datenverarbeitung
- ├─Lokale LLM-Inferenz via Ollama
- └─ChromaDB Vektor-Episodenspeicher
🎯Für
- ├─Fintech-Ingenieure
- └─Data Scientists