Dellagi/FinAI-Agent-RAG-Spark-Pipeline
📦 ओपन सोर्स प्रोजेक्टDellagi
Apache Spark, Ollama और ChromaDB का उपयोग करके एक वितरित AI ट्रेडिंग पाइपलाइन।
FinAI-Agent-RAG-Spark-Pipeline वित्तीय बाज़ार विश्लेषण और स्वचालित ट्रेडिंग के लिए एक मजबूत फ्रेमवर्क प्रदान करता है। सिस्टम के केंद्र में Apache Spark है, जो बड़े पैमाने पर डेटा इनजेशन और ट्रांसफॉर्मेशन को संभालता है, जिससे बाज़ार संकेतों का उच्च-प्रदर्शन प्रसंस्करण सुनिश्चित होता है। Ollama का एकीकरण स्थानीय लार्ज लैंग्वेज मॉडल (LLM) को तैनात करने की अनुमति देता है, जिससे डेटा गोपनीयता बनी रहती है और क्लाउड-आधारित API की तुलना में विलंबता (latency) कम होती है।
इसकी मुख्य तकनीकी विशेषताओं में एक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) आर्किटेक्चर शामिल है, जो ऐतिहासिक बाज़ार डेटा और ट्रेडिंग रणनीतियों को ChromaDB में संग्रहीत करता है। यह एजेंट को भविष्य के ट्रेडों के लिए 'एपिसोडिक मेमोरी' प्रदान करता है। पाइपलाइन को इवेंट-ड्रिवेन डिज़ाइन किया गया है, जो रीयल-टाइम डेटा स्ट्रीम को प्रबंधित करने के लिए Kafka का उपयोग करता है। यह मॉड्यूलर दृष्टिकोण डेवलपर्स को स्केलेबल वितरित बैकबोन बनाए रखते हुए LLMs को बदलने या ट्रेडिंग लॉजिक को समायोजित करने की सुविधा देता है। यह उन इंजीनियरों के लिए एक आदर्श संदर्भ है जो फिनटेक क्षेत्र में बिग डेटा इंजीनियरिंग और जनरेटिव AI के बीच की खाई को पाटना चाहते हैं।
💡मुख्य बातें
- ├─वितरित Spark डेटा प्रोसेसिंग
- ├─Ollama के माध्यम से स्थानीय LLM
- └─ChromaDB वेक्टर एपिसोडिक मेमोरी
🎯के लिए
- ├─फिनटेक इंजीनियर
- └─डेटा वैज्ञानिक