llm-platform-security/SecGPT
📦 ओपन सोर्स प्रोजेक्टllm-platform-security
LLM-आधारित एजेंट प्रणालियों को दुर्भावनापूर्ण कोड और प्रॉम्प्ट इंजेक्शन से सुरक्षित रखने हेतु एक मजबूत निष्पादन अलगाव आर्किटेक्चर।
SecGPT LLM-आधारित एजेंटिक प्रणालियों को सुरक्षित करने के लिए एक विशेष आर्किटेक्चरल पैटर्न पेश करता है। जैसे-जैसे एजेंट मनमाना कोड निष्पादित करने और बाहरी API के साथ इंटरैक्ट करने की क्षमता प्राप्त करते हैं, वे प्रॉम्प्ट इंजेक्शन, रिमोट कोड निष्पादन और डेटा चोरी के प्रति संवेदनशील हो जाते हैं। SecGPT एक संरचित निष्पादन अलगाव परत प्रदान करके इन खतरों को कम करता है। यह फ्रेमवर्क एजेंट टूल कॉल और कोड निष्पादन वातावरण को लपेटने के लिए पायथन-आधारित सैंडबॉक्सिंग तकनीकों का लाभ उठाता है, जिससे यह सुनिश्चित होता है कि कोई भी दुर्भावनापूर्ण गतिविधि एक प्रतिबंधित दायरे में रहे। प्रमुख विशेषताओं में एजेंट क्षमताओं पर सूक्ष्म नियंत्रण, टूल निष्पादन की निगरानी, और एक मॉड्यूलर डिज़ाइन शामिल है जो LangChain जैसे लोकप्रिय फ्रेमवर्क के साथ सहजता से एकीकृत होता है। एजेंट के तर्क इंजन को निष्पादन वातावरण से अलग करके, SecGPT जेनरेटिव AI सुरक्षा के लिए एक रक्षा-में-गहराई (defense-in-depth) दृष्टिकोण प्रदान करता है।
💡मुख्य बातें
- ├─LLM एजेंटों के लिए निष्पादन अलगाव
- ├─RCE और प्रॉम्प्ट इंजेक्शन को रोकता है
- └─LangChain के साथ सहज एकीकरण
🎯के लिए
- ├─AI सुरक्षा इंजीनियर
- ├─LLM एप्लिकेशन डेवलपर्स
- └─DevSecOps पेशेवर