analyticalrohit/llms-from-scratch
📦 ओपन सोर्स प्रोजेक्टanalyticalrohit
PyTorch का उपयोग करके स्क्रैच से ChatGPT जैसा LLM बनाने के लिए एक व्यापक, चरण-दर-चरण मार्गदर्शिका।
यह रिपॉजिटरी PyTorch का उपयोग करके GPT-शैली के मॉडल को लागू करके आधुनिक जेनरेटिव AI के आर्किटेक्चर में गहराई से उतरती है। प्रोजेक्ट को जुपिटर नोटबुक की एक श्रृंखला के रूप में संरचित किया गया है जो जटिल अवधारणाओं को प्रबंधनीय, कोड-प्रथम पाठों में विभाजित करती है। प्रमुख तकनीकी विशेषताओं में ट्रांसफार्मर ब्लॉक का कस्टम कार्यान्वयन, मल्टी-हेड सेल्फ-अटेंशन मैकेनिज्म और टोकेनाइजेशन के लिए आवश्यक प्री-प्रोसेसिंग पाइपलाइन शामिल हैं। उन उच्च-स्तरीय लाइब्रेरी के विपरीत जो गणित को छिपा देती हैं, यह प्रोजेक्ट उपयोगकर्ता को टेंसर ऑपरेशंस और वेट इनिशियलाइजेशन के साथ काम करने के लिए प्रेरित करता है। यह एम्बेडिंग लेयर्स बनाने से लेकर ऑटोरिग्र्रेसिव टेक्स्ट जनरेशन के लिए आवश्यक कॉज़ल मास्किंग को लागू करने तक, मॉडल निर्माण के पूरे जीवनचक्र को कवर करता है। यह उन इंजीनियरों के लिए एक आदर्श संसाधन है जो 'ब्लैक बॉक्स' मॉडल उपयोग से आगे बढ़कर यह व्यावहारिक समझ हासिल करना चाहते हैं कि LLM मानव-समान टेक्स्ट को कैसे प्रोसेस और जनरेट करते हैं।
💡मुख्य बातें
- ├─चरण-दर-चरण PyTorch कार्यान्वयन
- ├─मल्टी-हेड अटेंशन का समावेश
- └─कस्टम टोकेनाइजेशन पाइपलाइन
🎯के लिए
- ├─AI/ML इंजीनियर
- └─कंप्यूटर साइंस के छात्र