rasbt/LLMs-from-scratch
📚 튜토리얼rasbt
PyTorch로 단계별로 ChatGPT 같은 LLM을 처음부터 구현하세요.
이 GitHub 저장소는 ChatGPT 같은 LLM을 완전히 처음부터 구현하는 단계별 가이드를 제공합니다. 기본 개념부터 시작하여 토크나이저 구축, 멀티헤드 어텐션 구현, 트랜스포머 블록 구성, 전체 GPT 아키텍처 생성을 안내합니다. 프로젝트는 작은 데이터셋에서의 사전 학습과 특정 작업을 위한 미세 조정을 포함하며, Jupyter 노트북에 상세한 코드와 설명 텍스트가 포함되어 있습니다. 모든 계산에 PyTorch를 사용하며 데이터 로딩, 학습 루프, 평가 코드도 포함합니다. 이 저장소는 교육 목적으로 설계되어 복잡한 LLM 개념을 기본 딥러닝 지식을 가진 실무자도 접근할 수 있게 합니다.
💡하이라이트
- ├─GitHub 별 97k+
- ├─단계별 Jupyter 노트북
- └─사전 학습 및 미세 조정 포함
🎯대상
- ├─ML 엔지니어
- ├─AI 연구자
- └─NLP를 배우는 학생