olivkoch/nano-trm
📦 오픈 소스 프로젝트olivkoch
효율적인 시퀀스 처리를 위한 Tiny Recursive Models(TRM)의 경량화된 교육용 구현체입니다.
nano-trm은 Tiny Recursive Models의 아키텍처를 쉽게 이해할 수 있도록 설계된 오픈소스 프로젝트입니다. 거대한 컨텍스트 윈도우와 이차 복잡도의 어텐션 스케일링에 의존하는 표준 트랜스포머와 달리, TRM은 재귀적 메커니즘을 활용하여 더 높은 파라미터 효율성으로 시퀀스를 처리합니다. 이 구현체는 파이썬으로 작성된 모듈식 프레임워크를 제공하여 기존 연구 파이프라인이나 교육용 워크플로우에 쉽게 통합할 수 있습니다. 코드베이스는 투명성에 중점을 두어 사용자가 재귀적 상태 전이와 가중치 행렬을 직접 검사할 수 있습니다. 주요 기능으로는 가벼운 의존성, 재귀 로직에 대한 명확한 문서화, 시퀀스 모델링 실험에 최적화된 구조 등이 있습니다. 추론 속도를 최적화하거나 새로운 재귀-트랜스포머 하이브리드 모델을 연구하려는 분들에게 nano-trm은 견고한 기반을 제공합니다.