aimagelab/ReT-2
📦 오픈 소스 프로젝트aimagelab
순환 신경망과 트랜스포머를 결합하여 범용적이고 효율적인 멀티모달 정보 검색을 구현하는 하이브리드 아키텍처.
ReT-2는 순환 신경망의 장기 의존성 처리 능력과 트랜스포머의 병렬 처리 및 표현력을 효과적으로 결합하여 멀티모달 검색 분야의 아키텍처적 전환을 제시합니다. 이 하이브리드 접근 방식은 순수 트랜스포머 모델의 한계를 극복하며, 특히 다양한 모달리티 간의 효율적인 순차적 컨텍스트 관리가 필요한 상황에서 강점을 보입니다. 이 프레임워크는 NLP, 컴퓨터 비전, 교차 모달 검색 등 다양한 도메인에 적용 가능한 범용 검색에 최적화되어 있습니다. 주요 기술적 혁신으로는 순환 상태가 트랜스포머 어텐션 헤드에 정보를 제공하도록 설계된 정교한 통합 레이어가 있으며, 이를 통해 더욱 컨텍스트를 잘 이해하는 임베딩을 생성합니다. 이러한 특성 덕분에 대규모 문서나 미디어 컬렉션 전반에서 일관된 컨텍스트 유지가 필수적인 RAG 파이프라인에 매우 효과적입니다. 본 저장소는 파이썬 기반 구현을 제공하여 연구자와 개발자가 기존 멀티모달 파이프라인에 이 하이브리드 아키텍처를 통합하고 검색 정확도와 계산 효율성을 개선할 수 있도록 돕습니다.