mlc-ai/web-llm-chat
📦 오픈 소스 프로젝트mlc-ai
WebGPU를 활용해 브라우저에서 서버 없이 LLM을 직접 실행하는 개인정보 보호 중심의 AI 채팅 솔루션.
Web-LLM-Chat은 WebLLM 엔진을 활용하여 브라우저 환경에서 정교한 생성형 AI 기능을 구현한 엣지 AI 분야의 혁신적인 프로젝트입니다. WebGPU를 통해 클라이언트의 하드웨어 자원을 직접 활용함으로써 외부 API 호출이나 서버 인프라 없이도 효율적인 추론을 수행합니다. 모든 모델 가중치와 대화 데이터가 사용자의 기기에 로컬로 저장되므로 개인정보 보호를 중시하는 개발자와 사용자에게 매우 적합합니다. TypeScript와 Next.js로 구축되어 로컬 LLM을 웹 애플리케이션에 통합하려는 개발자들에게 익숙한 개발 환경을 제공합니다. Qwen, Phi-2, TinyLlama 등 다양한 모델 아키텍처를 지원하며, 사용자의 하드웨어 사양에 맞춰 유연한 배포가 가능합니다. 모듈식 설계를 통해 오프라인에서도 작동하고 현대적인 브라우저 환경에서 확장 가능한 개인정보 보호 우선 AI 인터페이스를 구축하기 위한 이상적인 출발점입니다.
💡하이라이트
- ├─WebGPU 기반의 네이티브 모델 가속
- ├─서버가 필요 없는 개인정보 보호 아키텍처
- └─Llama, Mistral, Gemma 등 다양한 모델 지원
🎯대상
- ├─웹 개발자
- ├─개인정보 보호 옹호자
- └─AI 연구원