mlc-ai/web-llm-chat
📦 开源项目mlc-ai
利用 WebGPU 在浏览器中原生运行大语言模型，实现私密、无需服务器的 AI 对话。
Web-LLM-Chat 代表了边缘 AI 的重大进步，它利用 WebLLM 引擎将复杂的生成式 AI 能力引入浏览器环境。通过 WebGPU 调用客户端硬件，该应用无需外部 API 调用或服务器基础设施即可实现高效推理。这种架构对于注重隐私的开发者和用户极具创新性，因为所有模型权重和对话数据都保留在用户的本地设备上。该项目基于 TypeScript 和 Next.js 构建，为希望将本地 LLM 集成到 Web 应用中的开发者提供了友好的开发体验。它支持包括 Qwen、Phi-2 和 TinyLlama 在内的多种模型架构，可根据用户的硬件能力提供灵活的部署选项。其模块化设计使其成为构建离线运行、跨现代浏览器扩展的隐私优先 AI 界面的理想起点。
💡核心亮点
- ├─原生 WebGPU 模型加速推理
- ├─零服务器架构保障隐私安全
- └─支持 Llama、Mistral 及 Gemma
🎯适用人群
- ├─Web 开发者
- ├─隐私倡导者
- └─AI 研究人员