nobodywho-ooo/nobodywho
🔧 Toolnobodywho-ooo
Eine leistungsstarke, plattformübergreifende Inference-Engine für die lokale Ausführung von LLMs auf jedem Gerät.
NobodyWho ist eine robuste Inference-Engine, die entwickelt wurde, um die Fragmentierung bei der lokalen KI-Bereitstellung zu überwinden. Sie ist in Rust geschrieben und nutzt Speichersicherheit sowie hochperformante Ausführung, um LLMs lokal auf verschiedenen Geräten zu betreiben. Die Engine ist speziell darauf ausgelegt, eine breite Palette von Plattformen zu unterstützen, darunter mobile Frameworks wie Flutter und React Native sowie Spieleentwicklungsumgebungen wie Godot 4. Durch die Abstraktion der Komplexität der Modellausführung können Entwickler Small Language Models (SLMs) und LLMs ohne schwere serverseitige Infrastruktur einsetzen. Die sprachübergreifende Unterstützung, einschließlich Bindings für Kotlin, Swift und Python, macht sie zur idealen Wahl für Entwickler, die On-Device-Intelligenz in plattformübergreifende Apps integrieren möchten. Ob für Spiele, mobile Apps oder Desktop-Tools – NobodyWho bietet die notwendigen Grundlagen für latenzarme, private und offlinefähige KI-Inference.
💡Highlights
- ├─Inference-Engine auf Rust-Basis
- ├─Support für Godot 4 und Flutter
- └─Plattformübergreifende lokale LLM-Ausführung
🎯Für
- ├─Mobile App Entwickler
- ├─Spieleentwickler
- └─Edge-KI-Ingenieure