cocktailpeanut/dalai
🔧 Werkzeugcocktailpeanut
LLaMA-Modelle mit einem Befehl lokal ausführen.
Dalai ist ein Open-Source-Projekt, das das lokale Ausführen von LLaMA-Modellen vereinfacht. Es bündelt die erforderlichen Abhängigkeiten und bietet einen einzigen Befehl zum Herunterladen und Ausführen von LLaMA. Das Projekt zielt darauf ab, den Zugang zu großen Sprachmodellen zu demokratisieren, indem komplexe Einrichtungsschritte entfallen. Es unterstützt mehrere LLaMA-Modellgrößen und bietet eine webbasierte Chat-Oberfläche. Die Codebasis ist minimal und nutzt vorhandene Bibliotheken wie llama.cpp für die Inferenz. Dalai ist ideal für Entwickler, Forscher und Hobbyisten, die ohne Cloud-Abhängigkeit mit LLaMA experimentieren möchten.
💡Highlights
- ├─Ein Befehl zum Ausführen von LLaMA
- ├─Lokale, private Inferenz
- └─Webbasierte Chat-Oberfläche
🎯Für
- ├─KI-Enthusiasten
- ├─Entwickler
- └─Hobbyisten