the-crypt-keeper/can-ai-code
🔧 Toolthe-crypt-keeper
Selbstbewertendes Codierungsinterview für KI-Modelle mit LLMs und Transformern.
Ein selbstbewertendes Interviewsystem für KI-Codierer. Es führt Codierungsaufgaben aus Benchmarks wie HumanEval gegen verschiedene LLM-Backends (Llama.cpp, Transformers, LangChain) aus und bewertet automatisch deren Leistung. Das Projekt bietet eine standardisierte, wiederholbare Methode zur Messung der Codegenerierungsfähigkeiten verschiedener Modelle, mit Ergebnissen in einer übersichtlichen Oberfläche.
💡Highlights
- ├─600+ GitHub-Sterne
- ├─Kompatibel mit Llama.cpp, Transformers, LangChain
- └─Automatisiertes HumanEval-Scoring
🎯Für
- ├─KI-Forscher
- ├─ML-Ingenieure
- └─Entwickler, die LLMs evaluieren