mudler/LocalAI
🔧 ツールmudler
GPU不要で任意ハードウェア上でLLM、画像、音声を実行できるオープンソースのAIエンジン。
LocalAIは、高度なAI機能をあらゆるハードウェアにもたらすために設計された、コミュニティ主導の強力なAIエンジンです。Goで書かれており、LLMにはllama.cpp、画像生成にはstable-diffusion、音声にはBarkなどのバックエンドを活用します。OpenAIのAPIのドロップイン代替品を提供し、既存のアプリケーションを最小限の変更でローカル推論に切り替えることができます。主な機能は、GPU不要、マルチモーダルモデル（テキスト、画像、音声、動画）のサポート、モデルキャッシュ、libp2pを介した分散運用です。Linux、macOS、Windows、エッジデバイスで動作し、Dockerをサポートします。LocalAIはすべてをローカルで処理することでプライバシーとデータ主権を重視し、モジュラーアーキテクチャによりユーザーはカスタムバックエンドを追加できます。このプロジェクトはGitHubで46,000以上のスターを獲得し、オープンソースAIコミュニティでの人気を反映しています。