mistralai/Mixtral-8x7B-Instruct-v0.1
🧠 AIモデルmistralai
47Bパラメータの高性能なSparse Mixture-of-Experts (SMoE) モデル。指示追従と多言語タスクに最適化。
Mixtral-8x7B-Instruct-v0.1は、オープンウェイトAI開発における重要なマイルストーンです。デコーダーのみのSparse Mixture-of-Expertsアーキテクチャを採用し、各トークンを8つのエキスパートネットワークのサブセットにルーティングします。この選択的なアクティブ化により、推論時の計算効率が維持され、パフォーマンスを犠牲にすることなく高いスループットを実現します。教師あり微調整と直接選好最適化（DPO）を用いて調整されており、複雑な指示への追従、チャット、マルチターン対話に優れています。32kトークンのコンテキストウィンドウをサポートしており、長文ドキュメントの分析や複雑な推論タスクに適しています。vLLMなどの標準的な推論フレームワークと完全に互換性があり、safetensors形式を採用しているため、高性能なローカルまたはクラウドホスト型のAIアプリケーションを構築する開発者にとって最適な選択肢です。
💡ハイライト
- ├─47Bパラメータ、トークンあたり13Bをアクティブ化
- ├─32kトークンのコンテキストウィンドウをサポート
- └─多言語対応の指示チューニング済み
🎯対象
- ├─AI研究者
- ├─機械学習エンジニア
- └─ソフトウェア開発者