WizardLM-2 8x22B
🧠 AIモデルmicrosoft
マイクロソフトの最新オープンソースWizardモデル、MoEアーキテクチャ、8x22Bパラメータ。
マイクロソフトによって開発されたWizardLM-2 8x22Bは、WizardLMシリーズをベースに、8つのエキスパート（各22Bパラメータ）を持つMixture of Experts（MoE）アーキテクチャを採用。この設計により、トークンごとに22Bのみが活性化され効率的な推論が可能で、総パラメータ数は176Bに達する。最大65,536トークンのコンテキストをサポートし、入出力ともに100万トークンあたり0.62ドルの価格設定。テキストモダリティをサポートし、frequency_penalty、max_tokens、presence_penalty、repetition_penalty、response_format、seed、stop、temperatureなどの機能を備える。既存のオープンソースモデルを一貫して凌ぎ、プロプライエタリモデルに匹敵するため、幅広いテキストベースのAIアプリケーションに強力な選択肢となる。
💡ハイライト
- ├─8x22B MoE、22Bのみ活性化
- ├─65Kコンテキスト長
- └─プロプライエタリモデルに匹敵
🎯対象
- ├─AI研究者
- ├─開発者
- └─オープンソース愛好家