Mixture of Experts（MoE）とは？
読み方: ミクスチャーオブエキスパーツ
30秒まとめ
入力に応じて専門家ネットワークを選択的に活性化する効率的なモデルアーキテクチャ。
Mixture of Experts（MoE）の意味・定義
Mixture of Experts（MoE、混合エキスパートモデル）は、複数の専門家ネットワーク（Expert）とゲートネットワーク（Router）から構成されるモデルアーキテクチャです。入力に応じてゲートが最適なExpertを選択的に活性化するため、モデル全体のパラメータ数は大きくても、推論時に実際に計算するパラメータ数は少なく、効率的な処理が可能です。 GPT-4（推定）、Gemini 1.5/2.5、Mixtral（Mistral AI）、DeepSeek-V3、Grok-3などの最新の高性能モデルの多くがMoEアーキテクチャを採用しています。例えば、総パラメータ数が1兆を超えるモデルでも、各推論で活性化されるのは数百億パラメータ分だけで、計算コストとメモリ使用量を大幅に削減できます。これにより「大きなモデルを効率的に動かす」ことが可能になり、AI性能の向上とコスト削減の両立を実現する重要な技術として注目されています。