Mixture of Agents（MoA）とは？
読み方: ミクスチャーオブエージェンツ
30秒まとめ
複数のLLMを階層的に組み合わせて単一モデルを超える性能を実現する手法。
Mixture of Agents（MoA）の意味・定義
Mixture of Agents（MoA、エージェントの混合）は、複数の異なるLLMを階層的に組み合わせることで、個々のモデルを超える性能を実現する手法です。Mixture of Experts（MoE）がモデル内部のアーキテクチャであるのに対し、MoAは独立した複数のモデルを外部的に組み合わせます。第1層で複数のLLM（GPT-4o、Claude、Geminiなど）が同じ質問に回答し、第2層のアグリゲーターモデルがそれらの回答を統合して最終回答を生成します。Together AIの研究で、MoAがAlpacaEval 2.0ベンチマークでGPT-4oを上回る性能を達成したことが示されています。