スパースモデル（Sparse Model）とは？
読み方: スパースモデル
30秒まとめ
パラメータの大部分を非活性にし、必要な部分のみ計算する効率的なAIモデル設計手法。
スパースモデル（Sparse Model）の意味・定義
スパースモデル（Sparse Model）は、ニューラルネットワークのパラメータや計算の大部分を非活性（ゼロ）にし、入力に応じて必要な部分のみを活性化して計算する効率的なモデル設計手法です。代表的なアプローチとして、Mixture of Experts（MoE）があり、GPT-4やMixtralなどの大規模モデルで採用されています。MoEでは複数の「エキスパート」サブネットワークのうち、入力に応じて少数のエキスパートのみが活性化されるため、パラメータ数が巨大でも実際の計算量を抑えられます。枝刈り（Pruning）による学習後のスパース化も広く研究されており、エッジデバイスでのAI実行効率の向上に貢献しています。推論コスト削減とモデル性能の両立を実現する重要な技術です。