モデルマージングとは？
読み方: モデルマージング
30秒まとめ
複数のAIモデルを統合して、各モデルの長所を兼ね備えた新しいモデルを作る技術。
モデルマージングの意味・定義
モデルマージング（Model Merging）は、複数の学習済みAIモデルのパラメータ（重み）を組み合わせて、各モデルの能力を兼ね備えた新しいモデルを生成する技術です。追加の学習データや計算リソースをほとんど必要とせずに、モデルの能力を拡張できる画期的なアプローチとして注目されています。 主な手法として、SLERP（球面線形補間）、TIES（不要パラメータを除去して統合）、DARE（ランダムにパラメータを削除して統合）などがあります。例えば、日本語に強いモデルとコーディングに強いモデルをマージして、日本語でのプログラミング指示に優れたモデルを作ることが可能です。オープンソースLLMコミュニティで特に活発に研究・実践されており、Hugging Faceのリーダーボードでは、マージモデルが上位を占めることも珍しくありません。mergekit等のツールで手軽に実行できます。