蒸留（ディスティレーション）とは？
読み方: じょうりゅう
30秒まとめ
大規模AIモデルの知識を小型モデルに転移させ、軽量かつ高性能なモデルを作る技術。
蒸留（ディスティレーション）の意味・定義
蒸留（Distillation、知識蒸留）は、大規模な「教師モデル」の知識を、より小型の「生徒モデル」に転移させる技術です。教師モデルの出力（確率分布）を模倣するように生徒モデルを学習させることで、パラメータ数が少なくても教師モデルに近い性能を実現できます。例えば、GPT-4レベルの知識をスマートフォンで動作する小型モデルに転移させるといった応用が可能です。OpenAIのGPT-4o miniやGoogleのGemma、MetaのLlama 3.2などは蒸留技術を活用して開発された軽量モデルの例です。エッジデバイスへのAI導入やAPI利用コストの削減に大きく貢献しています。