蒸留（Knowledge Distillation）とは？
読み方: ジョウリュウ
30秒まとめ
大規模な教師モデルの知識を小型の生徒モデルに転移させる技術。モデルの軽量化に貢献。
蒸留（Knowledge Distillation）の意味・定義
蒸留（Knowledge Distillation、知識蒸留）は、大規模で高性能な「教師モデル」（Teacher Model）の知識を、小型で軽量な「生徒モデル」（Student Model）に転移させる技術です。教師モデルの出力（ソフトラベル）を生徒モデルの学習に利用することで、生徒モデルは教師モデルに近い性能を少ないパラメータで実現できます。これにより、計算リソースが限られたエッジデバイスやモバイル端末でもAIを効率的に実行できるようになります。OpenAIのGPT-4の知識をより小型のモデルに蒸留する試みや、GoogleのGemma（Geminiの知識を蒸留したモデル）など、商用モデルにも広く活用されています。SLM（Small Language Model）の開発においても重要な技術であり、大規模モデルの知識を効率的に小型モデルに凝縮することで、コスト効率の良いAIソリューションの実現に貢献しています。