パラメータ効率的ファインチューニング（PEFT）とは？
読み方: ピーイーエフティー
30秒まとめ
モデル全体ではなく少数のパラメータのみを追加・更新してファインチューニングする効率的手法群。
パラメータ効率的ファインチューニング（PEFT）の意味・定義
パラメータ効率的ファインチューニング（Parameter-Efficient Fine-Tuning、PEFT）は、大規模AIモデルの全パラメータを更新するのではなく、少数のパラメータのみを追加・更新することで、計算コストとメモリ使用量を劇的に削減しつつ効果的なファインチューニングを実現する手法群です。 代表的なPEFT手法として、（1）LoRA（Low-Rank Adaptation）：重み行列に低ランクの更新行列を追加する最も人気のある手法、（2）QLoRA：LoRAに量子化を組み合わせてさらにメモリ効率を改善、（3）Adapter：各層に小さなアダプターモジュールを挿入、（4）Prefix Tuning：入力の前に学習可能なプレフィックスを追加、（5）Prompt Tuning：ソフトプロンプトを学習する手法、などがあります。従来のフルファインチューニングでは100GB以上のGPUメモリが必要だった70Bパラメータモデルも、QLoRAを使えば1台のGPU（24GB VRAM）で学習可能になります。オープンソースLLMのカスタマイズを身近にした革新的技術です。