LoRAとは？
読み方: ローラ
30秒まとめ
少ないパラメータの追加学習でLLMを効率的にカスタマイズする手法。
LoRAの意味・定義
LoRA（Low-Rank Adaptation）は、大規模言語モデル（LLM）を効率的にファインチューニングするための手法です。元のモデルの重みを凍結し、低ランクの行列分解を適用した小さなアダプター層のみを学習させます。これにより、全パラメータを学習し直す従来のファインチューニングと比較して、必要なメモリが大幅に削減（1/10以下）され、学習時間も短縮されます。LoRAアダプターは数MB〜数百MBと小さいため、用途別に複数のアダプターを作成し、ベースモデルに差し替えて使い分けることが可能です。QLoRA（量子化+LoRA）を使えば、消費者向けGPUでも大規模モデルのファインチューニングが実現できます。Stable Diffusionのスタイル学習でも広く活用されています。