学習率(ラーニングレート)とは?

読み方: ガクシュウリツ

30秒まとめ

AIモデルが学習時にパラメータを更新する大きさを制御するハイパーパラメータ。

学習率(ラーニングレート)の意味・定義

学習率(Learning Rate)は、AIモデルが学習する際に、各ステップでパラメータ(重み)をどれだけ大きく更新するかを制御するハイパーパラメータです。勾配降下法でモデルを最適化する際の「歩幅」に例えられます。 学習率が大きすぎると、最適な値を飛び越えてしまい学習が不安定になります(発散)。逆に小さすぎると、学習に非常に長い時間がかかり、局所的な最適解に陥りやすくなります。適切な学習率を見つけることは、AIモデルの学習において最も重要な調整の一つです。実践では、学習率スケジューラ(Cosine Annealing、Warmup等)を使って学習中に動的に変更する手法が一般的です。初めは大きな学習率で素早く大まかな最適解に近づき、徐々に小さくして精密に調整します。Adam、AdamWなどの最適化アルゴリズムは学習率を各パラメータごとに自動調整する機能を持ちます。

関連するAIツール

関連する用語

運営者が開発したAIマーケティングツール