勾配降下法（Gradient Descent）とは？
読み方: コウバイコウカホウ
30秒まとめ
AIモデルのパラメータを最適化するための基本的なアルゴリズム。深層学習の学習プロセスの核心。
勾配降下法（Gradient Descent）の意味・定義
勾配降下法（Gradient Descent）は、AIモデルの損失関数（予測と正解の誤差）を最小化するために、パラメータを繰り返し更新する最適化アルゴリズムです。損失関数の勾配（傾き）を計算し、勾配が小さくなる方向にパラメータを少しずつ調整します。主要な変種として、確率的勾配降下法（SGD）、ミニバッチ勾配降下法、そしてAdam、AdaGrad、RMSPropなどの適応的学習率を持つオプティマイザがあります。特にAdamは多くの深層学習モデルのデフォルト最適化手法となっています。学習率（Learning Rate）の設定が重要で、大きすぎると発散し、小さすぎると収束が遅くなります。LLMを含む全てのニューラルネットワークの学習はこの勾配降下法に基づいています。