誤差逆伝播法(Backpropagation)とは?
読み方: ゴサギャクデンパホウ
30秒まとめ
ニューラルネットワークの学習で勾配を効率的に計算するアルゴリズム。深層学習の根幹技術。
誤差逆伝播法(Backpropagation)の意味・定義
誤差逆伝播法(Backpropagation、バックプロパゲーション)は、ニューラルネットワークにおいて、出力層から入力層に向かって誤差(損失)を逆方向に伝播させ、各パラメータに対する勾配を効率的に計算するアルゴリズムです。1986年にRumelhartらが広めた手法で、深層学習の発展を支える根幹技術です。連鎖律(Chain Rule)を用いることで、膨大なパラメータを持つ多層ネットワークでも効率的に勾配を計算でき、勾配降下法と組み合わせてパラメータを最適化します。GPT、BERT、Transformerなど、現代のすべてのニューラルネットワークモデルの学習にはこの誤差逆伝播法が使われています。深層学習を理解する上で最も重要な概念の一つです。