活性化関数（Activation Function）とは？
読み方: カッセイカカンスウ
30秒まとめ
ニューラルネットワークに非線形性を与える関数。ReLU、Sigmoid、GELUなどが代表的。
活性化関数（Activation Function）の意味・定義
活性化関数（Activation Function）は、ニューラルネットワークの各ニューロンの出力に適用される非線形関数です。活性化関数がなければ、多層のネットワークも単なる線形変換に帰着してしまい、複雑なパターンを学習できません。代表的な活性化関数として、ReLU（Rectified Linear Unit、現在最も広く使用）、Sigmoid（0〜1の出力、確率の表現に使用）、Tanh（-1〜1の出力）、GELU（GPTやBERTなどのTransformerで採用）、Swish/SiLU（Google提案、ReLUの改良版）などがあります。適切な活性化関数の選択はモデルの学習効率と性能に大きく影響し、勾配消失問題の回避にも関わる重要な設計要素です。