▼ もうちょっと詳しく

ニューラルネットの各層で、入力された値をそのまま次に渡すのではなく、何らかの関数を通してから渡すという仕組みがあります。これが活性化関数。「シグナルにひと味加えるフィルター」みたいなもの。

この関数が非線形(直線じゃない)だからこそ、ニューラルネットが複雑なパターンを学べます。線形のままだとどんなに層を重ねても結局1本の直線にしかならない、という残念な縛りを乗り越えるための仕組み。

▼ 代表選手

• ReLU: いまや標準。「マイナスは0、プラスはそのまま」
• Sigmoid: 昔の主役、今は出口寄りで使われる
• GeLU: TransformerやLLMで定番
• Tanh: RNNで使われたお年寄り枠