1. Sigmoid

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

特点

✅ 输出范围 (0,1) 适合概率预测
❌ 梯度消失问题
❌ 计算成本较高

2. ReLU (Rectified Linear Unit)

$$f(x)=max(0,x)$$

特点

✅ 计算高效
✅ 缓解梯度消失
❌ 可能出现神经元死亡

pytorch

import torch
x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = torch.relu(x)

tensorflow

import tensorflow as tf
x = tf.Variable(tf.range(-8.0, 8.0, 0.1), dtype=tf.float32)
y = tf.nn.relu(x)

3. Tanh

$$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

特点

✅ 输出中心对称
✅ 比 Sigmoid 梯度更强
❌ 仍存在梯度消失

4. Softmax

$$\sigma (z_i)=\frac{e^{z_i}}{\sum _{j=1}^K{e}^{z_j}}$$

特点

✅ 输出概率分布
✅ 适合多分类问题
❌ 对极端值敏感

5. Argmax

该函数返回使函数 $f(x)$ 取得最大值的输入 $x$ 的索引（或位置）。

特点

✅ 直接选择最大值，忽略其他值的贡献
❌ 不可导

6. Softargmax

$$\text{Softargmax}(z)=\sum _i\frac{e^{{\beta }_{zi}}}{\sum _j{e}^{{\beta }_{zi}}}\cdot i$$

$\beta \to \mathrm{\infty }$ 时逼近 argmax

特点

✅ 通过概率分布加权所有值，保留其他值的贡献
✅ 可通过梯度下降优化