LSTM 长短期记忆网络

Long Short-Term Memory

RNN 想把所有的信息记住，不管是有用的信息还是无用的信息。

LSTM 通过引入记忆单元和门控机制来控制信息的流动，从而有效地捕捉长期依赖关系。LSTM 的核心思想是通过三个门（输入门、遗忘门、输出门）来决定哪些信息需要保留，哪些信息需要丢弃。

略去每层都有的$o_t$，RNN 的结构可以简化为：

LSTM 对隐藏结构进行了改进：

结构

记忆细胞

遗忘门

遗忘门（forget gate）顾名思义，是控制是否遗忘的，在 LSTM 中即以一定的概率控制是否遗忘上一层的隐藏细胞状态。

$$f_t=\sigma (W_f{h}_{t-1}+U_f{x}_t+b_f)$$

其中，$\sigma$为sigmoid激活函数

输入门

输入门（input gate）负责处理当前序列位置的输入。

$$i_t=\sigma (W_i{h}_{t-1}+U_i{x}_t+b_i)$$$${\tilde{C}}_t=\tanh (W_c{h}_{t-1}+U_c{x}_t+b_c)$$

这里：${\tilde{C}}_t$ 被称为候选记忆元（candidate memory cell）

状态更新

$$C_t=C_{t-1}\odot f_t+i_t\odot {\tilde{C}}_t$$

其中，$\odot$为 Hadamard 积。

输出门

$$o_t=\sigma (W_o{h}_{t-1}+U_o{x}_t+b_o)$$$$h_t=o_t\odot \tanh (C_t)$$

当输出门接近 0 时，只保留记忆元内的所有信息，而不需要更新隐状态。

TIP

遗忘门决定了我要抛弃哪些旧知识

输入门决定了我要记住哪些新知识

输出门决定了我要用到哪些知识

前向传播

1. 更新遗忘门输出：

   $$f^{(t)}=\sigma (W_f{h}^{(t-1)}+U_f{x}^{(t)}+b_f)$$

2. 更新输入门两部分输出：

   $$i^{(t)}=\sigma (W_i{h}^{(t-1)}+U_i{x}^{(t)}+b_i)$$$${\tilde{C}}^{(t)}=\tanh (W_c{h}^{(t-1)}+U_c{x}^{(t)}+b_c)$$

3. 更新细胞状态：

   $$C^{(t)}=C^{(t-1)}\odot f^{(t)}+i^{(t)}\odot {\tilde{C}}^{(t)}$$

4. 更新输出门输出：

   $$o^{(t)}=\sigma (W_o{h}^{(t-1)}+U_o{x}^{(t)}+b_o)$$$$h^{(t)}=o^{(t)}\odot \tanh (C^{(t)})$$

5. 更新当前序列索引预测输出：

$${\hat{y}}^{(t)}=\sigma (V{h}^{(t)}+c)$$

反向传播

推导

假设损失函数为交叉熵损失，定义：

$${\delta }_h^{(t)}=\frac{\partial \mathcal{L}}{\partial h^{(t)}}$$$${\delta }_C^{(t)}=\frac{\partial \mathcal{L}}{\partial C^{(t)}}$$

对于最后的序列索引位置 $\tau$：

$${\delta }_h^{(\tau )}=\frac{\partial {\mathcal{L}}^{\mathcal{(}\tau \mathcal{)}}}{\partial h^{(\tau )}}=\frac{\partial {\mathcal{L}}^{\mathcal{(}\tau \mathcal{)}}}{\partial {\hat{y}}^{(\tau )}}\frac{\partial {\hat{y}}^{(\tau )}}{\partial h^{(\tau )}}=V^{\mathrm{\top }}({\hat{y}}^{(\tau )}-y^{(\tau )})$$$${\delta }_C^{(\tau )}=\frac{\partial {\mathcal{L}}^{\mathcal{(}\tau \mathcal{)}}}{\partial C^{(\tau )}}={\delta }_h^{(\tau )}\odot o^{(\tau )}\odot (1-{\tanh }^2(C^{(\tau )}))$$

交叉熵损失

$${\mathcal{L}}^{(t)}=-y^{(t)}\log {\hat{y}}^{(t)}-(1-y^{(t)})\log (1-{\hat{y}}^{(t)})$$$$\frac{\partial {\mathcal{L}}^{\mathcal{(}\mathcal{t}\mathcal{)}}}{\partial {\hat{y}}^{(t)}}=\frac{{\hat{y}}^{(t)}-y^{(t)}}{{\hat{y}}^{(t)}(1-{\hat{y}}^{(t)})}$$

对于：

$${\hat{y}}^{(t)}=\sigma (z^{(t)})$$$$z^{(t)}=V{h}^{(t)}+c$$

有：

$$\frac{\partial {\hat{y}}^{(t)}}{\partial z^{(t)}}={\hat{y}}^{(t)}(1-{\hat{y}}^{(t)})$$$$\frac{\partial z^{(t)}}{\partial h^{(t)}}=V^{\mathrm{\top }}$$

对于 $t$ 时刻 ${\delta }_h^{(t)}$ 的计算 :

• 直接梯度

  $${\delta }_h^{(t,direct)}=V^{\mathrm{\top }}({\hat{y}}^{(t)}-y^{(t)})$$

• 间接梯度（来自时间步 $t+1$）：

  • 通过输出门：$${\delta }_h^{(t,o)}=W_o^{\mathrm{\top }}[{\delta }_h^{(t+1)}\odot \tanh (C^{(t+1)})\odot o^{(t+1)}\odot (1-o^{(t+1)})]$$
  • 通过遗忘门：$${\delta }_h^{(t,f)}=W_f^{\mathrm{\top }}[{\delta }_C^{(t+1)}\odot C^{(t)}\odot f^{(t+1)}\odot (1-f^{(t+1)})]$$
  • 通过输入门：$${\delta }_h^{(t,i)}=W_i^{\mathrm{\top }}[{\delta }_C^{(t+1)}\odot {\tilde{C}}^{(t+1)}\odot i^{(t+1)}\odot (1-i^{(t+1)})]$$
  • 通过候选细胞状态：$${\delta }_h^{(t,\tilde{C})}=W_c^{\mathrm{\top }}[{\delta }_C^{(t+1)}\odot i^{(t+1)}\odot (1-({\tilde{C}}^{(t+1)}{)}^2)]$$

对于 ${\delta }_C^{(t)}$ :

$${\delta }_C^{(t)}={\delta }_C^{(t+1)}\odot f^{(t+1)}+{\delta }_h^{(t)}\odot o^{(t)}\odot (1-{\tanh }^2(C^{(t)}))$$

下面计算：

$$\frac{\partial \mathcal{L}}{\partial W_f}=\sum _{t=1}^{\tau }\frac{\partial \mathcal{L}}{\partial f^{(t)}}\frac{\partial f^{(t)}}{\partial W_f}$$

有：

$$\frac{\partial \mathcal{L}}{\partial f^{(t)}}=\frac{\partial \mathcal{L}}{\partial C^{(t)}}\frac{\partial C^{(t)}}{\partial f^{(t)}}={\delta }_C^{(t)}\frac{\partial C^{(t)}}{\partial f^{(t)}}={\delta }_C^{(t)}\odot C^{(t-1)}$$

进一步的，令：

$$z_f^{(t)}=W_f{h}^{(t-1)}+U_f{x}^{(t)}+b_f$$

有：

$$\frac{\partial f^{(t)}}{\partial W_f}=\frac{\partial f^{(t)}}{\partial z_f^{(t)}}\cdot \frac{\partial z_f^{(t)}}{\partial W_f}$$

而：

$$\frac{\partial f^{(t)}}{\partial z_f^{(t)}}=\sigma (z_f^{(t)})\odot (1-\sigma (z_f^{(t)}))=f^{(t)}\odot (1-f^{(t)})$$$$\frac{\partial z_f^{(t)}}{\partial W_f}=h^{(t-1)}$$

$f^{(t)}$的求导

$$f^{(t)}=\sigma (z)=\frac{1}{1+e^{-z}}$$$$\frac{\mathrm{d}\sigma (z)}{\mathrm{d}z}=-1\cdot (1+e^{-z}{)}^{-2}\cdot (-e^{-z})=\sigma (z)\odot (1-\sigma (z))$$

可以得出时间 $t$ 对 $W_f$ 的梯度贡献为：

$${\frac{\partial \mathcal{L}}{\partial W_f}|}_t=[{\delta }_C^{(t)}\odot C^{(t-1)}\odot f^{(t)}\odot (1-f^{(t)})]\cdot (h^{(t-1)}{)}^{\mathrm{\top }}$$

总梯度为：

$$\frac{\partial \mathcal{L}}{\partial W_f}=\sum _{t=1}^{\tau }[{\delta }_C^{(t)}\odot C^{(t-1)}\odot f^{(t)}\odot (1-f^{(t)})]\cdot (h^{(t-1)}{)}^{\mathrm{\top }}$$