RNN 循环神经网络

Recurrent Neural Network

是一种用于处理序列数据的神经网络架构。与传统神经网络不同，RNN 具有记忆功能，能够捕捉序列中的时间依赖关系。

RNN 的核心在于循环结构，这里以最简单的 Elman RNN 为例说明。对于一个序列输入$\{x_1,x_2,...,x_T\}$ ，在每个时间步 $t$，RNN 会学习到一个隐藏状态 $h_t$。

$$h_t=f(W_h{h}_{t-1}+U{x}_t+b)$$

其中：

• $h_t$ 是当前时刻的隐藏状态
• $h_{t-1}$ 是前一时刻的隐藏状态，由$x_t$和$h_{t-1}$共同决定
• $x_t$ 是当前时刻的输入
• $W_h$ 和 $U$ 是权重矩阵
• $b$ 是偏置项
• $f$ 是激活函数（通常为 tanh）

结构

• $o_t$是时刻的输出，例如我们希望预测一个句子的下一个单词，则输出希望是我们字典中所有词的概率组成的向量$o_t=softmax(V_{h_t})$

TIP

传统的神经网络在每一层采用不同的参数，而 RNN 在所有步中采用共同的参数$(U,V,W)$，这表示我们在每一步执行相同的任务，仅仅是输入不同而已。这样会缩减需要学习的参数数量

RNN 的优缺点

优点

• 处理序列数据：RNN 能够处理任意长度的序列数据
• 记忆能力：RNN 能够记住之前的信息，从而捕捉时间依赖关系

缺点

• 梯度消失/爆炸问题：RNN 在训练过程中容易出现梯度消失或爆炸的问题，导致难以训练长序列
• 计算效率低：RNN 的计算是逐步进行的，无法并行化处理

前向传播

1. 隐藏状态：（$f$通常为 tanh）

   $$h_t=f(W_h{h}_{t-1}+U{x}_t+b)$$

2. 输出：

   $$o_t=V{h}_t+c$$

3. 预测输出：（$\sigma$通常为 softmax）

   $${\hat{y}}_t=\sigma (o_t)$$

反向传播

推导

对任意$t$时刻：

$$\begin{array}{c}\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial U}=\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial o_t}\cdot \frac{\partial {\mathcal{o}}_{\mathcal{t}}}{\partial h_t}\cdot \frac{\partial {\mathcal{h}}_{\mathcal{t}}}{\partial U}\\ =\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial o_t}\cdot \frac{\partial {\mathcal{o}}_{\mathcal{t}}}{\partial h_t}\cdot \frac{\partial {\mathcal{h}}_{\mathcal{t}}}{\partial h_{t-1}}\cdot \frac{\partial {\mathcal{h}}_{\mathcal{t}\mathcal{-}\mathcal{1}}}{\partial U}\\ =\cdots \\ =\sum _{k=1}^t\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial o_t}\frac{\partial o_t}{\partial h_t}\left(\prod _{j=k-1}^t\frac{\partial h_j}{\partial h_{j-1}}\right)\frac{\partial h_k}{\partial U}\end{array}$$

假设损失函数为交叉熵损失:

$$\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial o_t}={\hat{y}}_t-y_t$$

交叉熵损失

$${\mathcal{L}}_{\mathcal{t}}=-\sum _i{y}_{t,i}\log {\hat{y}}_{t,i}$$$${\hat{y}}_{t,i}=\frac{e^{o_{t,i}}}{\sum _j{e}^{o_{t,i}}}$$$$\frac{\partial {\hat{\mathcal{y}}}_{\mathcal{t}\mathcal{,}\mathcal{i}}}{\partial o_{t,k}}={\hat{y}}_{t,i}({\delta }_{ik}-{\hat{y}}_{t,k})$$

其中，${\delta }_{ik}$ 为 kronecker delta 函数

$${\delta }_{ij}=\{\begin{array}{ll}1& \text{如果 }i=j\\ 0& \text{如果 }i\ne j\end{array}$$

有：

$$\begin{array}{c}\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial o_{t,k}}=-\sum _i{y}_{t,i}\frac{\partial \log {\hat{y}}_{t,i}}{\partial o_{t,k}}\\ =-\sum _i{y}_{t,i}\frac{1}{{\hat{y}}_{t,i}}\cdot {\hat{y}}_{t,i}({\delta }_{ik}-{\hat{y}}_{t,k})\\ =-\sum _i{y}_{t,i}({\delta }_{ik}-{\hat{y}}_{t,k})\end{array}$$

由于$\sum _i{y}_{t,i}=1$：

$$\begin{gathered} \frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial o_{t,k}}=-(y_{t,k}-{\hat{y}}_{t,k}\sum _i{y}_{t,i}) \\ =y_{t,k}-y_{t,k} \end{gathered}$$

所以：

$$\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial o_t}={\hat{y}}_t-y_t$$

设：$a_k=W_h{h}_{k-1}+U{x}_k+b$

$$\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial a_t}=\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial h_t}\frac{\partial {\mathcal{h}}_{\mathcal{t}}}{\partial a_t}=\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial h_t}\odot f^{\prime }(a_t)$$

例子

若$h(t)=\tanh (a_t)$

假设：

$$\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial h_t}=\left[\begin{array}{c}{\delta }_1\\ {\delta }_2\end{array}\right]$$$$a_t=\left[\begin{array}{c}{a}_1\\ a_2\end{array}\right]$$

则：

$$\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial a_t}=\left[\begin{array}{c}{\delta }_1(1-{\tanh }^2(a_1))\\ {\delta }_2(1-{\tanh }^2(a_2))\end{array}\right]$$

$$\frac{\partial {\mathcal{a}}_{\mathcal{t}}}{\partial U}={x_t}^{\mathrm{\top }}$$

定义序列索引 $t$ 位置的隐藏状态的梯度为：

$${\delta }_t=\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial h_t}$$

定义最后的序列索引位置为 $\tau$：

$${\delta }_{\tau }=\frac{\partial \mathcal{L}}{\partial h_{\tau }}=V^{\mathrm{\top }}(\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial o_t})=V^{\mathrm{\top }}({\hat{y}}_{\tau }-y_{\tau })$$

时间 $t$ 对 $U$ 的梯度贡献为：

$${\frac{\partial \mathcal{L}}{\partial U}|}_t={\delta }_t\odot f^{\prime }(a_t)\cdot x_t^{\mathrm{\top }}$$

$U$ 的总梯度为：

$$\frac{\partial \mathcal{L}}{\partial U}=\sum _{t=1}^{\tau }{\delta }_t\odot f^{\prime }(a_t)\cdot x_t^{\mathrm{\top }}$$

同样的，$W$ 的总梯度为：

$$\frac{\partial \mathcal{L}}{\partial W}=\sum _{t=1}^{\tau }{\delta }_t\odot f^{\prime }(a_t)\cdot h_{t-1}^{\mathrm{\top }}$$

$V$ 的总梯度为：

$$\frac{\partial \mathcal{L}}{\partial V}=\sum _{t=1}^{\tau }({\hat{y}}_t-y_t)h_t^{\mathrm{\top }}$$

$b$ 的总梯度为：

$$\frac{\partial \mathcal{L}}{\partial b}=\sum _{t=1}^{\tau }{\delta }_t\odot f^{\prime }(a_t)$$

例子

若$h(t)=\tanh (a_t)$

$$\frac{\partial {\mathcal{h}}_{\mathcal{t}}}{\partial a_t}=diag(1-h_t^2)$$$$\frac{\partial {\mathcal{L}}_{\mathcal{t}}}{\partial a_t}={\delta }_t\cdot diag(1-h_t^2)$$$$\frac{\partial \mathcal{L}}{\partial U}=\sum _{t=1}^{\tau }{\delta }_t\cdot diag(1-h_t^2)\cdot x_t^{\mathrm{\top }}$$$$(\frac{\partial \mathcal{L}}{\partial U}=\sum _{t=1}^{\tau }{\delta }_t\odot (1-h_t^2)\cdot x_t^{\mathrm{\top }})$$