RNN, LSTM 和 GRU 的区别和联系#

什么是 RNN?#

RNN 是最基本的循环神经网络.它的核心特点就是一个循环结构:当前时刻的输出不仅依赖于当前的输入,还依赖于上一时刻的隐状态(hidden state).用数学公式表示就是:

$h_t = f(W_{xh}x_t + W_{hh}h_{t-1} + b_h)$

这里的 $h_t$ 就是隐状态,$x_t$ 是输入,$f$ 通常是一个非线性激活函数(比如 tanh).这种结构特别适合处理时间序列数据,比如语音、文本或者时间序列预测.

不过,RNN 有一个很大的问题:梯度消失或者梯度爆炸.因为在反向传播过程中,梯度要通过时间维度进行传播(叫做 BPTT,Backpropagation Through Time),如果序列太长,梯度要么会被不断缩小,最终变得几乎为零(梯度消失),要么会被放大,导致不稳定.

LSTM 是如何改进 RNN 的?#

为了解决 RNN 的梯度问题,LSTM 应运而生.LSTM 的核心是引入了一个 “记忆单元”(cell state),它可以直接在时间轴上传递信息,几乎不会被梯度问题影响.

从较高层面来看,LSTM 的工作原理与 RNN 单元非常相似.这是LSTM 网络的内部运作. LSTM网络架构由三部分组成,如下图所示,每个部分执行单独的功能.

LSTM 的结构看起来复杂了不少,主要有三个门:

• 输入门(Input Gate):决定当前输入的信息有多少可以写入记忆单元.
• 遗忘门(Forget Gate):决定之前的记忆有多少可以保留.
• 输出门(Output Gate):决定记忆单元的状态如何影响当前的输出.

这些门通过与记忆单元的交互,让 LSTM 能够选择性地记住或者遗忘信息.LSTM 的具体更新过程可以写成:

1. 遗忘门:

$f_t = \sigma(W_f[x_t, h_{t-1}] + b_f)$

2. 输入门:

$i_t = \sigma(W_i[x_t, h_{t-1}] + b_i)$

$\tilde{C}_t = \tanh(W_C[x_t, h_{t-1}] + b_C)$

3. 更新记忆单元:

$C_t = f_t * C_{t-1} + i_t * \tilde{C}_t$

4. 输出门:

$o_t = \sigma(W_o[x_t, h_{t-1}] + b_o)$

$h_t = o_t * \tanh(C_t)$

通过这些公式,LSTM 可以非常有效地处理长时间依赖问题.

GRU 的设计初衷和特点#

GRU 是 LSTM 的简化版本,可以理解为 “轻量级 LSTM”.相比于 LSTM,GRU 的结构更加简单,因为它只有两个门:

• 更新门(Update Gate):相当于 LSTM 的输入门和遗忘门的结合.
• 重置门(Reset Gate):用来决定要遗忘多少之前的信息.

GRU 的更新过程如下:

1. 更新门:

$z_t = \sigma(W_z[x_t, h_{t-1}] + b_z)$

2. 重置门:

$r_t = \sigma(W_r[x_t, h_{t-1}] + b_r)$

3. 更新隐状态:

$\tilde{h}_t = \tanh(W_h[x_t, r_t * h_{t-1}] + b_h)$

$h_t = (1 - z_t) * h_{t-1} + z_t * \tilde{h}_t$

因为少了记忆单元,GRU 的计算效率更高,在一些任务上的表现甚至能媲美或者超过 LSTM.

RNN、LSTM 和 GRU 的对比分析#

RNN 家族的发展方向#

虽然 RNN、LSTM 和 GRU 曾经是序列建模的主流,但随着 Transformer 的出现,它们的应用范围有所缩减.Transformer 模型通过注意力机制,实现了并行化处理和更强的长距离依赖捕捉能力.

总结#

RNN 是循环神经网络的基础,但存在梯度问题;LSTM 通过引入记忆单元解决了这个问题;GRU 是 LSTM 的简化版,更高效但功能稍弱.虽然现在 Transformer 模型占据了主流,但 RNN 家族依然在某些特定任务中发挥着重要作用,值得我们深入理解和学习.