经典 RNN：循环神经网络

Sun, 26 Jul 2026 11:01:00 +0800

定义

循环神经网络（Recurrent Neural Network，RNN）在生成当前时间步的输出时，会参考之前时间步的信息，从而保留序列中的上下文。

例如，在预测时间步 $t$ 的输出 $y_t$ 时，需要输入当前时间步的数据 $x_t$，以及时间步 $t-1$ 的隐藏状态 $h_{t-1}$。

Sun, 26 Jul 2026 11:00:00 +0800

LSTM（Long Short-Term Memory，长短期记忆网络）是 RNN 的一种改进结构，用于缓解普通 RNN 难以保存长期信息以及梯度消失等问题。

LSTM 通过门控机制选择性地保留重要信息、写入新信息并遗忘无关信息，从而提高对序列数据中长期依赖关系的建模能力。