深度学习 on Yang

MANNs：记忆增强神经网络

Sun, 26 Jul 2026 11:03:00 +0800

MANNs（Memory-Augmented Neural Networks，记忆增强神经网络）不是某一个固定模型，而是一类带有可读写记忆模块的神经网络架构。

Sun, 26 Jul 2026 11:02:00 +0800

输入序列表示为：

Sun, 26 Jul 2026 11:01:00 +0800

循环神经网络（Recurrent Neural Network，RNN）在生成当前时间步的输出时，会参考之前时间步的信息，从而保留序列中的上下文。

例如，在预测时间步 $t$ 的输出 $y_t$ 时，需要输入当前时间步的数据 $x_t$，以及时间步 $t-1$ 的隐藏状态 $h_{t-1}$。

Sun, 26 Jul 2026 11:00:00 +0800

LSTM（Long Short-Term Memory，长短期记忆网络）是 RNN 的一种改进结构，用于缓解普通 RNN 难以保存长期信息以及梯度消失等问题。

LSTM 通过门控机制选择性地保留重要信息、写入新信息并遗忘无关信息，从而提高对序列数据中长期依赖关系的建模能力。