目录

前言

RNN背景

RNN原理

上半部分：RNN结构及按时间线展开图

下半部分：RNN在不同时刻的网络连接和计算过程

LSTM

RNN存在的问题

LSTM的结构与原理

数学表达层面

与RNN对比优势

应用场景拓展

从简易但严谨的代码来看RNN和LSTM

RNN

LSTM

---

前言

绕循环神经网络（RNN）、注意力机制（Attention）以及相关模型（如 LSTM、Transformer、BERT、GPT 等）在深度学习中的应用展开，介绍了其原理、结构、算法流程和实际应用场景。

RNN背景

RNN 产生的原因：深度神经网络（DNN）在处理输入时，每个输入之间相互独立，无法处理序列信息。然而在自然语言处理（NLP）和视频处理等任务中，需要考虑输入元素之间的关联性，因此引入 RNN。以 NLP 中的词性标注任务为例，需处理单词序列才能准确标注词性，仅单独理解每个单词是不够的。

RNN 的结构与公式：RNN 在结构上引入了循环层，其隐藏层状态St不仅取决于当前输入Xt，还与上一时刻的隐藏层状态相关。具体公式为

输出

这样的结构使RNN网络能够对序列信息进行处理

RNN原理

上半部分：RNN结构及按时间线展开图

RNN结构：

输入层（Input Layer）：标记为“x”，接收输入数据。

隐藏层（Hidden Layer）：标记为“s”，是RNN的核心部分，包含循环连接。图中显示了权重矩阵“U”（连接输入层和隐藏层）和“W”（隐藏层的循环连接）（输入层的）。

输出层（Output Layer）：标记为“o”，通过权重矩阵“V”与隐藏层相连（输出层的），产生最终输出。

按时间线展开：

将RNN在时间维度上展开，展示了不同时刻（t-1, t, t+1）的网络状态。每个时刻都有输入x_t、隐藏层状态s_t和输出o_t。权重矩阵“U”、“W”和“V”在不同时刻保持不变，体现了RNN在时间上共享参数的特性。

下半部分：RNN在不同时刻的网络连接和计算过程

t-1时刻：

展示了隐藏层状态s的向量形式，s=[s1, s2, ..., sn]，其中每个元素代表隐藏层的一个神经元状态。权重矩阵“W”连接了t-1时刻的隐藏层神经元。

t时刻：

输入层：输入向量X=[x1, x2, ..., xm]，其中m是输入维度。

隐藏层：通过权重矩阵“U”接收输入层的信息，并通过权重矩阵“W”接收t-1时刻的隐藏层状态信息。图中显示了隐藏层的计算过程，即

，

其中f是激活函数。

输出层：根据隐藏层状态S_t，通过权重矩阵“V”计算输出

，

其中g是输出层的激活函数。

LSTM

LSTM（Long - Short - Term Memory，长短期记忆网络）是为解决传统循环神经网络（RNN）存在的问题而设计的。

RNN存在的问题

RNN有两个主要问题。一是短期记忆问题，当处理足够长的序列时，它难以将早期时间步的信息传递到后期。比如处理一段文本进行预测时，可能会遗漏开头的重要信息。二是梯度消失问题，在反向传播过程中，梯度随着时间反向传播而缩小。当梯度值变得极小，对神经网络权重更新的贡献就很小，导致早期的层停止学习，这也使得RNN在处理长序列时容易遗忘之前的信息。

LSTM的结构与原理

输入：

门：

当前时刻的输出及保存当前细胞状态（传递给下一个‘细胞’）：

LSTM通过引入“细胞状态（cell state）”和“门（gate）”机制来解决上述问题：

细胞状态：就像一条传送带，在整个网络中运行，它可以在序列的不同时间步之间传递信息，使得LSTM能够处理长序列而不容易丢失早期信息。

门：

遗忘门（forget gate）：决定从细胞状态中丢弃哪些信息。它读取当前输入和上一时刻隐藏状态，输出一个0 - 1之间的值，1表示“完全保留”，0表示“完全丢弃”。

输入门（input gate）：确定要在细胞状态中存储哪些新信息。它包含一个sigmoid层来决定更新哪些值，以及一个tanh层来创建新的候选值向量，这些候选值可能会被添加到细胞状态中。

输出门（output gate）：确定LSTM的输出。它首先通过sigmoid层决定细胞状态的哪些部分将被输出，然后将细胞状态通过tanh层（将值映射到 - 1到1之间），并将其与sigmoid层的输出相乘，得到最终的输出。

通过这些机制，LSTM能够更好地处理长序列数据，有选择性地记忆和遗忘信息，有效克服了RNN的短期记忆和梯度消失问题，这也是LSTM在后续的一些自然语言处理、语音识别等领域得到广泛应用的主要原因。

与RNN对比优势

长期依赖处理：RNN受限于梯度消失难以保持长期依赖，LSTM通过门控机制控制细胞状态信息流，能有效保存和传递长距离信息，比如在处理长篇小说文本时，可记住开头人物关系等信息用于后续情节理解和生成。

学习效率：RNN因梯度问题早期层学习困难，LSTM通过门控灵活控制信息流动，更高效学习，在训练时间和收敛速度上表现更好，在语音识别任务中，可更快学习到语音序列中的特征模式。

应用场景拓展

自然语言处理：除常见的文本生成、机器翻译、情感分析，在文本摘要提取中，能抓住长文本关键信息；在命名实体识别中，准确识别不同类型实体。

时间序列预测：在金融领域，预测股票价格、汇率等波动；在能源领域，预测电力负荷、能源消耗等，利用其对时间序列中长短期信息的捕捉能力提高预测准确性。

视频处理：分析视频帧序列，用于动作识别、视频内容理解与生成，如判断视频中人物动作类别，生成符合逻辑的视频字幕等。

从简易但严谨的代码来看RNN和LSTM

通过pytorch框架来定义只有一个’细胞‘的RNN和LSTM，进一步理解这两个网络的架构的应用

RNN

import torch
import torch.nn as nn

# 定义RNN模型
class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size):
        super(SimpleRNN, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.rnn = nn.RNN(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
        out, _ = self.rnn(x, h0)
        out = self.fc(out[:, -1, :])
        return out
        
# 示例参数
input_size = 10
hidden_size = 20
num_layers = 1
output_size = 5
batch_size = 3
seq_length = 8

# 创建输入数据
x = torch.randn(batch_size, seq_length, input_size)

# 实例化RNN模型
model = SimpleRNN(input_size, hidden_size, num_layers, output_size)

# 前向传播
output = model(x)
print(output.shape)

说明：

定义了一个简单的SimpleRNN类继承自nn.Module。在构造函数中，初始化了 RNN 层和全连接层。nn.RNN指定了输入维度input_size、隐藏层维度hidden_size、层数num_layers，并设置batch_first=True表示输入数据的形状为(batch_size, seq_length, input_size)。

forward方法中，首先初始化隐藏状态h0，然后将输入数据x和初始隐藏状态传入 RNN 层，获取输出out。最后将 RNN 最后一个时间步的输出传入全连接层得到最终输出。

LSTM

import torch
import torch.nn as nn

# 定义LSTM模型
class SimpleLSTM(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size):
        super(SimpleLSTM, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
        c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
        out, _ = self.lstm(x, (h0, c0))
        out = self.fc(out[:, -1, :])
        return out
        
# 示例参数
input_size = 10
hidden_size = 20
num_layers = 1
output_size = 5
batch_size = 3
seq_length = 8

# 创建输入数据
x = torch.randn(batch_size, seq_length, input_size)

# 实例化LSTM模型
model = SimpleLSTM(input_size, hidden_size, num_layers, output_size)

# 前向传播
output = model(x)
print(output.shape)

说明：

1.定义了SimpleLSTM类，同样继承自nn.Module。构造函数中初始化了 LSTM 层和全连接层，nn.LSTM的参数设置与 RNN 类似。

2.forward方法里，除了初始化隐藏状态h0，还初始化了细胞状态c0，然后将输入x、h0和c0传入 LSTM 层，获取输出out，最后经全连接层得到最终结果。