HomeArchivesCategoriesLabelMomentsPhotosLinkAbout

LSTM（Long Short-Term Memory，长短期记忆网络）

学习
26
0
0
2023-02-08

LSTM（Long Short-Term Memory，长短期记忆网络）

STM（长短期记忆网络）是一种特殊的循环神经网络（RNN），它通过特殊的网络结构设计来有效地解决传统RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。以下是LSTM的工作原理的详细解释：

1. 循环神经网络的问题

在传统的RNN中，网络会对序列中的每个元素执行相同的操作，同时保留一个“隐藏状态”（hidden state），这个隐藏状态用于存储关于序列中之前元素的信息。然而，当序列很长时，RNN很难将信息从序列的开始部分传递到序列的结尾部分，因为梯度在反向传播过程中会随着时间步的增加而逐渐减小或增大，导致所谓的“梯度消失”和“梯度爆炸”问题。

2. LSTM的解决方案

LSTM通过引入“细胞状态”（cell state）和三个控制信息流的“门”（gates）来解决这些问题。

细胞状态（Cell State）

细胞状态是LSTM的核心，它是一个横跨时间步的直线，允许信息在网络中流动而不受干扰。细胞状态可以被认为是一种“记忆”，它可以在网络中长时间传递状态和信息。

门（Gates）

LSTM中的门是控制信息流入、保留和流出细胞状态的机制。每个门都是由一个Sigmoid函数和一个逐点乘法操作组成的。

遗忘门（Forget Gate）

遗忘门决定了哪些信息应该从细胞状态中被丢弃。它查看前一个隐藏状态和当前的输入，然后输出一个在0到1之间的值给每个在细胞状态中的数字。1表示“完全保留这个信息”，而0表示“完全丢弃这个信息”。

  • 公式：ft=σ(Wf⋅[ht−1,xt]+bf)ft​=σ(Wf​⋅[ht−1​,xt​]+bf​)

  • 其中，σσ 是Sigmoid函数，WfWf​ 是遗忘门的权重，bfbf​ 是偏置，ht−1ht−1​ 是前一个隐藏状态，xtxt​ 是当前输入。

输入门（Input Gate）

输入门决定了哪些新的信息被存储在细胞状态中。它包含两部分：一个Sigmoid函数控制哪些值需要更新，以及一个tanh函数创建一个新的候选值向量，可以被加到状态中。

  • Sigmoid部分：it=σ(Wi⋅[ht−1,xt]+bi)it​=σ(Wi​⋅[ht−1​,xt​]+bi​)

  • Tanh部分：C~t=tanh⁡(WC⋅[ht−1,xt]+bC)C~t​=tanh(WC​⋅[ht−1​,xt​]+bC​)

  • 其中，WiWi​ 和 WCWC​ 是输入门的权重，bibi​ 和 bCbC​ 是偏置。

细胞状态的更新

细胞状态的更新是遗忘门和输入门操作的组合。旧的细胞状态通过遗忘门调整（遗忘一些信息），然后加上输入门调整后的新信息。

  • 更新公式：Ct=ft∘Ct−1+it∘C~tCt​=ft​∘Ct−1​+it​∘C~t​

  • 其中，∘∘ 表示逐元素乘法。

输出门（Output Gate）

输出门决定了细胞状态中的哪些信息将输出到下一个隐藏状态。首先，我们运行一个Sigmoid函数来确定细胞状态的哪个部分将输出。然后，我们将细胞状态通过tanh（得到一个介于-1和1之间的值）并将它乘以Sigmoid门的输出，以确定最终的输出。

  • Sigmoid部分：ot=σ(Wo⋅[ht−1,xt]+bo)ot​=σ(Wo​⋅[ht−1​,xt​]+bo​)

  • 输出：ht=ot∘tanh⁡(Ct)ht​=ot​∘tanh(Ct​)

  • 其中，WoWo​ 是输出门的权重，bobo​ 是偏置。

举例

想象一下，你有一个管道（细胞状态），水（信息）可以在管道中流动。这个管道非常长，水从一端流入，从另一端流出。我们的目标是让水流经过管道时，能够保持其清洁和有用性，不受污染。

LSTM的三个门就像管道中的阀门：

  1. 遗忘门（Forget Gate）：

    • 想象管道一端有一个可以控制水流的阀门。这个阀门可以决定是否让旧的水（旧信息）继续留在管道中，或者让它流出去。如果旧水已经不再有用或者太脏了，我们可以通过关闭阀门来“忘记”它。

  2. 输入门（Input Gate）：

    • 现在想象管道的另一端有一个新的水源。这个阀门可以控制新水（新信息）是否流入管道。我们不想让所有的水都进来，因为有些可能是不干净的。所以，我们用这个阀门来挑选哪些新水是好的，可以加入到管道中。

  3. 输出门（Output Gate）：

    • 最后，想象管道中间有一个出口，可以控制水流出去的速度。这个出口的阀门可以决定管道中的哪些水（信息）应该被送出去用于其他用途，比如灌溉花园。

细胞状态（Cell State）：

  • 管道本身就像是LSTM的细胞状态。它是信息流动的通道，而且这些信息可以在管道中长时间保持流动，不会被轻易地丢失或改变。

通过这三个阀门（门）的控制，LSTM可以有效地管理信息的流动：忘记不再需要的信息，添加新的有用信息，并且有选择性地输出当前需要的信息。这样，即使在非常长的序列中，LSTM也能够记住重要的信息，并且忽略不重要的信息，从而在处理复杂的时间序列数据时表现得更好。

总结

  1. 简单定义： “LSTM是一种特殊的循环神经网络（RNN），它设计用来解决传统RNN在处理长距离依赖问题时遇到的梯度消失或梯度爆炸问题。”

  2. 核心组件： “LSTM的核心在于它的细胞状态和三个门结构：遗忘门、输入门和输出门。这些门和细胞状态协同工作，帮助网络记住长期信息并忘记不重要的信息。”

  3. 功能解释：

    • 遗忘门：“遗忘门决定了哪些信息应该从细胞状态中丢弃。它通过一个称为sigmoid的激活函数来决定哪些信息保留，哪些信息丢弃。”

    • 输入门：“输入门负责更新细胞状态。它包含一个sigmoid函数和一个tanh函数，sigmoid决定哪些值需要更新，tanh创建一个新的候选值向量，这些值可以被添加到状态中。”

    • 细胞状态：“细胞状态是LSTM的核心，它在网络中流动，允许信息长期传递。”

    • 输出门：“输出门决定了细胞状态中哪些信息将输出到下一个隐藏状态，并且可能会传递到网络的下一个时间步。”

  4. 优势： “LSTM的优势在于它能够处理和记忆长期依赖关系，这对于许多序列处理任务（如语言模型、时间序列预测）来说是非常重要的。”

  5. 实际应用： “LSTM在自然语言处理（如机器翻译、文本生成）、语音识别和时间序列分析等领域有着广泛的应用。”

“LSTM，即长短期记忆网络，是一种改进的循环神经网络，特别适用于处理和记忆序列数据中的长期依赖关系。它通过细胞状态和三个门结构来实现这一功能：遗忘门、输入门和输出门。遗忘门负责决定哪些旧信息应该被丢弃，输入门决定哪些新信息应该被存储，而输出门则控制哪些信息应该被输出。这种结构使得LSTM在处理诸如自然语言文本或时间序列数据时，能够有效地记住重要的历史信息，同时忽略不相关的细节。因此，LSTM在机器翻译、语音识别和金融市场预测等多个领域都有成功的应用案例。”

#深度学习 39