深入解析循环神经网络（RNN）的工作原理与应用场景 门户和行业网站推广

我们为大家准备了现成的人工智能资料，点击→→腾讯文档←←即可获取

介绍

如今，关于机器学习、深度学习和人工神经网络的讨论越来越多。但程序员往往只想使用这些神奇的框架，而大多数人并不想知道它们在幕后是如何工作的。但如果我们能掌握这些背后的原理，我们使用它们不是更好吗？今天我们将讨论循环神经网络及其背后的基本数学原理。这些原理允许循环神经网络做其他神经网络做不到的事情。

〄 RNN（循环神经网络）。

本文的目的是提供对循环神经网络的功能和结构的直观理解。

神经网络通常采用一个自变量（或一组自变量）和一个因变量，然后学习 和 之间的映射（我们称之为训练）。一旦训练完成，当给定一个新的自变量时，它就可以预测相应的因变量。

但是如果数据的顺序很重要怎么办？想象一下所有自变量的顺序是否重要？

让我直观地解释一下。

假设每只蚂蚁都是一个自变量，如果一只蚂蚁朝不同的方向前进，对其他蚂蚁来说并不重要，对吗？但如果蚂蚁的顺序很重要怎么办？

这时，如果一只蚂蚁错过或离开群体，就会影响到后面的蚂蚁。

那么，在机器学习领域，数据的什么顺序很重要？

那么 RNN 如何解决整体顺序很重要的数据呢？我们以自然文本数据为例来解释RNN。

假设我正在对电影的用户评论进行情感分析。

从这部电影很好 - 积极，到这部电影很糟糕 - 消极。

我们可以使用简单的词袋模型对它们进行分类，我们可以预测（正面或负面），但是等等。

如果评论说这部电影不好怎么办？

BOW 模型可能会说这是一个积极的信号，但事实并非如此。 RNN 理解它并将其预测为负面信息。

RNN 是如何做到的？各种RNN模型

1.一对多

RNN 接受输入（例如图像）并生成单词序列。

2. 多对一

RNN 接受单词序列作为输入并产生输出。

3. 多对多

接下来我们重点关注第二种模式多对一。 RNN 的输入被视为时间步长。

示例：Input(X) = [“这个”,“电影”,“是”,“好”]

this 的时间戳是 x(0)，movie 的时间戳是 x(1)，is 的时间戳是 x(2)，good 的时间戳是 x(3)。

2网络架构和数学公式

让我们深入了解 RNN 的数学世界。

首先，我们来了解一下 RNN 单元包含什么！我希望并假设你们都知道前馈神经网络，它是 FFNN 的推广，

〄 具有单个隐藏层神经元的前馈神经网络示例。

〄 具有单个隐藏层的前馈神经网络。

在前馈神经网络中，我们有 X（输入）、H（隐藏）和 Y（输出）。我们可以有任意多个隐藏层，但是每个隐藏层的权重W和每个神经元对应的输入权重是不同的。

上面，我们有权重 Wy10 和 Wy11，分别对应两个不同层相对于输出 Y 的权重，而 Wh00、Wh01 等代表不同神经元相对于输入的不同权重。

由于它出现的时间很短，神经网络单元由一组前馈神经网络组成。神经网络具有顺序输入、顺序输出、多时间步长和多个隐藏层的特点。

与 FFNN 不同，这里我们不仅根据输入值计算隐藏层值，还根据前一个时间步值计算隐藏层值。每个时间步的隐藏层权重（W）相同。下图是RNN的全图以及其中涉及到的数学公式。

图中，我们正在计算隐藏层的时间步t的值：

〄 不同的激活函数。

上面我们只计算了Ht，类似地我们可以计算所有其他时间步。

步：

需要注意的事项是：

前馈输入完成后，我们需要计算误差并使用反向传播方法将误差传播回去。我们使用交叉熵作为成本函数。

BPTT（时间反向传播）

如果你知道正常的神经网络是如何工作的，那么剩下的就非常简单了。如果不确定，可以参考本期之前关于人工神经网络的文章。

我们需要计算以下项目，

由于 W 对于所有时间步长都是相同的，因此我们需要返回并更新它。

〄 RNN 中的 BPTT。

请记住，RNN 的反向传播与人工神经网络的反向传播相同，但这里当前的时间步是根据前一个时间步计算的，因此我们必须从头到尾来回遍历。

如果我们应用链式法则，它看起来像这样

〄 反向传播链式法则。

W 在所有时间步长上都是相同的，因此根据链式法则，展开项越来越多。

循环神经网络讲座幻灯片 [1] 中可以看到类似但不同的计算公式的方法。

所以这里和我们一样。

, , 可以使用任何优化算法进行更新，例如梯度下降。

返回实例

现在让我们回到我们的情感分析问题，这里我们有一个 RNN，

我们为每个单词提供一个词向量或一个热编码向量作为输入，并执行前馈和 BPTT。训练完成后，我们可以给出新的文本进行预测。它会学习诸如“不”+积极的词=消极的东西。

RNN 的问题 → 梯度消失/爆炸问题

由于W对于所有时间步都是相同的，在反向传播过程中，当我们返回并调整权重时，信号会变得太弱或太强，导致消失或爆炸的问题。为了避免这种情况，我们使用GRU或LSTM，这将在后续文章中介绍。

⟳学习资料⟲

我们为大家准备了现成的人工智能资料，点击→→腾讯文档←←即可获取

# 深入解析循环神经网络（RNN）的工作原理与应用场景  # 链式  # 都是  # 我们可以  # 很重要  # 这部电影  # 一只  # 让我们  # 多个  # 腾讯  # 可以使用  # 相对于  # 就会  # 文档  # 让我  # 很好  # 完成后  # 遍历  # 你知道  # 它是  # 这是一个  # 池州视频营销推广平台  # 灞桥区营销工具推广电话  # 沈河区网站建设销售价格  # 怎么选择营销推广  # 海东网站建设公司  # 网站建设需要哪些步骤呢  # 廊坊专业企业网站建设  # 虹口区营销推广管理  # 仙游网站优化与推广  # 便捷的seo  # seo优化十大技巧  # seo相关搜索费用  # 江苏推广营销策划价钱  # 内江网站seo性价比高  # 佛山电商营销推广培训班  # 盘锦seo推广服务公司  # 运营网店营销推广方案  # 前端网站建设学历  # 青海电商网站推广前景  # 铁岭优化网站案例 

相关文章： 移动互联网下手机广告联盟​营销存在着哪些问题？  SEO合作：让你的网站在搜索引擎中脱颖而出,小说营销推广文案  2020年最新最赚钱的3款手机赚钱软件！日赚300不是问题！  内容简洁，让沟通更高效,网站的推广ppt  SEO经营：助力企业腾飞的秘密武器,赤峰抖音seo运营公司  国外广告联盟是怎么赚钱的？看完这几个案例收入吓你一跳！  【分享】仿应用商店引流模板源码  SEO表格：优化网站排名的秘密武器,巫溪的知名网站建设  网站单页面优化的8个核心要素，做好了排名快速提升！  利用b站*进行快速、大量引流的4个方法！  联盟营销是什么意思？最早的联盟营销平台是哪个你知道吗？  如何利用引流脚本通过广告联盟等渠道收益月入过万？  微信引流的四大群体，引流这样做才有效果！  3种非常火爆的APP推广方法以及实用小技巧分享！  如何利用抖音推广小游戏来赚钱？  微信赚钱项目之如何利用微信解封赚钱？  SEO量：提升网站流量和排名的关键法则,淘宝成交热门关键词排名  SEO资讯：最新趋势，提升网站排名，快速突破流量瓶颈,武清seo优化哪家专业  一键创作，助你轻松实现创意梦想,美国小众网站推广  健康生活，从现在开始，给自己一个全新的未来,台州营销推广外包  SEO项目：如何通过精确优化提升企业网站排名与转化率,陕西网站建设方案书范文  高佣联盟赚钱是真的吗？高佣联盟怎么赚钱，有哪些技巧和方法？  网站设计报价，影响因素与策略解析，影响网站设计报价的因素及策略解析，全面解读  电子商务网站开发，趋势、挑战与未来展望，电子商务网站开发，趋势解析、挑战应对与未来图景展望  同城服务类APP推广引流实操干货分享！  新建的广告联盟平台前期如何快速吸引个人站长关注？  二创AI：打破创意壁垒，引领未来内容创作新潮流,主要的推广网站  关键字罗列-提升搜索引擎优化的秘密武器,十堰全网推广网站有哪些  相亲粉、交友粉、引流思路分享，这么做快速有效！  个人站长必备！6种最有效的网站推广方法!  利用老电影赚钱也能轻松月入过万，你知道吗？  新手们不知道的关于流量联盟的哪些潜规则和规矩!  谷歌头像规则设置方法是什么，谷歌怎么改头像  学会这8个微信社群被动引流的小技巧，助你流量转化快速飙升！  ​怎样才能在联盟上推广|直播|、聊天交友类app注册赚到更多的钱？  SEO而且：打造高效网站流量增长的秘密武器,滁州抖音营销推广软件  个性化广告：新时代营销的秘密武器,低价网站建设与发展论文  免费洗稿，提升创作效率的神奇工具,焦作建设网站哪家好  从“官网扒下来”看企业数字化转型的未来,建材行业全网推广营销  新手如何辨别一个广告联盟是不是骗子？  如何利用广告推广的形式来提高网站流量？  【站长联盟】个人站长怎么通过网站赚钱？  SEO需要：如何提升网站排名，打造高效营销利器,随州网站推广公司  竞价广告该如何投放，有什么技巧可借鉴的？  个人站长们怎样通过广告联盟赚钱月入过万？  SEO管家：为您的网站保驾护航的智能SEO助手,镇江的营销推广  健康生活，从今天开始：全面提升你的生活质量,延安网站推广价格  速成网站，新时代在线学习的得力助手，速成网站，新时代在线学习的快速通道，速成网站，新时代在线学习的便捷桥梁  月入3w的推广方法，如何操作？  广告联盟源码下载平台有哪些，免费版的源码在哪可以下载？