精选文章 11种主要神经网络结构图解

11种主要神经网络结构图解

作者:喜欢打酱油的老鸟 时间: 2020-07-28 08:23:56
喜欢打酱油的老鸟 2020-07-28 08:23:56

11 Essential Neural Network Architectures, Visualized & Explained

https://towardsdatascience.com/11-essential-neural-network-architectures-visualized-explained-7fc7da3486d8


随着深度学习的快速发展,人们创建了一整套神经网络结构来解决各种各样的任务和问题。 尽管有无数的神经网络结构,这里有十一种对于任何深度学习工程师来说都应该理解的结构,可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。



标准网络



1 | 感知器(Perceptron)

感知器是所有神经网络中最基本的,也是更复杂的神经网络的基本组成部分。 它只连接一个输入神经元和一个输出神经元。

11种主要神经网络结构图解1


2 | 前馈(Feed-Forward)网络

前馈网络是感知器的集合,其中有三种基本类型的层: 输入层、隐藏层和输出层。 在每个连接过程中,来自前一层的信号被乘以一个权重,增加一个偏置,然后通过一个激活函数。 前馈网络使用反向传播迭代更新参数,直到达到理想的性能。

11种主要神经网络结构图解2


3 | 残差网络(Residual Networks/ResNet)

深层前馈神经网络的一个问题是所谓的梯度消失,即当网络太深时,有用的信息无法在整个网络中反向传播。 当更新参数的信号通过网络传播时,它会逐渐减少,直到网络前面部分的权重不再改变或者根本不再使用。

为了解决这个问题,残差网络使用跳过连接实现信号跨层传播。 通过使用这种不易受到影响的连接来减少梯度消失问题。 随着时间的推移,通过学习特征空间,网络学会了重建跳过的层,但训练更有效,因为它的梯度不容易消失和需要探索更少的特征空间。

11种主要神经网络结构图解3


循环网络


4 | 循环神经网络 (Recurrent Neural Network/RNN)

循环神经网络是一种特殊类型的网络,它包含环和自重复,因此被称为“循环”。 由于允许信息存储在网络中,RNNs 使用以前训练中的推理来对即将到来的事件做出更好、更明智的决定。 为了做到这一点,它使用以前的预测作为“上下文信号”。 由于其性质,RNNs 通常用于处理顺序任务,如逐字生成文本或预测时间序列数据(例如股票价格)。 它们还可以处理任意大小的输入。

11种主要神经网络结构图解4


5 | 长短期记忆网络(Long Short Term Memory Network/LSTM)

由于上下文信息的范围在实践中是非常有限的,所以 RNNs 有个大问题。 给定的输入对隐藏层(即对网络的输出)输入的影响(反向传播误差) ,要么指数级爆炸,要么网络连接循环衰减为零。 解决这个梯度消失问题的方法是长短期记忆网络(LSTM)。

这种 RNN 结构是专门为解决梯度消失问题而设计的,结构中加入了内存块。 这些模块可以看作是计算机中的内存芯片——每个模块包含几个循环连接的内存单元和三个门(输入、输出和遗忘,相当于写入、读取和重置)。 该网络只能通过每个门与神经元进行互动,因此这些门学会智能地打开和关闭,以防止梯度爆炸或消失,但也通过“不断错误传送带”传播有用信息,以及丢弃不相关的内存内容。

11种主要神经网络结构图解5


标准的 RNNs 在输入事件和目标信号之间的时间滞后大于5到10个时间步长时无法学习,LSTM 则不会受到影响,甚至连接时间滞后1,000个时间步长它都可以通过实施一个有用的常量误差流来学习。


6 | 回声状态网络(Echo State Networks/ESN)

回声状态网络是循环神经网络的一个变种,它有一个非常稀疏连接的隐藏层(通常是百分之一的连通性)。 神经元的连通性和权重是随机分配的,忽略层和神经元的差异(跳过连接)。 通过学习输出神经元的权重,使网络能够产生和再现特定的时间模式。 这个网络背后的原因是,尽管它是非线性的,但在训练过程中修改的权重只是突触连接,因此误差函数可以被微分为线性系统。

11种主要神经网络结构图解6


卷积网络


7 | 卷积神经网络 (Convolutional Neural Network/CNN)

图像具有非常高的维数,因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元,除了显而易见的高计算量,还可能导致许多与神经网络中的维数灾难相关的问题。 卷积神经网络提供了一个解决方案,利用卷积和池化层,来降低图像的维度。 由于卷积层是可训练的,但参数明显少于标准的隐藏层,它能够突出图像的重要部分,并向前传播每个重要部分。 传统的CNNs中,最后几层是隐藏层,用来处理“压缩的图像信息”。

11种主要神经网络结构图解7

卷积神经网络在基于图像的任务上表现良好,例如将图像分类为狗或猫。

8 | 反卷积神经网络(Deconvolutional Neural Network/DNN)

正如它的名字所暗示的那样,反卷积神经网络与卷积神经网络操作相反。 DNN不是通过卷积来降低图像的维数,而是利用反卷积来创建图像,通常是从噪声中获得图像。 这本身就是一项艰巨的任务; 想象一下 CNN 的任务:用三句话写出奥威尔《1984》全书的总结摘要,而 DNN 的任务是把这三句话扩展成全本书。

11种主要神经网络结构图解8


9 | 生成对抗网络(Generative Adversarial Network/GAN)

生成对抗网络是一种专门设计用于生成图像的网络,由两个网络组成: 一个鉴别器和一个生成器。 鉴别器的任务是区分图像是从数据集中提取的还是由生成器生成的,生成器的任务是生成足够逼真的图像,以至于鉴别器无法区分图像是否真实。

随着时间的推移,在谨慎的监督下,这两个对手相互竞争,彼此都想成功地改进对方。 最终的结果是一个训练有素的生成器,可以生成逼真的图像。 鉴别器是一个卷积神经网络,其目标是最大限度地提高识别真假图像的准确率,而生成器是一个反卷积神经网络,其目标是最小化鉴别器的性能。

11种主要神经网络结构图解9


自动编码器



10 | 自动编码器(Auto Encoder/AE)

自动编码器的基本思想是将原始的高维数据“压缩”成高信息量的低维数据,然后将压缩后的数据投影到一个新的空间中。 自动编码器有许多应用,包括降维、图像压缩、数据去噪、特征提取、图像生成和推荐系统。 它既可以是无监督的方法,也可以是有监督的,可以得到对数据本质的洞见。

11种主要神经网络结构图解10


隐藏的神经元可以替换为卷积层,以便处理图像。

11 | 变分自动编码器(Variational Auto Encoder/VAE)

自动编码器学习一个输入(可以是图像或文本序列)的压缩表示,例如,压缩输入,然后解压缩回来匹配原始输入,而变分自动编码器学习表示的数据的概率分布的参数。 不仅仅是学习一个代表数据的函数,它还获得了更详细和细致的数据视图,从分布中抽样并生成新的输入数据样本。 从这个意义上说,它更像是一个纯粹的“生成”模型,就像一个 GAN。

11种主要神经网络结构图解11


VAE使用了概率隐藏神经元,它对测试用例和神经元平均值之间的差应用了一个径向基核函数。

勿删,copyright占位
分享文章到微博
分享文章到朋友圈

上一篇:体制内必须要懂的道理77条

下一篇:filetable_SQL Server FILETABLE用例

您可能感兴趣

  • Webview.apk —— Google 官方的私有插件化方案

    简介: 在 Android 跨入 5.0 版本之后,我们在使用 Android 手机的过程中,可能会发现一个奇特的现象,就是手机里的 WebView 是可以在应用商店升级,而不需要跟随系统. 在 Android 跨入 5.0 版本之后,我们在使用 Android 手机的过程中,可能会发现一个奇特的现象,就是手机里的 WebView 是可以在应用商店升级,而不需要跟随系统的。 这一点在 iOS...

  • 前端实习生面试题分析(一)

    最近面试拿了很多公司的实习offer,只要是面试的都通过了。 接下来就分析下面试题,也能给自己一个提升吧,以便后续的面试更轻车熟路些,题目没什么顺序,想起什么写什么,还有我面试过程中的一些小套路。 估计要写好多,每天写几道题,而且有些经验性的东西也不容易写出来 这篇写的都是类似一些概念性的理论东西。 1.JS防抖和节流 先说为什么要做防抖和节流,针对一些会频繁触发的事件,像scroll、re...

  • 四连涨!海尔智家这波私有化还有多大想象空间?

    文|易牟 来源 | 螳螂财经(ID:TanglangFin) 四连涨!受海尔智家(600690.SH)私有化海尔电器(01169.HK)消息影响,海尔智家连续两个交易日涨停后,又接连两日上攻,股价盘中最高达22.54元,创下今年新高。 截至8月5日收盘,海尔智家主力资金净流入3.68亿元,连续5日净流入12.96亿元,后续上涨势头强劲。 毫无疑问,在投资者的眼中,不管是短期还是中长期,海尔智...

  • 【计算机网络】第七章:网络安全

    【计算机网络】第七章:网络安全 目录 网络安全问题概述 1.1.计算机网络面临的安全性威胁 1.2.被动攻击和主动攻击 1.3.计算机网络通信安全的目标 1.4.恶意程序(rogue program) 1.5.计算机网络安全的内容 1.6.一般的数据加密模型 两类密码体制 一、对称密钥密码体制 1.1.对称密钥的缺点与优点 1.2.数据加密标准 DES 1.3.DES 的保密性 二、公钥密码...

  • Redis到底该怎么搞呢?主从复制以及redis复制演进全面进攻

    一、前言 通过持久化功能,Redis保证了即使在服务器宕机情况下数据的丢失非常少。但是如果这台服务器出现了硬盘故障、系统崩溃等等,不仅仅是数据丢失,很可能对业务造成灾难性打击。为了避免单点故障通常的做法是将数据复制多个副本保存在不同的服务器上,这样即使有其中一台服务器出现故障,其他服务器依然可以继续提供服务。当然Redis提供了多种高可用方案包括:主从复制、哨兵模式的主从复制、以及集群。 本...

  • 深入理解卷积神经网络工作原理

    卷积神经网络的核心思想就是设计多个卷积层,卷积层里设计一系列卷积核,输入数据经过卷积层中的卷积核处理,一层层向前推进得到最终的输出数据,这个过程我们称为数据的特征提取。 卷积核 从上面的概述知道,卷积核是卷积神经网络的核心,这也是它为什么叫卷积神经网络的原因。那么要理解卷积神经网络的原理,就必须理解卷积核,而要理解卷积核,要从图像处理开始理解。 上图可以大致表示图像处理的原理:利用一定大小的...

  • 怎样学习Python

    在了解了Python的优势、应用、就业前景以及其不可替代的价值之后,相信大家都会有学习python的冲动。那应该如何学习Python呢?买一本书、找一套视频、报名一个培训班?从理论上来讲,无论选择哪种学习方式,都可以掌握Python语言,但实际情况而言,总会因为某些原因导致自己的学习计划搁浅。所以在这里整理本片文章,希望本文能为大家的学习节约更多的时间成本。 1、找到自己学习Python的初...

  • 工作流学习2(书本)

    1、流程引擎的创建。 1.1、ProcessEngineConfiguration的buildProcessEngine方法 使用ProcessEngineConfiguration的create方法可以得到ProcessEngineConfiguration的实例。ProcessEngineConfiguration中提供了一个buildProcessEngine方法,该方法返回一个Pro...

华为云40多款云服务产品0元试用活动

免费套餐,马上领取!
CSDN

CSDN

中国开发者社区CSDN (Chinese Software Developer Network) 创立于1999年,致力为中国开发者提供知识传播、在线学习、职业发展等全生命周期服务。