神经网络模型的分类
人工神经网络的模型很多，可以按照不同的方法进行分类。其中，常见的两种分类方法是，按照网络连接的拓朴结构分类和按照网络内部的信息流向分类。
1 按照网络拓朴结构分类
网络的拓朴结构，即神经元之间的连接方式。按此划分，可将神经网络结构分为两大类：层次型结构和互联型结构。
层次型结构的神经网络将神经元按功能和顺序的不同分为输出层、中间层（隐层）、输出层。输出层各神经元负责接收来自外界的输入信息，并传给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换。根据需要可设计为一层或多层；最后一个隐层将信息传递给输出层神经元经进一步处理后向外界输出信息处理结果。
而互连型网络结构中，任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的连接程度将互连型网络细分为三种情况：全互连型、局部互连型和稀疏连接型
2 按照网络信息流向分类
从神经网络内部信息传递方向来看，可以分为两种类型：前馈型网络和反馈型网络。
单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。
反馈型网络的结构与单层全互连结构网络相同。在反馈型网络中的所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。
Ⅱ 机器学习中L1正则化和L2正则化的区别是什么
L1正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0；
L2正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小
L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓‘惩罚’是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1即为L1正则化项。
Ⅲ 什么是全连接神经网络，怎么理解“全连接”
1、全连接神经网络解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。
2、全连接的神经网络示意图：
3、“全连接”是一种不错的模式，但是网络很大的时候，训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接，这样训练时计算量大大减小。
Ⅳ 深度学习为什么不过拟合
深度学习:过拟合
为了得到一致假设而使假设变得过度复杂称为过拟合。想象某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别。
标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。 —-《Machine Learning》Tom M.Mitchell
假设我们用深度学习来判断西瓜，过拟合会使得你判断西瓜更加严厉，导致在某些西瓜数据上与你准备的数据有些出入（差别并不会太大），从而结果判定不是西瓜。。。
-----------------
深度学习防止过拟合的方法
过拟合即在训练误差很小,而泛化误差很大,因为模型可能过于的复杂,使其”记住”了训练样本,然而其泛化误差却很高,在传统的机器学习方法中有很大防止过拟合的方法,同样这些方法很多也适合用于深度学习中,同时深度学习中又有一些独特的防止过拟合的方法,下面对其进行简单的梳理.
1. 参数范数惩罚
范数正则化是一种非常普遍的方法,也是最常用的方法,假如优化:
minObj(θ)=L(y,f(x))+αG(θ)
其中L为经验风险,其为在训练样本上的误差,而G为对参数的惩罚,也叫结构风险.α是平衡两者,如果太大则对应的惩罚越大,如过太小,甚至接近与0,则没有惩罚.
最常用的范数惩罚为L1,L2正则化,L1又被成为Lasso:
||w||1=|w1|+|w2|+...
即绝对值相加,其趋向于是一些参数为0.可以起到特征选择的作用.
L2正则化为:
||w||2=w12+w22+...−−−−−−−−−−−−√
其趋向与,使权重很小.其又成为ridge.
关于更多可以参考:机器学习中的范数规则化之（一）L0、L1与L2范数
2. 数据增强
让模型泛化的能力更好的最好办法就是使用更多的训练数据进行训练,但是在实践中,我们拥有的数据是有限的,解决这一问题可以人为的创造一些假数据添加到训练集中.
一个具体的例子:
在AlexNet中,将256*256图像随机的截取224*224大小,增加了许多的训练样本,同时可以对图像进行左右翻转,增加样本的个数,实验的结果可以可降低1%的误差.
在神经网络中输入噪声也可以看做是数据增强的一种方式.
3. 提前终止
如下图所示(图片来源deep learning),当随着模型的能力提升,训练集的误差会先减小再增大,这样可以提前终止算法减缓过拟合现象.关于算法的具体流程参考deep learning.
提前终止是一种很常用的缓解过拟合的方法,如在决策树的先剪枝的算法,提前终止算法,使得树的深度降低,防止其过拟合.
4. 参数绑定与参数共享
在卷积神经网络CNN中(计算机视觉与卷积神经网络 ),卷积层就是其中权值共享的方式,一个卷积核通过在图像上滑动从而实现共享参数,大幅度减少参数的个数,用卷积的形式是合理的,因为对于一副猫的图片来说,右移一个像素同样还是猫,其具有局部的特征.这是一种很好的缓解过拟合现象的方法.
同样在RNN中用到的参数共享,在其整条时间链上可以进行参数的共享,这样才使得其能够被训练.
5. bagging 和其他集成方法
其实bagging的方法是可以起到正则化的作用,因为正则化就是要减少泛化误差,而bagging的方法可以组合多个模型起到减少泛化误差的作用.
在深度学习中同样可以使用此方法,但是其会增加计算和存储的成本.
6. Dropout
Dropout提供了一种廉价的Bagging集成近似,能够训练和评估指数级数量的神经网络。dropout可以随机的让一部分神经元失活,这样仿佛是bagging的采样过程,因此可以看做是bagging的廉价的实现.
但是它们训练不太一样,因为bagging,所有的模型都是独立的,而dropout下所有模型的参数是共享的.
通常可以这样理解dropout:假设我们要判别一只猫,有一个神经元说看到有毛就是猫,但是如果我让这个神经元失活,它还能判断出来是猫的话,这样就比较具有泛化的能力,减轻了过拟合的风险.
7. 辅助分类节点(auxiliary classifiers)
在Google Inception V1中,采用了辅助分类节点的策略,即将中间某一层的输出用作分类,并按一个较小的权重加到最终的分类结果中,这样相当于做了模型的融合,同时给网络增加了反向传播的梯度信号,提供了额外的正则化的思想.
8. Batch Normalization
在Google Inception V2中所采用,是一种非常有用的正则化方法,可以让大型的卷积网络训练速度加快很多倍,同事收敛后分类的准确率也可以大幅度的提高.
BN在训练某层时,会对每一个mini-batch数据进行标准化(normalization)处理,使输出规范到N(0,1)的正太分布,减少了Internal convariate shift(内部神经元分布的改变),传统的深度神经网络在训练是,每一层的输入的分布都在改变,因此训练困难,只能选择用一个很小的学习速率,但是每一层用了BN后,可以有效的解决这个问题,学习速率可以增大很多倍.
未完待续…
参考资料:
deep learning
tensorflow实战
机器学习中的范数规则化之（一）L0、L1与L2范数
Ⅳ 深度学习入门课程笔记 神经网络
深度学习入门课程笔记 神经网络
神经网络：
首先咱们先来回顾一下之前课程所讲前向传播和反向传播知识点，前往传播就是从输入X到最终得到LOSS值的过程，反向传播是从最终的LOSS值经过梯度的传播最终计算出权重矩阵W中所有参数对于最终的LOSS值影响大小，更新参数就是通过不同权重参数对终LOSS值的影响来调节参数，使得咱们的参数矩阵W能够更拟合咱们的数据，也就是使得最终的LOSS值能够降低。这一系列的过程就是相当于完成了一次迭代
神经网络本质
下面咱们就来看看神经网络跟传统的线性分类到底有什么区别，从公式中我们可以看出，一个最明显的区别就是神经网络函数多了一个MAX（）计算也就是说我们咱们现在的函数公式变成了一个非线性的操作，也正是这种非线性的函数使得神经网络相比于传统的线性分类更强大，因为非线性可以使得咱们的函数去拟合更复杂的数据。
神经网络结构
接下来咱们就来看一下神经网络的结构，从途中可以看出，神经网络是一个层次的结构
输入层也就是代表着数据源
隐层这个大家理解起来可能有些费劲，咱们可以把隐层当成是中间层也就是在这里对输入数据进行了非线性的变换
激活函数它是跟隐层在一起的，比如这个MAX（）函数就是一个激活函数，正是因为激活函数的存在才使得整个神经网络呈现出一种非线性的模式。
输出层这个就是最终得到的结果了，比如一个分类任务，最终的输出就是每个类别的概率值了
我们可以看到对应于多层的网络也就是有多个隐层，相当于咱们又加了一层非线性函数MAX（），这个理解起来很简单了吧，对于深层网络来说，它具有更好的非线性也就是说网络的层数越深就更能够去拟合更复杂的数据。
生物学上的结构
看过很多讲解都提高了把神经网络和人类的脑结构相对比，我觉得这有些增加了游戏难度，因为很多同学本身对生物学结构就不是很清楚，又搞了这多名词出来，理解起来好像更费劲了，这里咱们就不说生物学结构了，直接看右半部分，和之前的线性分类最大的区别就是我们多了一个activation function也就是咱们刚才所说的激活函数，可以说正是激活函数的存在使得整个神经网络变得强大起来。
神经元
那么神经网络能表达多复杂的数据信息是由什么决定的呢？这个例子给了咱们很好的解释，神经网络是表达能力是由神经元的个数，也就是每一个隐层所函数神经元的个数来决定的，神经元越多，层数越深表达的能力也就越强，理论上我们认为神经元越多越好！
防止过拟合
咱们刚才说了神经网络具有很强的表达能力，但是也很危险的，就是说神经网络很容易发成过拟合现象，因为咱们有大量的神经元也就是导致了我们需要的参数是极其多的，那么该怎么办呢？最直接的方法就是加上正则化项，它可以使得咱们的神经网络不至于过拟合很严重也是咱们训练神经网络必做的一项，图中显示了正则化的作用！
Ⅵ 神经网络算法的三大类分别是
神经网络算法的三大类分别是：
1、前馈神经网络：
这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。
2、循环网络：
循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。
循环网络的目的是用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。
循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
3、对称连接网络：
对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。
这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。
(6)四层神经网络全连接带L2正则化扩展阅读：
应用及发展：
心理学家和认知科学家研究神经网络的目的在于探索人脑加工、储存和搜索信息的机制，弄清人脑功能的机理，建立人类认知过程的微结构理论。
生物学、医学、脑科学专家试图通过神经网络的研究推动脑科学向定量、精确和理论化体系发展，同时也寄希望于临床医学的新突破；信息处理和计算机科学家研究这一问题的目的在于寻求新的途径以解决不能解决或解决起来有极大困难的大量问题，构造更加逼近人脑功能的新一代计算机。
Ⅶ 深度学习 l2正则化是逐层加还是最后一起加
“深度学习”和“多层神经网络”不存在区别关系。
深度学习的网络结构是多层神经网络的一种。深度学习中最着名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。
广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而深度学习中最着名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。 输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- . -- 隐藏层 -输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。深度学习做的步骤是 信号->特征->值。 特征是由网络自己选择。
需要使用深度学习解决的问题有以下的特征：
深度不足会出现问题。
人脑具有一个深度结构。
认知过程逐层进行，逐步抽象。
深度学习的核心思想：
把学习结构看作一个网络，则深度学习的核心思路如下：
①无监督学习用于每一层网络的pre-train；
②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；
③用自顶而下的监督算法去调整所有层
Ⅷ 如何给某一层添加L2正则化
tf.nn.l2_loss()和tf.contrib.layers.l2_regularizer()，使用示例如下：
import tensorflow as tf
weights = tf.constant([[1,2,3], [4,5,6]], dtype=tf.float32)
sess = tf.InteractiveSession()
# 计算的是所有元素的平方和再除以2
print(tf.nn.l2_loss(weights).eval())
# 等价于
print(tf.contrib.layers.l2_regularizer(1.)(weights).eval())
# output: 45.5
接下来将介绍两种方法将l2正则化项添加到损失函数后：
一、遍历trainable variables添加L2正则化项：
1.遍历可训练参数，将每个参数传入tf.nn.l2_loss()进行计算并相加起来；
2.乘以weight_decay并与base_loss相加。
weight_decay = 0.001
base_loss = tf.rece_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=logits))
l2_loss = weight_decay * tf.add_n([tf.nn.l2_loss(tf.cast(v, tf.float32)) for v in tf.trainable_variables()])
loss = base_loss + l2_loss
注意：该过程对每个trainable variable都进行了l2正则化，包括权值w和偏置b。有种说法是如果对偏执b进行l2正则化将会导致欠拟合，一般只需要对权值w进行正则化，所以来看第二种方法。
二、在构造网络层时传入l2正则化函数：
如下所示，在构造网络层时，将'kernel_initializer'参数设为l2正则化函数，则tensorflow会将该权重变量（卷积核）的l2正则化项加入到集合 tf.GraphKeys.REGULARIZATOIN_LOSSES里。
x = tf.layers.conv2d(x, 512, (3, 3),
padding='same',
activation=tf.nn.relu,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
kernel_regularizer=tf.contrib.layers.l2_regularizer(0.001)
在计算loss时使用tf.get_collection()来获取tf.GraphKeys.REGULARIZATOIN_LOSSES集合，然后相加即可：
base_loss = tf.rece_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=logits))
l2_loss = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
loss = tf.add_n([base_loss] + l2_loss, name="loss")
欢迎补充指正。
Ⅸ 神经网络（深度学习）的几个基础概念
从广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而深度学习中最着名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。深度学习做的步骤是 信号->特征->值。 特征是由网络自己选择。