1. 简要说明前馈神经网络的BP算法学习过程，并指出其具有什么缺点及其原因
计算步骤
1.确定最大误差和最大学习次数。
2.计算当前输入下的输出。
3.判断输出误差是否满足要求，满足则退出，不满足则开始学习。
4.计算广义误差，连接权系数更新。
6.次数加1，继续迭代计算直到满足要求。
缺点：
1.计算速度慢（计算量大，学习算法不成熟，不同的算法针对不同的问题收敛才快些）
2.输入信号与训练信号相差加大时，可能导致结果完全错误（不同的区域可能有不同的极值）
2. 什么是全连接神经网络，怎么理解“全连接”
1、全连接神经网络解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。
2、全连接的神经网络示意图：
3、“全连接”是一种不错的模式，但是网络很大的时候，训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接，这样训练时计算量大大减小。
3. RBF神经网络的缺点！
1.RBF 的泛化能力在多个方面都优于BP 网络, 但是在解决具有相同精度要求的问题时, BP网络的结构要比RBF 网络简单。2. RBF 网络的逼近精度要明显高于BP 网络,它几乎能实现完全逼近, 而且设计起来极其方便, 网络可以自动增加神经元直到满足精度要求为止。但是在训练样本增多时, RBF 网络的隐层神经元数远远高于前者, 使得RBF 网络的复杂度大增加, 结构过于庞大, 从而运算量也有所增加。3. RBF神经网络是一种性能优良的前馈型神经网络，RBF网络可以任意精度逼近任意的非线性函数，且具有全局逼近能力，从根本上解决了BP网络的局部最优问题，而且拓扑结构紧凑，结构参数可实现分离学习，收敛速度快。4. 他们的结构是完全不一样的。BP是通过不断的调整神经元的权值来逼近最小误差的。其方法一般是梯度下降。RBF是一种前馈型的神经网络，也就是说他不是通过不停的调整权值来逼近最小误差的，的激励函数是一般是高斯函数和BP的S型函数不一样，高斯函数是通过对输入与函数中心点的距离来算权重的。5. bp神经网络学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的。而rbf神经网络是种高效的前馈式网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。
4. 前馈神经网络、BP神经网络、卷积神经网络的区别与联系
一、计算方法不同
1、前馈神经网络：一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。
2、BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。
3、卷积神经网络：包含卷积计算且具有深度结构的前馈神经网络。
二、用途不同
1、前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。
2、BP神经网络：
（1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数；
（2）模式识别：用一个待定的输出向量将它与输入向量联系起来；
（3）分类：把输入向量所定义的合适方式进行分类；
（4）数据压缩：减少输出向量维数以便于传输或存储。
3、卷积神经网络：可应用于图像识别、物体识别等计算机视觉、自然语言处理、物理学和遥感科学等领域。
联系：
BP神经网络和卷积神经网络都属于前馈神经网络，三者都属于人工神经网络。因此，三者原理和结构相同。
三、作用不同
1、前馈神经网络：结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。
2、BP神经网络：具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。
3、卷积神经网络：具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
(4)全连接前馈神经网络有什么缺点扩展阅读：
1、BP神经网络优劣势
BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。
①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。
②容易陷入局部极小值。
③网络层数、神经元个数的选择没有相应的理论指导。
④网络推广能力有限。
2、人工神经网络的特点和优越性，主要表现在以下三个方面
①具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、效益预测，其应用前途是很远大的。
②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。
③具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
5. 为什么全连接神经网络在图像识别中不如卷积神经网络
输入数据是n*n的像素矩阵，再使用全连接神经网络，那么参数的个数会是指数级的增长，需要训练的数据太多。
而CNN的话，可以通过共享同一个参数，来提取特定方向上的特征，所以训练量将比全连接神经网络小了很多。
6. 神经网络优缺点，
首先来看一下神经网络的缺点：
1. 黑盒子
神经网络最可能被人知晓的缺点是它们的“黑盒子”性质（也就是说你不知道神经网络是如何以及为什么会产生一定的输出）。例如，当你将一张猫的图像放入神经网络，预测结果显示它是一辆汽车时，这让人很难理解。而在某些领域，可解释性非常重要。
很多银行之所以不使用神经网络来预测一个人是否有信誉，是因为他们需要向客户解释为什么他们没有获得贷款。像Quora这样的网站也是如此。如果他们因为机器学习算法而决定删除用户账户，他们需要向用户解释为什么这样做。
如果将机器学习运用与重要的商业决策时，你能想象一个大公司的首席执行官会在不明白为什么应该完成的情况下做出数百万美元的决定吗？仅仅因为“计算机”说他需要这样做？
2. 发展的可持续时间
虽然有像Keras这样的库，让神经网络的开发变得相当简单，但有时您需要更多地控制算法的细节。您可能还会使用到Tensorflow，但是由于它相对复杂，开发需要的时间也更长。对于公司管理层来说，如果用简单的算法就可以更快地解决问题，则让他们花高昂的费用和较长的时间去开发一些东西，显然是不合适的。
3. 数据量
与传统的机器学习算法相比，神经网络通常需要更多的数据，至少需要数千数百万个标记样本。而如果使用其它算法，许多机器学习问题可以用较少的数据很好地解决。
虽然在某些情况下，神经网络需要处理少量数据（大多数情况下它们不需要）。而像朴素贝叶斯这样的简单算法也可以很好地处理少数数据。
4. 计算代价高昂
通常，神经网络比传统算法的计算代价更高。对于最先进的深度学习算法，完成深度神经网络从头到尾的完整训练，可能需要几周的时间。而大多数传统的机器学习算法则只需要少于几分钟到几个小时或几天的时间即可。
神经网络所需的计算能力很大程度上取决于数据的大小，同时也取决于网络的深度和复杂程度。
然后就是神经网络的优点：
ANN 有能力学习和构建非线性的复杂关系的模型，这非常重要，因为在现实生活中，许多输入和输出之间的关系是非线性的、复杂的。
ANN 可以推广，在从初始化输入及其关系学习之后，它也可以推断出从未知数据之间的未知关系，从而使得模型能够推广并且预测未知数据。
与许多其他预测技术不同，ANN 不会对输入变量施加任何限制（例如：如何分布）。此外，许多研究表明，ANN 可以更好地模拟异方差性，即具有高波动性和不稳定方差的数据，因为它具有学习数据中隐藏关系的能力，而不在数据中强加任何固定关系。这在数据波动非常大的金融时间序列预测中非常有用。
神经网络的发展主要为：启蒙时期（1890-1969），低潮时期（1969-1982），复兴时期（1982-1986），新时期（1986至今）
7. CNN、RNN、DNN的内部网络结构有什么区别
从广义上来说，NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。但是就题主的意思来看，这里的DNN应该特指全连接的神经元结构，并不包含卷积单元或是时间上的关联。
因此，题主一定要将DNN、CNN、RNN等进行对比，也未尝不可。其实，如果我们顺着神经网络技术发展的脉络，就很容易弄清这几种网络结构发明的初衷，和他们之间本质的区别。神经网络技术起源于上世纪五、六十年代，当时叫感知机(perceptron)，拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。
早期感知机的推动者是Rosenblatt。(扯一个不相关的：由于计算技术的落后，当时感知器传输函数是用线拉动变阻器改变电阻的方法机械实现的，脑补一下科学家们扯着密密麻麻的导线的样子…)但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力(比如最为典型的“异或”操作)。
连异或都不能拟合，你还能指望这货有什么实际用途么。随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人(反正就是一票大牛)发明的多层感知机(multilayer perceptron)克服。多层感知机，顾名思义，就是有多个隐含层的感知机。
神经网络模型的分类
人工神经网络的模型很多，可以按照不同的方法进行分类。其中，常见的两种分类方法是，按照网络连接的拓朴结构分类和按照网络内部的信息流向分类。
1 按照网络拓朴结构分类
网络的拓朴结构，即神经元之间的连接方式。按此划分，可将神经网络结构分为两大类：层次型结构和互联型结构。
层次型结构的神经网络将神经元按功能和顺序的不同分为输出层、中间层（隐层）、输出层。输出层各神经元负责接收来自外界的输入信息，并传给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换。根据需要可设计为一层或多层；最后一个隐层将信息传递给输出层神经元经进一步处理后向外界输出信息处理结果。
而互连型网络结构中，任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的连接程度将互连型网络细分为三种情况：全互连型、局部互连型和稀疏连接型
2 按照网络信息流向分类
从神经网络内部信息传递方向来看，可以分为两种类型：前馈型网络和反馈型网络。
单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。
反馈型网络的结构与单层全互连结构网络相同。在反馈型网络中的所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。