‘壹’ bp神经网络的缺点
1)局部极小化问题：从数学角度看，传统的BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。加上BP神经网络对初始网络权重非常敏感，以不同的权重初始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。
2)BP神经网络算法的收敛速度慢：由于BP神经网络算法本质上为梯度下降法，它所要优化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得BP算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿。
3)BP神经网络结构选择不一：BP神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响银盯网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。
4)应用实例与网络规模的矛盾问题：BP神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及兆搏帆到网络容量的可能性与可行性的关系问题，即学习复杂性问题。
5)BP神经网族雹络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下，训练能力差时，预测能力也差。
‘贰’ 深度神经网络（DNN）有哪些的弱点或明显的问题
简单来说，卷积神经裤段逗网络和循环神经网络都是深度学习的重要框架。区别在哪里呢？区别就在循环层上。卷积神经网络没有时序性的概念，输入直接和胡卖输出挂钩；循环神经网络具有时序性，当前决策跟前一次决策有关。举个例子燃桥，进行手写数字识别的时候，我们并不在意前一个决策结果是什么，需要用卷积神经网络；而自然语言生成时，上一个词很大程度影响了下一个词，需要用循环神经网络。
‘叁’ 网络安全防范措施有哪些
大面积的部署国产信息化网络安全管理设备，如UniAccess终端安全管理、UniNAC网络准入控制、UniBDP数据防泄露这类网络安全管理监控系统，也成了重中之重的一件事。用这类管理系统，对各个终端的安全状态，对重要级敏感数据的访问行为、传播进行有效监控，及时发现违反安全策略的事件并实时告警、记录、进行安全事件定位分析，准确掌握网络系统的安全状态，为我们的网络安全起着保驾护航的作用。
‘肆’ 神经网络优缺点，
优点：
（1）具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。
自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。
（2）具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。
（3）具有高速寻找优化解的能力。寻找一个复杂问题的优化解厅山，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
缺点：
（1）最严重的问题是没能力来解释自己的推理过程和推理依据。
（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。
（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结升凯果势必是丢失信息。
（4）理论和学习算法还有待于进一步完善和提高。
(4)神经网络安全面临的问题扩展阅读：
神经网络发展趋势
人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。
人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。
将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。
神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。
由吵伏唤于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。
参考资料：网络-人工神经网络
‘伍’ 人工智能时代，神经网络的原理及使用方法 | 微课堂
人工智能时代已经悄然来临，在计算机技术高速发展的未来，机器是否能代替人脑？也许有些读者会说，永远不可能，因为人脑的思考包含感性逻辑。事实上，神经网络算法正是在模仿人脑的思考方式。想不想知道神经网络是如何“思考”的呢？下面我向大家简单介绍一下神经网络的原理及使用方法。
所谓人工智能，就是让机器具备人的思维和意识。人工智能主要有三个学派——行为主义、符号主义和连接主义。
行为主义是基于控制论，是在构建感知动作的控制系统。理解行为主义有个很好的例子，就是让机器人单脚站立，通过感知要摔倒的方向控制两只手的动作，保持身体的平衡，这就构建了一个感知动作控制系统。
符号主义是基于算数逻辑和表达式。求解问题时，先把问题描述为表达式，再求解表达式。如果你在求解某个问题时，可以用if case这样的条件语句，和若干计算公式描述出来，这就使用了符号主义的方法，比如“专家系统”。符号主义可以认为是用公式描述的人工智能，它让计算机具备了理性思维。但是人类不仅具备理性思维，还具备无法用公式描述的感性思维。比如，如果你看过这篇推送，下回再见到“符号主义”几个字，你会觉得眼熟，会想到这是人工智能相关的知识，这是人的直觉，是感性的。
连接主义就是在模拟人的这种感性思维，是在仿造人脑内的神经元连接关系。这张图给出了人脑中的一根神经元，左侧是神经元的输入，“轴突”部分是神经元的输出。人脑就是由860亿个这样的神经元首尾相接组成的网络。
神经网络可以让计算机具备感性思维。我们首先理解一下基于连接主义的神经网络设计过程。这张图给出了人类从出生到24个月神经网络的变化：
随着我们的成长，大量的数据通过视觉、听觉涌入大脑，使我们的神经网络连接，也就是这些神经元连线上的权重发生了变化，有些线上的权重增强了，有些线上的权重减弱了。
我们要用计算机仿出这些神经网络连接关系，让计算机具备感性思维。
首先需要准备数据，数据量越大越好，以构成特征和标签对。如果想识别猫，就要有大量猫的图片和这张图片是猫的标签构成特征标签对，然后搭建神经网络的网络结构，再通过反向传播优化连接的权重，直到模型的识别准确率达到要求，得到最优的连线权重，把这个模型保存起来。最后用保存的模型输入从未见过的新数据，它会通过前向传播输出概率值，概率值最大的一个就是分类和预测的结果。
我们举个例子来感受一下神经网络的设计过程。鸢尾花可以分为三类：狗尾鸢尾、杂色鸢尾和佛吉尼亚鸢尾。我们拿出一张图，需要让计算机判断这是哪类鸢尾花。人们通过经验总结出了规律：通过测量花的花萼长、花萼宽、花瓣长、花瓣宽分辨出鸢尾花的类别，比如花萼长>花萼宽，并且花瓣长/花瓣宽>2，则可以判定为这是第一种，杂色鸢尾。看到这里，也许有些读者已经想到用if、case这样的条件语句来实现鸢尾花的分类。没错，条件语句根据这些信息可以判断鸢尾花分类，这是一个非常典型的专家系统，这个过程是理性计算。只要有了这些数据，就可以通过条件判定公式计算出是哪类鸢尾花。但是我们发现鸢尾花的种植者在识别鸢尾花的时候并不需要这么理性的计算，因为他们见识了太多的鸢尾花，一看就知道是哪种，而且随着经验的增加，识别的准确率会提高。这就是直觉，是感性思维，也是我们这篇文章想要和大家分享的神经网络方法。
这种神经网络设计过程首先需要采集大量的花萼长、花萼宽、花瓣长、花瓣宽，和它们所对应的是哪种鸢尾花。花萼长、花萼宽、花瓣长、花瓣宽叫做输入特征，它们对应的分类叫做标签。大量的输入特征和标签对构建出数据集，再把这个数据集喂入搭建好的神经网络结构，网络通过反向传播优化参数，得到模型。当有新的、从未见过的输入特征，送入神经网络时，神经网络会输出识别的结果。
展望21世纪初，在近十年神经网络理论研究趋向的背景下，神经网络理论的主要前沿领域包括：
一、对智能和机器关系问题的认识进一步增长。
研究人类智力一直是科学发展中最有意义，也是空前困难的挑战性问题。人脑是我们所知道的唯一智能系统，具有感知识别、学习、联想、记忆、推理等智能。我们通过不断 探索 人类智能的本质以及联结机制，并用人工系统复现或部分复现，制造各种智能机器，这样可使人类有更多的时间和机会从事更为复杂、更富创造性的工作。
神经网络是由大量处理单元组成的非线性、自适应、自组织系统，是在现代神经科学研究成果的基础上提出的，试图模拟神经网络加工、记忆信息的方式，设计一种新的机器，使之具有人脑风格的信息处理能力。智能理论所面对的课题来自“环境——问题——目的”，有极大的诱惑力与压力，它的发展方向将是把基于连接主义的神经网络理论、基于符号主义的人工智能专家系统理论和基于进化论的人工生命这三大研究领域，在共同追求的总目标下，自发而有机地结合起来。
二、神经计算和进化计算的重大发展。
计算和算法是人类自古以来十分重视的研究领域，本世纪30年代，符号逻辑方面的研究非常活跃。近年来，神经计算和进化计算领域很活跃，有新的发展动向，在从系统层次向细胞层次转化里，正在建立数学理论基础。随着人们不断 探索 新的计算和算法，将推动计算理论向计算智能化方向发展，在21世纪人类将全面进入信息 社会 ，对信息的获取、处理和传输问题，对网络路由优化问题，对数据安全和保密问题等等将有新的要求，这些将成为 社会 运行的首要任务。因此，神经计算和进化计算与高速信息网络理论联系将更加密切，并在计算机网络领域中发挥巨大的作用，例如大范围计算机网络的自组织功能实现就要进行进化计算。
人类的思维方式正在转变，从线性思维转到非线性思维神经元，神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性。我们在计算智能的层次上研究非线性动力系统、混沌神经网络以及对神经网络的数理研究，进一步研究自适应性子波、非线性神经场的兴奋模式、神经集团的宏观力学等。因为，非线性问题的研究是神经网络理论发展的一个最大动力，也是它面临的最大挑战。
以上就是有关神经网络的相关内容，希望能为读者带来帮助。
以上内容由苏州空天信息研究院谢雨宏提供。
‘陆’ 神经网络浅谈
人工智能技术是当前炙手可热的话题，而基于神经网络的深度学习技术更是热点中的热点。去年谷歌的Alpha Go 以4:1大比分的优势战胜韩国的李世石九段，展现了深度学习的强大威力，后续强化版的Alpha Master和无师自通的Alpha Zero更是在表现上完全碾压前者。不论你怎么看，以深度学习为代表的人工智能技术正在塑造未来。
下图为英伟达（NVIDIA）公司近年来的股价情况， 该公司的主要产品是“图形处理器”（GPU），而GPU被证明能大大加快神经网络的训练速度，是深度学习必不可少的计算组件。英伟达公司近年来股价的飞涨足以证明当前深度学习的井喷之势。
好，话不多说，下面简要介绍神经网络的基本原理、发展脉络和优势。
神经网络是一种人类由于受到生物神经细胞结构启发而研究出的一种算法体系，是机器学习算法大类中的一种。首先让我们来看人脑神经元细胞：
一个神经元通常具有多个树突 ，主要用来接受传入信息，而轴突只有一条，轴突尾端有许多轴突末梢，可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。
下图是一个经典的神经网络（Artificial Neural Network,ANN）：
乍一看跟传统互联网的拓扑图有点类似，这也是称其为网络的原因，不同的是节点之间通过有向线段连接，并且节点被分成三层。我们称图中的圆圈为神经元，左边三个神经元组成的一列为输入层，中间神经元列为隐藏层,右边神经元列为输出层，神经元之间的箭头为权重。
神经元是计算单元，相当于神经元细胞的细胞核，利用输入的数据进行计算，然后输出，一般由一个线性计算部分和一个非线性计算部分组成；输入层和输出层实现数据的输入输出，相当于细胞的树突和轴突末梢；隐藏层指既不是输入也不是输出的神经元层，一个神经网络可以有很多个隐藏层。
神经网络的关键不是圆圈代表的神经元，而是每条连接线对应的权重。每条连接线对应一个权重，也就是一个参数。权重具体的值需要通过神经网络的训练才能获得。我们实际生活中的学习体现在大脑中就是一系列神经网络回路的建立与强化，多次重复的学习能让回路变得更加粗壮，使得信号的传递速度加快，最后对外表现为“深刻”的记忆。人工神经网络的训练也借鉴于此，如果某种映射关系出现很多次，那么在训练过程中就相应调高其权重。
1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP：
符号化后的模型如下：
Sum函数计算各权重与输入乘积的线性组合，是神经元中的线性计算部分，而sgn是取符号函数，当输入大于0时，输出1，反之输出0，是神经元中的非线性部分。向量化后的公式为z=sgn(w^T a)（w^T=(w_1,w_2,w_3)，a=〖(a_1,a_2,a_3)〗^T）。
但是，MP模型中，权重的值都是预先设置的，因此不能学习。该模型虽然简单，并且作用有限，但已经建立了神经网络大厦的地基
1958年，计算科学家Rosenblatt提出了由两层神经元组成(一个输入层，一个输出层)的神经网络。他给它起了一个名字–“感知器”（Perceptron）
感知器是当时首个可以学习的人工神经网络。Rosenblatt现场演示了其学习识别简单图像的过程，在当时引起了轰动，掀起了第一波神经网络的研究热潮。
但感知器只能做简单的线性分类任务。1969年，人工智能领域的巨擘Minsky指出这点，并同时指出感知器对XOR（异或，即两个输入相同时输出0，不同时输出1）这样的简单逻辑都无法解决。所以，明斯基认为神经网络是没有价值的。
随后，神经网络的研究进入低谷，又称 AI Winter 。
Minsky说过单层神经网络无法解决异或问题，但是当增加一个计算层以后，两层神经网络不仅可以解决异或问题，而且具有非常好的非线性分类效果。
下图为两层神经网络（输入层一般不算在内）：
上图中，输出层的输入是上一层的输出。
向量化后的公式为：
注意：
每个神经元节点默认都有偏置变量b，加上偏置变量后的计算公式为：
同时，两层神经网络不再使用sgn函数作为激励函数，而采用平滑的sigmoid函数：
σ(z)=1/(1+e^(-z) )
其图像如下：
理论证明： 两层及以上的神经网络可以无限逼近真实的对应函数，从而模拟数据之间的真实关系 ，这是神经网络强大预测能力的根本。但两层神经网络的计算量太大，当时的计算机的计算能力完全跟不上，直到1986年，Rumelhar和Hinton等人提出了反向传播（Backpropagation，BP）算法，解决了两层神经网络所需要的复杂计算量问题，带动了业界使用两层神经网络研究的热潮。
但好景不长，算法的改进仅使得神经网络风光了几年，然而计算能力不够，局部最优解，调参等一系列问题一直困扰研究人员。90年代中期，由Vapnik等人发明的SVM（Support Vector Machines，支持向量机）算法诞生，很快就在若干个方面体现出了对比神经网络的优势：无需调参；高效；全局最优解。
由于以上原因，SVM迅速打败了神经网络算法成为主流。神经网络的研究再一次进入低谷， AI Winter again 。
多层神经网络一般指两层或两层以上的神经网络（不包括输入层），更多情况下指两层以上的神经网络。
2006年，Hinton提出使用 预训练 ”（pre-training）和“微调”(fine-tuning)技术能优化神经网络训练，大幅度减少训练多层神经网络的时间
并且，他给多层神经网络相关的学习方法赋予了一个新名词–“ 深度学习 ”，以此为起点，“深度学习”纪元开始了：）
“深度学习”一方面指神经网络的比较“深”，也就是层数较多；另一方面也可以指神经网络能学到很多深层次的东西。研究发现，在权重参数不变的情况下，增加神经网络的层数，能增强神经网络的表达能力。
但深度学习究竟有多强大呢？没人知道。2012年，Hinton与他的学生在ImageNet竞赛中，用多层的卷积神经网络成功地对包含一千类别的一百万张图片进行了训练，取得了分类错误率15%的好成绩，这个成绩比第二名高了近11个百分点，充分证明了多层神经网络识别效果的优越性。
同时，科研人员发现GPU的大规模并行矩阵运算模式完美地契合神经网络训练的需要，在同等情况下，GPU的速度要比CPU快50-200倍，这使得神经网络的训练时间大大减少，最终再一次掀起了神经网络研究的热潮，并且一直持续到现在。
2016年基于深度学习的Alpha Go在围棋比赛中以4:1的大比分优势战胜了李世石，深度学习的威力再一次震惊了世界。
神经网络的发展历史曲折荡漾，既有被捧上神坛的高潮，也有无人问津的低谷，中间经历了数次大起大落，我们姑且称之为“三起三落”吧，其背后则是算法的改进和计算能力的持续发展。
下图展示了神经网络自发明以来的发展情况及一些重大时间节点。
当然，对于神经网络我们也要保持清醒的头脑。由上图，每次神经网络研究的兴盛期持续10年左右，从最近2012年算起，或许10年后的2022年，神经网络的发展将再次遇到瓶颈。
神经网络作为机器学习的一种，其模型训练的目的，就是使得参数尽可能的与真实的模型逼近。理论证明，两层及以上的神经网络可以无限逼近真实的映射函数。因此，给定足够的训练数据和训练时间，总能通过神经网络找到无限逼近真实关系的模型。
具体做法：首先给所有权重参数赋上随机值，然后使用这些随机生成的参数值，来预测训练数据中的样本。假设样本的预测目标为yp ，真实目标为y，定义值loss，计算公式如下：
loss = (yp -y) ^2
这个值称之为 损失 （loss），我们的目标就是使对所有训练数据的损失和尽可能的小，这就转化为求loss函数极值的问题。
一个常用方法是高等数学中的求导，但由于参数不止一个，求导后计算导数等于0的运算量很大，所以常用梯度下降算法来解决这样的优化问题。梯度是一个向量，由函数的各自变量的偏导数组成。
比如对二元函数 f =(x,y)，则梯度∇f=(∂f/∂x,∂f/∂y)。梯度的方向是函数值上升最快的方向。梯度下降算法每次计算参数在当前的梯度，然后让参数向着梯度的反方向前进一段距离，不断重复，直到梯度接近零时截止。一般这个时候，所有的参数恰好达到使损失函数达到一个最低值的状态。下图为梯度下降的大致运行过程：
在神经网络模型中，由于结构复杂，每次计算梯度的代价很大。因此还需要使用 反向传播 （Back Propagation）算法。反向传播算法利用了神经网络的结构进行计算，不一次计算所有参数的梯度，而是从后往前。首先计算输出层的梯度，然后是第二个参数矩阵的梯度，接着是中间层的梯度，再然后是第一个参数矩阵的梯度，最后是输入层的梯度。计算结束以后，所要的两个参数矩阵的梯度就都有了。当然，梯度下降只是其中一个优化算法，其他的还有牛顿法、RMSprop等。
确定loss函数的最小值后，我们就确定了整个神经网络的权重，完成神经网络的训练。
在神经网络中一样的参数数量，可以用更深的层次去表达。
由上图，不算上偏置参数的话，共有三层神经元，33个权重参数。
由下图，保持权重参数不变，但增加了两层神经元。
在多层神经网络中，每一层的输入是前一层的输出，相当于在前一层的基础上学习，更深层次的神经网络意味着更深入的表示特征，以及更强的函数模拟能力。更深入的表示特征可以这样理解，随着网络的层数增加，每一层对于前一层次的抽象表示更深入。
如上图，第一个隐藏层学习到“边缘”的特征，第二个隐藏层学习到“边缘”组成的“形状”的特征，第三个隐藏层学习到由“形状”组成的“图案”的特征，最后的隐藏层学习到由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。
前面提到， 明斯基认为Rosenblatt提出的感知器模型不能处理最简单的“异或”（XOR）非线性问题，所以神经网络的研究没有前途，但当增加一层神经元后，异或问题得到了很好地解决，原因何在？原来从输入层到隐藏层，数据发生了空间变换，坐标系发生了改变，因为矩阵运算本质上就是一种空间变换。
如下图，红色和蓝色的分界线是最终的分类结果，可以看到，该分界线是一条非常平滑的曲线。
但是，改变坐标系后，分界线却表现为直线，如下图：
同时，非线性激励函数的引入使得神经网络对非线性问题的表达能力大大加强。
对于传统的朴素贝叶斯、决策树、支持向量机SVM等分类器，提取特征是一个非常重要的前置工作。在正式训练之前，需要花费大量的时间在数据的清洗上，这样分类器才能清楚地知道数据的维度，要不然基于概率和空间距离的线性分类器是没办法进行工作的。然而在神经网络中，由于巨量的线性分类器的堆叠（并行和串行）以及卷积神经网络的使用，它对噪声的忍耐能力、对多通道数据上投射出来的不同特征偏向的敏感程度会自动重视或忽略，这样我们在处理的时候，就不需要使用太多的技巧用于数据的清洗了。有趣的是，业内大佬常感叹，“你可能知道SVM等机器学习的所有细节，但是效果并不好，而神经网络更像是一个黑盒，很难知道它究竟在做什么，但工作效果却很好”。
人类对机器学习的环节干预越少，就意味着距离人工智能的方向越近。神经网络的这个特性非常有吸引力。
1) 谷歌的TensorFlow开发了一个非常有意思的神经网络 入门教程 ，用户可以非常方便地在网页上更改神经网络的参数，并且能看到实时的学习效率和结果，非常适合初学者掌握神经网络的基本概念及神经网络的原理。网页截图如下：
2) 深度学习领域大佬吴恩达不久前发布的《 神经网络和深度学习 》MOOC，现在可以在网易云课堂上免费观看了，并且还有中文字幕。
3) 《神经网络于深度学习》（Michael Nielsen着）、《白话深度学习与TensorFlow》也是不错的入门书籍。
‘柒’ 30分钟讲清楚深度神经网络
这两年神经网络各种火。但对很多人而言，只是听着觉得各种高大上，究其本质，还是听不懂。下面我们花三十分钟把这个事情讲清楚。
神经网络算法是最早来源于某神经生理学家和某数学家联合发表的一篇论文，他们对人类神经运行规律的提出了一个猜想，并尝试给出一个建模来模拟人类神经元的运行规律。
神经网络一开始由于求解问题的不稳定，以及范围有限被抛弃。后面又在各个大神的努力下，对遇到的问题一个个解决，加上因为游戏带来的计算能力的提升获得了一个爆发式的增长。
下面我们讲讲神经网络是啥以及遇到的问题和探索出来的解决方案，最终我们给出一个深度神经网络的默认的最优配置项。
建立M个隐藏层，按顺序建立输入层跟隐藏层的联结，最后建立隐藏层跟输出层的联结。为每个隐藏层的每个节点选择激活函数。求解每个联结的权重和每个节点自带的bias值。参见下图。
所谓激活函数就是对各个路径的输入求和之后进一步增强的函数 。
典型的有如下几个：
下雀册慎面这个图里面，是已知的各个联结线的权值，求y1, y2
这个练习可以测试对神经网络的理解。
所谓神经网络问题的训练姿碧本质，就是已知 y1,y2....yn， 已知x1, x2....xm，求解每个连接的权值和每个神经元上的偏差值。对单层的激活函数为RELU的神经网络而言就是， y = max(sum(w * x)+b, 0)，已知y和x，求解w和b。
对于以上求解w和b的值，科学家们发现可顷敬以通过反向传播和梯度下降相结合来求解。就是一开始用随机数初始化我们每个联结的权值，然后通过神经网络计算出来的y值跟真实的y值做比对。如果这个值相差比较大，则修改当前层的联结的权重。当发现这个值相差不大时，则修改更低一层的权重。这个步骤一直重复，逐步传递到第一层的权值 。
三大问题：
针对这三个问题，大拿们开始了一场探索之旅。
神经网络的求解是通过反向传播的技术来解决的。通过梯度下降法。问题是，反向传播从输出层开始一步一步传到Layer 1时，越到低层，联结的权值变化越小，直到没变化。这种叫梯度消失。还有一些呢？则是越到第一层，变化越来越大。这种叫梯度爆炸。常见于RNN。
解决方案探索如下：
目前来说，通常用1+2 多于 3 多于 4。就是现在一般使用He initialization跟ReLU的演进版本作为作为激活函数来解决梯度消失和爆炸的问题，其次才使用Batch Normalization，最后使用Gradient Clipping。
通常来说，我们很难获得足够的标记好的训练数据。常用解决方案如下：
对于大规模数据的训练，很多时候速度很慢。除了解决梯度消失或爆炸的问题之外，还有使用AdamOptimizer替代GradientDescentOptimizer会大大加快收敛速度 。
我们后面会教大家用tensorflow构造出一个神经网络并求解。
‘捌’ 神经网络计算机的面临新问题
已取得重要的进展，但仍存在许多亟待解决的问题。如处理精确度不高，抗噪声颂败干扰能力差，光学互连的双极性和可编程问题以及系统的集成化和小型化问题等。这些问题直接关系到神经网络计算机的进一步发展、性能的完善及广泛的实用化。
神经码竖网络计算机 神经网络的整体性能与网络中的神经元数有密切关系。虽然光学互连的高度并行性在原则上提供了实现大规模神经网络的可能性，但随着神经元数目的增加，互连数将会按平方律增加。在系统尺寸一定的条件下，神经元数必然受
到空间带宽积、衍射和畸变的限制。因此大规模神经网络的实现将对光学设计、离轴光学、衍射野模颤光学、二元光学器件、集成光学器件以及计算机制全息器件提出更高的要求。 光学神经网络中的非线性操作目前仍采用电子学或计算机处理的方法。这就违背了神经网络的并行性要求。并行光学非线性运算的实现，要求有阈值可调、响应函数形式可调的非线性器件，这也是一个亟待解决的复杂问题。另外，随着光学神经网络研究的不断深入，对硬件的实用性要求也在不断提高。系统的集成化与小型化势在必行。这方面，光电混合集成芯片的研制成功是令人鼓舞的。由此可见，对于神经网络的实现来说，光学与电子学技术都各有其长处。充分发挥二者的优势，形成一个光电混合处理的硬件系统，将是未来神经网络计算机发展的重要趋势。
‘玖’ 神经网络的安全隐患：居然可以隐藏恶意软件
深度学习模型拥有数启脊以百万计甚至数十亿计的数值参数，因此可以做很多事情：检测照片中的物体、识别语音、生成文本，甚至隐藏恶意软件。恶意软件隐藏技术 EvilModel 研究人员证明可以将恶意软件隐藏在神经网络图像分类器中以绕过防御措施。这已成为机器学习和网络安全会议讨论的热门话题。
随着深度学习逐渐与我们的日常生活不可分离，安全社区开始思考如何采用新的手段，保护用户免受这类新兴威胁的困扰。
每个深度学习模型都是由多层人工神经元组成，根据层的类型，每个神经元与其上一层和下一层中的所有或部分神经元有所连接。根据深度学习模型在针对任务训练时使用的参数数值不同，神经空禅元间连接的强度也会不同，大型的神经网络甚至可以拥有数亿乃至数十亿的参数。
EvilModel 背后的主要思想是将恶意软件嵌入到神经网络的参数中，使其对恶意软件扫描仪不可见。这是隐写术的一种形式，将一条信息隐藏在另一条信息中的做法。
隐蔽地传递恶意软件和绕过对恶意软件的检测是恶意软件攻击活动来说是非常关键的。现阶段，神经网络模型的可解释性比较差，但具有较好的泛化能力。
通过将恶意软件嵌入到已经训练好的神经网络的神经元中，就可以在不影响神经网络的性能的情况下隐蔽地传输恶意软件。如果模型没有足够的神经元来嵌入恶意软件，攻击者还可以使用未经过训练的模型，因为未经训练的神经元网络有更多的神经元。然后，攻击者可以在用于原来模型相同的数据集来训练模型，这样最终模型就可以得到与原模型相同的性能。
为了验证 EvilModel 的可行性，研究人员在多个卷积神经网络（CNN）中进行了测试斗旁尘。CNN 是个很好的测试环境，首先，CNN 的体积都很大，通常会有几十层和数百万的参数；其次，CNN 包含各类架构，有不同类型的层（全连接层、卷积层）、不同的泛化技术（批归一化、弃权、池化等等），这些多样化让评估各类病毒嵌入设定变得可能；第三，CNN 通常用于计算机视觉类的应用，这些都是恶意因素的主要攻击对象；最后，很多经过预训练的 CNN 可以在不经任何改动的情况下直接集成到新的应用程序中，而多数在应用中使用预训练 CNN 的开发人员并不一定知道深度学习的具体应用原理。
研究中实验用的八个样本病毒都是可以被病毒扫描网站 识别为恶意软件的，一旦样本成功嵌入神经网络，研究人员将模型上传进行扫描。而病毒扫描结果却显示这些模型“安全”，意味着恶意软件的伪装并未暴露。
研究人员又在其他几个架构上进行了相同的测试，实验结果类似，恶意软件都未被成功检测。这些隐匿的恶意软件将会是所有大型神经网络都需要面对的威胁。
研究人员认为，随着人工智能技术的广泛应用，基于人工智能和神经网络的恶意软件等威胁和攻击将成为未来网络攻击的一个主流趋势，也是网络和信息安全威胁防护的新的挑战，意味着我们需要新的方法来应对安全威胁。
在研究人员找到更可靠的手段来检测并阻止深度学习网络中的恶意软件之前，我们必须确立机器学习管道中的信任链。既然病毒扫描和其他静态分析工具无法检测到受感染模型，开发者们必须确保他们所使用的模型是来自可信任的渠道，并且训练数据和学习参数未受到损害。
随着我们在深度学习安全问题方面更深一步的研究，我们也必须对那些用于分析图片或识别语音的、数量庞杂的数据背后所隐藏的东西保持警惕