❶ Hopfield 神经网络有哪几种训练方法
人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：
（1）前向网络 网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。
（2）反馈网络 网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。
学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。
根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。
研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。
❷ 请问如何实现不同神经网络层之间的连接
输出的数量取决于你的target怎么设置，比如你的输入是一个5行n列的数据，输出是一个4行n列的数据，你用这个数据初始化并且训练神经网络，得到的当然是5个输入值4个输出值的神经网络。
函数怎么写的话，去看matlab 帮助，搜索newff，你就能看到用法了。
❸ 神经网络算法原理
一共有四种算法及原理，如下所示：
1、自适应谐振理论（ART）网络
自适应谐振理论（ART）网络具有不同的方案。一个ART-1网络含有两层一个输入层和一个输出层。这两层完全互连，该连接沿着正向（自底向上）和反馈（自顶向下）两个方向进行。
2、学习矢量量化（LVQ）网络
学习矢量量化（LVQ）网络，它由三层神经元组成，即输入转换层、隐含层和输出层。该网络在输入层与隐含层之间为完全连接，而在隐含层与输出层之间为部分连接，每个输出神经元与隐含神经元的不同组相连接。
3、Kohonen网络
Kohonen网络或自组织特征映射网络含有两层，一个输入缓冲层用于接收输入模式，另一个为输出层，输出层的神经元一般按正则二维阵列排列，每个输出神经元连接至所有输入神经元。连接权值形成与已知输出神经元相连的参考矢量的分量。
4、Hopfield网络
Hopfield网络是一种典型的递归网络，这种网络通常只接受二进制输入（0或1）以及双极输入（+1或-1）。它含有一个单层神经元，每个神经元与所有其他神经元连接，形成递归结构。
(3)有效连接神经网络扩展阅读：
人工神经网络算法的历史背景：
该算法系统是 20 世纪 40 年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。
BP算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。BP 神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。
而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许 多领域都有着广泛的应用前景。
❹ 神经网络Hopfield模型
一、Hopfield模型概述
1982年，美国加州工学院J.Hopfield发表一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互连接的反馈型人工神经网络模型——Hopfield人工神经网络。
Hopfield人工神经网络是一种反馈网络(Recurrent Network)，又称自联想记忆网络。其目的是为了设计一个网络，存储一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到所存储的某个平衡点上。
Hopfield网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型Hopfield网络(Discrete Hopfield Neural Network，简称 DHNN)和连续型 Hopfield 网络(Continue Hopfield Neural Network，简称CHNN)。离散型Hopfield网络的激活函数为二值型阶跃函数，主要用于联想记忆、模式分类、模式识别。这个软件为离散型Hopfield网络的设计、应用。
二、Hopfield模型原理
离散型Hopfield网络的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。
正交化的权值设计
这一方法的基本思想和出发点是为了满足下面4个要求：
1)保证系统在异步工作时的稳定性，即它的权值是对称的，满足
wij=wji，i，j=1，2…，N；
2)保证所有要求记忆的稳定平衡点都能收敛到自己；
3)使伪稳定点的数目尽可能地少；
4)使稳定点的吸引力尽可能地大。
正交化权值的计算公式推导如下：
1)已知有P个需要存储的稳定平衡点x1，x2…，xP-1，xP，xp∈RN，计算N×(P-1)阶矩阵A∈RN×(P-1)：
A=(x1-xPx2-xP…xP-1-xP)T。
2)对A做奇异值分解
A=USVT，
U=(u1u2…uN)，
V=(υ1υ2…υP-1)，
中国矿产资源评价新技术与评价新模型
Σ=diαg(λ1，λ2，…，λK)，O为零矩阵。
K维空间为N维空间的子空间，它由K个独立的基组成：
K=rαnk(A)，
设{u1u2…uK}为A的正交基，而{uK+1uK+2…uN}为N维空间的补充正交基。下面利用U矩阵来设计权值。
3)构造
中国矿产资源评价新技术与评价新模型
总的连接权矩阵为：
Wt=Wp-T·Wm，
其中，T为大于-1的参数，缺省值为10。
Wp和Wm均满足对称条件，即
(wp)ij=(wp)ji，
(wm)ij=(wm)ji，
因而Wt中分量也满足对称条件。这就保证了系统在异步时能够收敛并且不会出现极限环。
4)网络的偏差构造为
bt=xP-Wt·xP。
下面推导记忆样本能够收敛到自己的有效性。
(1)对于输入样本中的任意目标矢量xp，p=1，2，…，P，因为(xp-xP)是A中的一个矢量，它属于A的秩所定义的K个基空间的矢量，所以必存在系数α1，α2，…，αK，使
xp-xP=α1u1+α2u2+…+αKuK，
即
xp=α1u1+α2u2+…+αKuK+xP，
对于U中任意一个ui，有
中国矿产资源评价新技术与评价新模型
由正交性质可知，上式中
当i=j，
当i≠j，
对于输入模式xi，其网络输出为
yi=sgn(Wtxi+bt)
=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)
=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]
=sgn[(Wp-T·Wm)(xi-xP)+xP]
=sgn[Wt(xi-xP)+xP]
=sgn[(xi-xP)+xP]
=xi。
(2)对于输入模式xP，其网络输出为
yP=sgn(WtxP+bt)
=sgn(WtxP+xP-WtxP)
=sgn(xP)
=xP。
(3)如果输入一个不是记忆样本的x，网络输出为
y=sgn(Wtx+bt)
=sgn[(Wp-T·Wm)(x-xP)+xP]
=sgn[Wt(x-xP)+xP]。
因为x不是已学习过的记忆样本，x-xP不是A中的矢量，则必然有
Wt(x-xP)≠x-xP，
并且再设计过程中可以通过调节Wt=Wp-T·Wm中的参数T的大小来控制(x-xP)与xP的符号，以保证输入矢量x与记忆样本之间存在足够的大小余额，从而使sgn(Wtx+bt)≠x，使x不能收敛到自身。
用输入模式给出一组目标平衡点，函数HopfieldDesign( )可以设计出 Hopfield 网络的权值和偏差，保证网络对给定的目标矢量能收敛到稳定的平衡点。
设计好网络后，可以应用函数HopfieldSimu( )，对输入矢量进行分类，这些输入矢量将趋近目标平衡点，最终找到他们的目标矢量，作为对输入矢量进行分类。
三、总体算法
1.Hopfield网络权值W[N][N]、偏差b[N]设计总体算法
应用正交化权值设计方法，设计Hopfield网络；
根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]；
使Hopfield网络的稳定输出矢量与给定的目标矢量一致。
1)输入P个输入模式X=(x[1]，x[2]，…，x[P-1]，x[P])
输入参数，包括T、h；
2)由X[N][P]构造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；
3)对A[N][P-1]作奇异值分解A=USVT；
4)求A[N][P-1]的秩rank；
5)由U=(u[1]，u[2]，…，u[K])构造Wp[N][N]；
6)由U=(u[K+1]，…，u[N])构造Wm[N][N]；
7)构造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；
8)构造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；
9)构造W[N][N](9～13)，
构造W1[N][N]=h*Wt[N][N]；
10)求W1[N][N]的特征值矩阵Val[N][N](对角线元素为特征值，其余为0)，特征向量矩阵Vec[N][N]；
11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；
12)求Vec[N][N]的逆Invec[N][N]；
13)构造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；
14)构造b[N]，(14～15)，
C1=exp(h)-1，
C2=-(exp(-T*h)-1)/T；
15)构造
中国矿产资源评价新技术与评价新模型
Uˊ——U的转置；
16)输出W[N][N]，b[N]；
17)结束。
2.Hopfield网络预测应用总体算法
Hopfield网络由一层N个斜坡函数神经元组成。
应用正交化权值设计方法，设计Hopfield网络。
根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]。
初始输出为X[N][P]，
计算X[N][P]=f(W[N][N]*X[N][P]+b[N])，
进行T次迭代，
返回最终输出X[N][P]，可以看作初始输出的分类。
3.斜坡函数
中国矿产资源评价新技术与评价新模型
输出范围[-1，1]。
四、数据流图
Hopfield网数据流图见附图3。
五、调用函数说明
1.一般实矩阵奇异值分解
(1)功能
用豪斯荷尔德(Householder)变换及变形QR算法对一般实矩阵进行奇异值分解。
(2)方法说明
设A为m×n的实矩阵，则存在一个m×m的列正交矩阵U和n×n的列正交矩阵V，使
中国矿产资源评价新技术与评价新模型
成立。其中
Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，
且σ0≥σ1≥…≥σp＞0，
上式称为实矩阵A的奇异值分解式，σi(i=0，1，…，p)称为A的奇异值。
奇异值分解分两大步：
第一步：用豪斯荷尔德变换将A约化为双对角线矩阵。即
中国矿产资源评价新技术与评价新模型
其中
中国矿产资源评价新技术与评价新模型
j具有如下形式：
中国矿产资源评价新技术与评价新模型
其中ρ为一个比例因子，以避免计算过程中的溢出现象与误差的累积，Vj是一个列向量。即
Vj=(υ0，υ1，…，υn-1)，
则
中国矿产资源评价新技术与评价新模型
其中
中国矿产资源评价新技术与评价新模型
第二步：用变形的QR算法进行迭代，计算所有的奇异值。即：用一系列的平面旋转变换对双对角线矩阵B逐步变换成对角矩阵。
在每一次的迭代中，用变换
中国矿产资源评价新技术与评价新模型
其中变换
在每次迭代时，经过初始化变换V01后，将在第0列的主对角线下方出现一个非0元素。在变换V01中，选择位移植u的计算公式如下：
中国矿产资源评价新技术与评价新模型
最后还需要对奇异值按非递增次序进行排列。
在上述变换过程中，若对于某个次对角线元素ej满足
｜ej｜⩽ε(｜sj+1｜+｜sj｜)
则可以认为ej为0。
若对角线元素sj满足
｜sj｜⩽ε(｜ej-1｜+｜ej｜)
则可以认为sj为0(即为0奇异值)。其中ε为给定的精度要求。
(3)调用说明
int bmuav(double*a，int m，int n，double*u，double*v，double eps，int ka)，
本函数返回一个整型标志值，若返回的标志值小于0，则表示出现了迭代60次还未求得某个奇异值的情况。此时，矩阵的分解式为UAVT；若返回的标志值大于0，则表示正常返回。
形参说明：
a——指向双精度实型数组的指针，体积为m×n。存放m×n的实矩阵A；返回时，其对角线给出奇异值(以非递增次序排列)，其余元素为0；
m——整型变量，实矩阵A的行数；
n——整型变量，实矩阵A的列数；
u——指向双精度实型数组的指针，体积为m×m。返回时存放左奇异向量U；
υ——指向双精度实型数组的指针，体积为n×n。返回时存放右奇异向量VT；
esp——双精度实型变量，给定的精度要求；
ka——整型变量，其值为max(m，n)+1。
2.求实对称矩阵特征值和特征向量的雅可比过关法
(1)功能
用雅可比(Jacobi)方法求实对称矩阵的全部特征值与相应的特征向量。
(2)方法说明
雅可比方法的基本思想如下。
设n阶矩阵A为对称矩阵。在n阶对称矩阵A的非对角线元素中选取一个绝对值最大的元素，设为apq。利用平面旋转变换矩阵R0(p，q，θ)对A进行正交相似变换：
A1=R0(p，q，θ)TA，
其中R0(p，q，θ)的元素为
rpp=cosθ，rqq=cosθ，rpq=sinθ，
rqp=sinθ，rij=0，i，j≠p，q。
如果按下式确定角度θ，
中国矿产资源评价新技术与评价新模型
则对称矩阵A经上述变换后，其非对角线元素的平方和将减少
综上所述，用雅可比方法求n阶对称矩阵A的特征值及相应特征向量的步骤如下：
1)令S=In(In为单位矩阵)；
2)在A中选取非对角线元素中绝对值最大者，设为apq；
3)若｜apq｜＜ε，则迭代过程结束。此时对角线元素aii(i=0，1，…，n-1)即为特征值λi，矩阵S的第i列为与λi相应的特征向量。否则，继续下一步；
4)计算平面旋转矩阵的元素及其变换后的矩阵A1的元素。其计算公式如下
中国矿产资源评价新技术与评价新模型
5)S=S·R(p，q，θ)，转(2)。
在选取非对角线上的绝对值最大的元素时用如下方法：
首先计算实对称矩阵A的非对角线元素的平方和的平方根
中国矿产资源评价新技术与评价新模型
然后设置关口υ1=υ0/n，在非对角线元素中按行扫描选取第一个绝对值大于或等于υ1的元素αpq进行平面旋转变换，直到所有非对角线元素的绝对值均小于υ1为止。再设关口υ2=υ1/n，重复这个过程。以此类推，这个过程一直作用到对于某个υk＜ε为止。
(3)调用说明
void cjcbj(double*a，int n，double*v，double eps)。
形参说明：
a——指向双精度实型数组的指针，体积为n×n，存放n阶实对称矩阵A；返回时，其对角线存放n个特征值；
n——整型变量，实矩阵A的阶数；
υ——指向双精度实型数组的指针，体积为n×n，返回特征向量，其中第i列为与λi(即返回的αii，i=0，1，……，n-1)对应的特征向量；
esp——双精度实型变量。给定的精度要求。
3.矩阵求逆
(1)功能
用全选主元高斯-约当(Gauss-Jordan)消去法求n阶实矩阵A的逆矩阵。
(2)方法说明
高斯-约当法(全选主元)求逆的步骤如下：
首先，对于k从0到n-1做如下几步：
1)从第k行、第k列开始的右下角子阵中选取绝对值最大的元素，并记住此元素所在的行号和列号，再通过行交换和列交换将它交换到主元素位置上，这一步称为全选主元；
2)
3)
4)αij-
5)-
最后，根据在全选主元过程中所记录的行、列交换的信息进行恢复，恢复原则如下：在全选主元过程中，先交换的行、列后进行恢复；原来的行(列)交换用列(行)交换来恢复。
图8-4 东昆仑—柴北缘地区基于HOPFIELD模型的铜矿分类结果图
(3)调用说明
int brinv(double*a，int n)。
本函数返回一个整型标志位。若返回的标志位为0，则表示矩阵A奇异，还输出信息“err**not inv”；若返回的标志位不为0，则表示正常返回。
形参说明：
a——指向双精度实型数组的指针，体积为n×n。存放原矩阵A；返回时，存放其逆矩阵A-1；
n——整型变量，矩阵的阶数。
六、实例
实例：柴北缘—东昆仑地区铜矿分类预测。
选取8种因素，分别是重砂异常存在标志、水化异常存在标志、化探异常峰值、地质图熵值、Ms存在标志、Gs存在标志、Shdadlie到区的距离、构造线线密度。
构置原始变量，并根据原始数据构造预测模型。
HOPFIELD模型参数设置：训练模式维数8，预测样本个数774，参数个数8，迭代次数330。
结果分44类(图8-4，表8-5)。
表8-5 原始数据表及分类结果（部分）
续表
❺ 有人可以介绍一下什么是"神经网络"吗
由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络
都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的
见解。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适
应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经
系统对真实世界物体所作出的交互反应。"
如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方
式进行比较，就可以看出人脑具有以下鲜明特征：
1. 巨量并行性。
在冯·诺依曼机中，信息处理的方式是集中、串行的，即所有的程序指
令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项
决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。
据研究，人脑中约有多达10^(10)～10^(11)数量级的神经元，每一个神经元
具有103数量级的连接，这就提供了巨大的存储容量，在需要时能以很高的
反应速度作出判断。
2. 信息处理和存储单元结合在一起。
在冯·诺依曼机中，存储内容和存储地址是分开的，必须先找出存储器的
地址，然后才能查出所存储的内容。一旦存储器发生了硬件故障，存储器中
存储的所有信息就都将受到毁坏。而人脑神经元既有信息处理能力又有存储
功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可
以由一部分内容恢复全部内容。当发生"硬件"故障（例如头部受伤）时，并
不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。
3. 自组织自学习功能。
冯·诺依曼机没有主动学习能力和自适应能力，它只能不折不扣地按照
人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。而人脑能够
通过内部自组织、自学习的能力，不断地适应外界环境，从而可以有效地处
理各种模拟的、模糊的或随机的问题。
神经网络研究的主要发展过程大致可分为四个阶段：
1. 第一阶段是在五十年代中期之前。
西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经
元的形状呈两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号
向远离细胞体的方向传递。在他之后发明的各种染色技术和微电极技术不断
提供了有关神经元的主要特征及其电学性质。
1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经
活动中所蕴含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即
M－P模型。该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经
网络模型的理论研究。
1949年，心理学家D.O. Hebb写了一本题为《行为的组织》的书，在这本
书中他提出了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法则。
Hebb写道："当神经细胞A的轴突足够靠近细胞B并能使之兴奋时，如果A重
复或持续地激发B，那么这两个细胞或其中一个细胞上必然有某种生长或代
谢过程上的变化，这种变化使A激活B的效率有所增加。"简单地说，就是
如果两个神经元都处于兴奋状态，那么它们之间的突触连接强度将会得到增
强。
五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电
路时，将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建
立了着名的Hodykin-Huxley方程。
这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计
算的出现打下了基础。
2. 第二阶段从五十年代中期到六十年代末。
1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络
特点的模式识别装置，即代号为Mark I的感知机（Perceptron），这一重
大事件是神经网络研究进入第二阶段的标志。对于最简单的没有中间层的
感知机，Rosenblatt证明了一种学习算法的收敛性，这种学习算法通过迭代
地改变连接权来使网络执行预期的计算。
稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经
网络处理单元，即自适应线性元件Adaline，并且还为Adaline找出了一种有
力的学习规则，这个规则至今仍被广泛应用。Widrow还建立了第一家神经计
算机硬件公司，并在六十年代中期实际生产商用神经计算机和神经计算机软
件。
除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和
实现思想方面作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵
的一种二进制联想网络结构及其硬件实现。N.Nilsson于1965年出版的
《机器学习》一书对这一时期的活动作了总结。
3. 第三阶段从六十年代末到八十年代初。
第三阶段开始的标志是1969年M.Minsky和S.Papert所着的《感知机》一书
的出版。该书对单层神经网络进行了深入分析，并且从数学上证明了这种网
络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们
还发现有许多模式是不能用单层网络训练的，而多层网络是否可行还很值得
怀疑。
由于M.Minsky在人工智能领域中的巨大威望，他在论着中作出的悲观结论
给当时神经网络沿感知机方向的研究泼了一盆冷水。在《感知机》一书出版
后，美国联邦基金有15年之久没有资助神经网络方面的研究工作，前苏联也
取消了几项有前途的研究计划。
但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工
作，如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen
以及日本东京大学的甘利俊一等人。他们坚持不懈的工作为神经网络研究的
复兴开辟了道路。
4. 第四阶段从八十年代初至今。
1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型
神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为
NP完全型的旅行商问题（Travelling Salesman Problem，简称TSP）。这
项突破性进展标志着神经网络方面的研究进入了第四阶段，也是蓬勃发展
的阶段。
Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的
功能特性。1983年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且
研制出了Boltzmann机。日本的福岛邦房在Rosenblatt的感知机的基础上，
增加隐层单元，构造出了可以实现联想学习的"认知机"。Kohonen应用3000
个阈器件构造神经网络实现了二维网络的联想式学习功能。1986年，
D.Rumelhart和J.McClelland出版了具有轰动性的着作《并行分布处理-认知
微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。
1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会
（INNS）成立。随后INNS创办了刊物《Journal Neural Networks》，其他
专业杂志如《Neural Computation》，《IEEE Transactions on Neural
Networks》，《International Journal of Neural Systems》等也纷纷
问世。世界上许多着名大学相继宣布成立神经计算研究所并制订有关教育
计划，许多国家也陆续成立了神经网络学会，并召开了多种地区性、国际性
会议，优秀论着、重大成果不断涌现。
今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决
定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。
日本制订了一个"人类前沿科学计划"。这项计划为期15－20年，仅
初期投资就超过了1万亿日元。在该计划中，神经网络和脑功能的研究占有
重要地位，因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过
借鉴人脑而研制新一代计算机的科学领域。
在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资
4亿美元，由国防部高级研究计划局（DAPRA）制订了一个8年研究计划，
并成立了相应的组织和指导委员会。同时，海军研究办公室（ONR）、空军
科研办公室（AFOSR）等也纷纷投入巨额资金进行神经网络的研究。DARPA认
为神经网络"看来是解决机器智能的唯一希望"，并认为"这是一项比原子弹
工程更重要的技术"。美国国家科学基金会（NSF）、国家航空航天局（NASA）
等政府机构对神经网络的发展也都非常重视，它们以不同的形式支持了众多
的研究课题。
欧共体也制订了相应的研究计划。在其ESPRIT计划中，就有一个项目是
"神经网络在欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多
个欧洲大公司卷进这个研究项目，如英国航天航空公司、德国西门子公司等。
此外，西欧一些国家还有自己的研究计划，如德国从1988年就开始进行一个
叫作"神经信息论"的研究计划。
我国从1986年开始，先后召开了多次非正式的神经网络研讨会。1990年
12月，由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学
会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中
国神经网络首届学术会议"，从而开创了我国神经网络研究的新纪元。
❻ 神经网络连接方式分为哪几类每一类有哪些特点
神经网络模型的分类
人工神经网络的模型很多，可以按照不同的方法进行分类。其中，常见的两种分类方法是，按照网络连接的拓朴结构分类和按照网络内部的信息流向分类。
1 按照网络拓朴结构分类
网络的拓朴结构，即神经元之间的连接方式。按此划分，可将神经网络结构分为两大类：层次型结构和互联型结构。
层次型结构的神经网络将神经元按功能和顺序的不同分为输出层、中间层（隐层）、输出层。输出层各神经元负责接收来自外界的输入信息，并传给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换。根据需要可设计为一层或多层；最后一个隐层将信息传递给输出层神经元经进一步处理后向外界输出信息处理结果。
而互连型网络结构中，任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的连接程度将互连型网络细分为三种情况：全互连型、局部互连型和稀疏连接型
2 按照网络信息流向分类
从神经网络内部信息传递方向来看，可以分为两种类型：前馈型网络和反馈型网络。
单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。
反馈型网络的结构与单层全互连结构网络相同。在反馈型网络中的所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。
❼ 什么是全连接神经网络，怎么理解“全连接”
1、全连接神经网络解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。
2、全连接的神经网络示意图：
3、“全连接”是一种不错的模式，但是网络很大的时候，训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接，这样训练时计算量大大减小。
❽ 怎么去验证神经网络的有效性
第一步：先看训练数据的误差，如果大，那肯定是不行。 若果你只有一个输出，可以画图看一下预测的结果和输出的结果相差多少。
第二步：在训练前一般会留20%的数据出来作检验。 如果在第一步中检验了训练数据的预测结果不错。，那么接下来检验检验数据的预测结果如何，用检验数据作为输入 ， 看下预测出来的结果和实际的相多少。 如果OK，那就OK了， 恭喜，投入使用！
《神经网络之家》