① 关于神经网络 需要学习python的哪些知识
最基础的部分的话需要：线性代数，机器学习，微积分，优化等等。
几乎所有操作都有矩阵运算，所以至少最基础的线性代数需要掌握
建议从单一的感知机Perceptron出发，继而认识到Decision Boundary(判别边界),以及最简单的一些“监督训练”的概念等，有机器学习的基础最好。就结果而言，诸如“过拟合”之类的概念，以及对应的解决方法比如L1 L2归一，学习率等也都可以从单个感知机的概念开始入门。
从单层感知器推广到普通的多层感知器MLP。然后推广到简单的神经网络（激活函数从阶跃“软化”为诸如tanh等类型的函数），然后引入特定类型的网络结构，比如最基本的全连接、前向传播等等概念。进而学习训练算法，比如反向传播，这需要微积分的知识（Chain rule）,以及非线性优化的最基础部分，比如梯度下降法。
其次至少需要具备一些适用于研究的编程语言的技能，例如python，matlab，（C++也可行）等，哪怕不自己实现最简单的神经网络而是用API，也是需要一定计算机能力才能应用之。
② 关于RBF神经网络的权重问题
很多时候都是用BP网络做成的，估计这个问题很难回答！
阶跃信号不是某个时间点前都是零，时间点后都是1的时间序列吗？一个输入节点对应一个一维数组的输入，数组先0后1.
④ 小菜求学 PID
- sptr->Integral * sptr->LastError //E[k－1]项
+ sptr->Derivative * sptr->PrevError; //E[k－2]项
//存储误差，用于下次计算
sptr->PrevError = sptr->LastError;
sptr->LastError = iError;
//返回增量值
return(iIncpid);
}
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
自动控制算法的学习笔记 （PID控制）待续
2009-04-28 11:13
最近被逼无奈要搞ROBOCUP的路径规划，在控制上遇到这个经典的算法，故总结了书上以及网上的资料......
1. PID调试步骤
没有一种控制算法比PID调节规律更有效、更方便的了。现在一些时髦点的调节器基本源自PID。甚至可以这样说：PID调节器是其它控制调节算法的基础。
为什么PID应用如此广泛、又长久不衰？
因为PID解决了自动控制理论所要解决的最基本问题，既系统的稳定性、快速性和准确性。调节PID的参数，可实现在系统稳定的前提下，兼顾系统的带载能力和抗扰能力，同时，在PID调节器中引入积分项，系统增加了一个零积点，使之成为一阶或一阶以上的系统，这样系统阶跃响应的稳态误差就为零。
由于自动控制系统被控对象的千差万别，PID的参数也必须随之变化，以满足系统的性能要求。这就给使用者带来相当的麻烦，特别是对初学者。下面简单介绍一下调试PID参数的一般步骤：
1．负反馈
自动控制理论也被称为负反馈控制理论。首先检查系统接线，确定系统的反馈为负反馈。例如电机调速系统，输入信号为正，要求电机正转时，反馈信号也为正（PID算法时，误差=输入-反馈），同时电机转速越高，反馈信号越大。其余系统同此方法。
2．PID调试一般原则
a.在输出不振荡时，增大比例增益P。
b.在输出不振荡时，减小积分时间常数Ti。
c.在输出不振荡时，增大微分时间常数Td。
3．一般步骤
a.确定比例增益P
确定比例增益P 时，首先去掉PID的积分项和微分项，一般是令Ti=0、Td=0（具体见PID的参数设定说明），使PID为纯比例调节。输入设定为系统允许的最大值的60%~70%，由0逐渐加大比例增益P，直至系统出现振荡；再反过来，从此时的比例增益P逐渐减小，直至系统振荡消失，记录此时的比例增益P，设定PID的比例增益P为当前值的60%~70%。比例增益P调试完成。
b.确定积分时间常数Ti
比例增益P确定后，设定一个较大的积分时间常数Ti的初值，然后逐渐减小Ti，直至系统出现振荡，之后在反过来，逐渐加大Ti，直至系统振荡消失。记录此时的Ti，设定PID的积分时间常数Ti为当前值的150%~180%。积分时间常数Ti调试完成。
c.确定积分时间常数Td
积分时间常数Td一般不用设定，为0即可。若要设定，与确定 P和Ti的方法相同，取不振荡时的30%。
d.系统空载、带载联调，再对PID参数进行微调，直至满足要求。
2.PID控制简介
目前工业自动化水平已成为衡量各行各业现代化水平的一个重要标志。同时，控制理论的发展也经历了古典控制理论、现代控制理论和智能控制理论三个阶段。智能控制的典型实例是模糊全自动洗衣机等。自动控制系统可分为开环控制系统和闭环控制系统。一个控制系统包括控制器﹑传感器﹑变送器﹑执行机构﹑输入输出接口。控制器的输出经过输出接口﹑执行机构﹐加到被控系统上﹔控制系统的被控量﹐经过传感器﹐变送器﹐通过输入接口送到控制器。不同的控制系统﹐其传感器﹑变送器﹑执行机构是不一样的。比如压力控制系统要采用压力传感器。电加热控制系统的传感器是温度传感器。目前，PID控制及其控制器或智能PID控制器（仪表）已经很多，产品已在工程实际中得到了广泛的应用，有各种各样的PID控制器产品，各大公司均开发了具有PID参数自整定功能的智能调节器(intelligent regulator)，其中PID控制器参数的自动调整是通过智能化调整或自校正、自适应算法来实现。有利用PID控制实现的压力、温度、流量、液位控制器，能实现PID控制功能的可编程控制器(PLC)，还有可实现PID控制的PC系统等等。 可编程控制器(PLC) 是利用其闭环控制模块来实现PID控制，而可编程控制器(PLC)可以直接与ControlNet相连，如Rockwell的PLC-5等。还有可以实现PID控制功能的控制器，如Rockwell 的Logix产品系列，它可以直接与ControlNet相连，利用网络来实现其远程控制功能。
1、开环控制系统
开环控制系统(open-loop control system)是指被控对象的输出(被控制量)对控制器(controller)的输出没有影响。在这种控制系统中，不依赖将被控量反送回来以形成任何闭环回路。
2、闭环控制系统
闭环控制系统(closed-loop control system)的特点是系统被控对象的输出(被控制量)会反送回来影响控制器的输出，形成一个或多个闭环。闭环控制系统有正反馈和负反馈，若反馈信号与系统给定值信号相反，则称为负反馈( Negative Feedback)，若极性相同，则称为正反馈，一般闭环控制系统均采用负反馈，又称负反馈控制系统。闭环控制系统的例子很多。比如人就是一个具有负反馈的闭环控制系统，眼睛便是传感器，充当反馈，人体系统能通过不断的修正最后作出各种正确的动作。如果没有眼睛，就没有了反馈回路，也就成了一个开环控制系统。另例，当一台真正的全自动洗衣机具有能连续检查衣物是否洗净，并在洗净之后能自动切断电源，它就是一个闭环控制系统。
3、阶跃响应
阶跃响应是指将一个阶跃输入（step function）加到系统上时，系统的输出。稳态误差是指系统的响应进入稳态后﹐系统的期望输出与实际输出之差。控制系统的性能可以用稳、准、快三个字来描述。稳是指系统的稳定性(stability)，一个系统要能正常工作，首先必须是稳定的，从阶跃响应上看应该是收敛的﹔准是指控制系统的准确性、控制精度，通常用稳态误差来(Steady-state error)描述，它表示系统输出稳态值与期望值之差﹔快是指控制系统响应的快速性，通常用上升时间来定量描述。
4、PID控制的原理和特点
在工程实际中，应用最为广泛的调节器控制规律为比例、积分、微分控制，简称PID控制，又称PID调节。PID控制器问世至今已有近70年历史，它以其结构简单、稳定性好、工作可靠、调整方便而成为工业控制的主要技术之一。当被控对象的结构和参数不能完全掌握，或得不到精确的数学模型时，控制理论的其它技术难以采用时，系统控制器的结构和参数必须依靠经验和现场调试来确定，这时应用PID控制技术最为方便。即当我们不完全了解一个系统和被控对象﹐或不能通过有效的测量手段来获得系统参数时，最适合用PID控制技术。PID控制，实际中也有PI和PD控制。PID控制器就是根据系统的误差，利用比例、积分、微分计算出控制量进行控制的。
比例（P）控制
比例控制是一种最简单的控制方式。其控制器的输出与输入误差信号成比例关系。当仅有比例控制时系统输出存在稳态误差（Steady-state error）。 比例调节作用：是按比例反应系统的偏差,系统一旦出现了偏差,比例调节立即产生调节作用用以减少偏差。比例作用大,可以加快调节,减少误差,但是过大的比例,使系统的稳定性下降,甚至造成系统的不稳定。
积分（I）控制
在积分控制中，控制器的输出与输入误差信号的积分成正比关系。对一个自动控制系统，如果在进入稳态后存在稳态误差，则称这个控制系统是有稳态误差的或简称有差系统（System with Steady-state Error）。为了消除稳态误差，在控制器中必须引入“积分项”。积分项对误差取决于时间的积分，随着时间的增加，积分项会增大。这样，即便误差很小，积分项也会随着时间的增加而加大，它推动控制器的输出增大使稳态误差进一步减小，直到等于零。因此，比例+积分(PI)控制器，可以使系统在进入稳态后无稳态误差。积分调节作用：是使系统消除稳态误差,提高无差度。因为有误差,积分调节就进行,直至无差,积分调节停止,积分调节输出一常值。积分作用的强弱取决与积分时间常数Ti,Ti越小,积分作用就越强。反之Ti大则积分作用弱,加入积分调节可使系统稳定性下降,动态响应变慢。积分作用常与另两种调节规律结合,组成PI调节器或PID调节器。
微分（D）控制
在微分控制中，控制器的输出与输入误差信号的微分（即误差的变化率）成正比关系。 自动控制系统在克服误差的调节过程中可能会出现振荡甚至失稳。其原因是由于存在有较大惯性组件（环节）或有滞后(delay)组件，具有抑制误差的作用，其变化总是落后于误差的变化。解决的办法是使抑制误差的作用的变化“超前”，即在误差接近零时，抑制误差的作用就应该是零。这就是说，在控制器中仅引入“比例”项往往是不够的，比例项的作用仅是放大误差的幅值，而目前需要增加的是“微分项”，它能预测误差变化的趋势，这样，具有比例+微分的控制器，就能够提前使抑制误差的控制作用等于零，甚至为负值，从而避免了被控量的严重超调。所以对有较大惯性或滞后的被控对象，比例+微分(PD)控制器能改善系统在调节过程中的动态特性。微分调节作用：微分作用反映系统偏差信号的变化率,具有预见性,能预见偏差变化的趋势,因此能产生超前的控制作用,在偏差还没有形成之前,已被微分调节作用消除。因此,可以改善系统的动态性能。在微分时间选择合适情况下,可以减少超调,减少调节时间。微分作用对噪声干扰有放大作用,因此过强的加微分调节,对系统抗干扰不利。此外,微分反应的是变化率,而当输入没有变化时,微分作用输出为零。微分作用不能单独使用,需要与另外两种调节规律相结合,组成PD或PID控制器。
5、PID控制器的参数整定
PID控制器的参数整定是控制系统设计的核心内容。它是根据被控过程的特性确定PID控制器的比例系数、积分时间和微分时间的大小。PID控制器参数整定的方法很多，概括起来有两大类：一是理论计算整定法。它主要是依据系统的数学模型，经过理论计算确定控制器参数。这种方法所得到的计算数据未必可以直接用，还必须通过工程实际进行调整和修改。二是工程整定方法，它主要依赖工程经验，直接在控制系统的试验中进行，且方法简单、易于掌握，在工程实际中被广泛采用。PID控制器参数的工程整定方法，主要有临界比例法、反应曲线法和衰减法。三种方法各有其特点，其共同点都是通过试验，然后按照工程经验公式对控制器参数进行整定。但无论采用哪一种方法所得到的控制器参数，都需要在实际运行中进行最后调整与完善。现在一般采用的是临界比例法。利用该方法进行 PID控制器参数的整定步骤如下：(1)首先预选择一个足够短的采样周期让系统工作﹔(2)仅加入比例控制环节，直到系统对输入的阶跃响应出现临界振荡，记下这时的比例放大系数和临界振荡周期﹔(3)在一定的控制度下通过公式计算得到PID控制器的参数。
3.PID控制器参数的工程整定,各种调节系统中PID参数经验数据以下可参照：
温度T: P=20~60%,T=180~600s,D=3-180s
压力P: P=30~70%,T=24~180s,
液位L: P=20~80%,T=60~300s,
流量L: P=40~100%,T=6~60s。
4. PID常用口诀：
参数整定找最佳，从小到大顺序查
先是比例后积分，最后再把微分加
曲线振荡很频繁，比例度盘要放大
曲线漂浮绕大湾，比例度盘往小扳
曲线偏离回复慢，积分时间往下降
曲线波动周期长，积分时间再加长
曲线振荡频率快，先把微分降下来
动差大来波动慢。微分时间应加长
理想曲线两个波，前高后低4比1
一看二调多分析，调节质量不会低
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
很多兄弟姐妹来问关于PID控制器的情况，偶就结合自己的理解，尽可能浅显的讲述一下PID控制的概念和如何设计一个简单的PID控制器的设计。其目的就是有兴趣朋友们可以跟这个设计一个简单的PID控制器
所谓的控制首先分有反馈控制和无反馈控制，我们当然讨论的PID当然是有反馈控制了。所谓的有反馈控制无非是要根据被控量的情况参与运算来决定操纵量的大小或者方向，那么到底如何根据被控两来决定操纵量的大小呢，唉，这就有很多分类了，所谓的高级的控制方式也就是“高级”在这个节骨眼上，有什么“自适应控制、模糊控制、预测控制、神经网络控制、专家智能控制”等等（至于到底这些控制方式有什么优点，唉，我只用过PID，别的也说不清楚，去抄书的话也没有说服力，关键是也懒的去抄。那位老弟如果要作论文，可以在这里发挥一下，资料到处都是）。但是就目前而言，在工业控制领域尤其是控制系统的底层，PID控制算法仍然独霸鳌头，占领着80％左右的市场份额，当然，这里所说的PID控制算法不是侠义上的固定PID，现在不是讲究多学科融合吗？人们在PID控制规律中吸取了其他“高级”的控制规律的优点，出现了诸多的新颖的控制器如自校正PID、专家自适应PID、预估PID、模糊PID、神经网络PID、非线性 PID等新型PID控制器。至于所谓的变种的PID算法如什么“遇限削弱微分”微分先行，积分分离“bangbang+PID”等等，已经不算是什么高级的控制方式了作控制器的厂商大多都会或多等等或少的采取一些，至于是神经网络PID,模糊PID，自适应PID是如何实现的，我所知道的就是利用对应的控制算法，适时的调节PID的参数。还是举个例子吧。传统PID的算法公式是：
⊿U(n)=Kp[e(n)-e(n-1)]+Kie(n)+Kd[e(n)-2e(n-1)+e(n-2)]
U(n)=⊿U(n)+U(n-1)
e(n) ,e(n-1), e(n-2)就是历史上的三个设定值跟过程值之间的偏差了。
这是一个增量式的PID算式（如果有谁不明白什么式增量是算式，呵呵，可能以后会提到，偶的写作水平有限，不会组织内容，再说我是想到哪，写道哪,呵呵，见凉）。
所谓的新型PID控制器，就是根据e(n)的不同，利用那些先进的控制规律来适当的调整Kp,Ki,Ke。至于怎么调整，呵呵，这就太罗嗦了，也不是这篇内容所该介绍的，（关键是我也不太清楚，呵呵，见笑），需要这些功能的大侠应该是我的前辈，还请指教哟。
好了，现在正式介绍一下所谓的PID各个参数吧。
所谓的PID大家在大学期间都应该学过，就是比例（P）、积分（I）、微分（D）。
比例控制：就是对偏差进行控制，偏差一旦产生，控制器立即就发生作用即调节控制输出，使被控量朝着减小偏差的方向变化，偏差减小的速度取决于比例系数Kp， Kp越大偏差减小的越快，但是很容易引起振荡，尤其是在迟滞环节比较大的情况下，Kp减小，发生振荡的可能性减小但是调节速度变慢。但单纯的比例控制存在静差不能消除的缺点。这里就需要积分控制。
积分控制：实质上就是对偏差累积进行控制，直至偏差为零。积分控制作用始终施加指向给定值的作用力，有利于消除静差，其效果不仅与偏差大小有关，而且还与偏差持续的时间有关。简单来说就是把偏差积累起来，一起算总帐。
微分控制：它能敏感出误差的变化趋势,可在误差信号出现之前就起到修正误差的作用,有利于提高输出响应的快速性,减小被控量的超调和增加系统的稳定性。但微分作用很容易放大高频噪声,降低系统的信噪比,从而使系统抑制干扰的能力下降。因此，在实际应用中，应慎用微分控制，尤其是当你开始作实验时，不防将微分控制项去掉，看看行不行，呵呵，不行啊？还是看看别的地方吧，肯定行的。
行了，这三个参数说明白了，再来说说怎么确定这几个参数的数值吧。这几个参数的确定比较先进的方式是自整定，但是如果是开始涉及这部分还是先不要讲了，按照经验值吧。估计大家用来控制温度比较多。大家按照这个规律来选吧。
Kp=100/P
Ki= kp*T/I
Kd= kp*D/T
分别介绍一下各个参数的意义：
T：计算周期，就是各多少时间计算一次
⊿U(n)=Kp[e(n)-e(n-1)]+Kie(n)+Kd[e(n)-2e(n-1)+e(n-2)],单位是秒。一般1秒或者0.5秒甚至5秒都行。
P:比例带
I：积分时间
D：微分时间
P、I、D跟kp,ki,kd有什么关系呢？
Kp=100/P,
Ki=kp*T/I
Kd=kp*D/T
然后就可以计算
⊿U(n)=Kp[e(n)-e(n-1)]+Kie(n)+Kd[e(n)-2e(n-1)+e(n-2)]
算出来⊿U(n)之后再怎么办呢？怎么把这一个数据跟控制输出联系在一起呢?说道这里我们先说说PID控制方式大体都有那些？
其一为线形连续PID输出，也就是说，PID运算的结果以模拟电压，电流或者可控硅导通角的形式按比例输出。
其二为时间－比例PID输出，也就是说，事先定一个时间长度，T1，然后PID运算的结果就在控制周期内以ON－OFF的形式输出出来，比如你控制一个炉子的温度，用电热丝来加热，就可以控制电热丝的一个控制周期内通电占整个控制周期的比例来实现，电路上可以用继电器或者过零触发的方式来切断或者接通电热丝供电。
起三为位置比例PID，PID运算的结果主要是对应于调节阀的阀门开度。
再回到前面，我们以第二种控制方式为例，计算出⊿U(n)后，一般首先将其归一化，也就是说除以你所要控制的温度的量程。
⊿U(n)0_1＝⊿U(n)/(hh-ll)
而时间比例PID输出对应的是“位置式PID运算”的结果
所以呢，我们要讲结果累积起来，
U(n)0_1＋＝⊿U(n)0_1
然后将次结果换算成对应于控制周期的占空比。来输出
===========================================================================================
PID控制的原理和特点
⑤ 想要学习人工神经网络，需要什么样的基础知识
人工神经网络理论网络网盘下载：
链接：https://pan..com/s/1Jcg4s2ETCrag2Vo-OA57Og
简介：本书是人工神经网络理论的入门书籍。全书共分十章。第一章主要阐述人工神经网络理论的产生及发展历史、理论特点和研究方向；第二章至第九章介绍人工神经网络理论中比较成熟且常用的几种主要网络结构、算法和应用途径；第十章用较多篇幅介绍了人工神经网络理论在各个领域的应用实例。
⑥ 神经网络Hopfield模型
一、Hopfield模型概述
1982年，美国加州工学院J.Hopfield发表一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互连接的反馈型人工神经网络模型——Hopfield人工神经网络。
Hopfield人工神经网络是一种反馈网络(Recurrent Network)，又称自联想记忆网络。其目的是为了设计一个网络，存储一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到所存储的某个平衡点上。
Hopfield网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型Hopfield网络(Discrete Hopfield Neural Network，简称 DHNN)和连续型 Hopfield 网络(Continue Hopfield Neural Network，简称CHNN)。离散型Hopfield网络的激活函数为二值型阶跃函数，主要用于联想记忆、模式分类、模式识别。这个软件为离散型Hopfield网络的设计、应用。
二、Hopfield模型原理
离散型Hopfield网络的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。
正交化的权值设计
这一方法的基本思想和出发点是为了满足下面4个要求：
1)保证系统在异步工作时的稳定性，即它的权值是对称的，满足
wij=wji，i，j=1，2…，N；
2)保证所有要求记忆的稳定平衡点都能收敛到自己；
3)使伪稳定点的数目尽可能地少；
4)使稳定点的吸引力尽可能地大。
正交化权值的计算公式推导如下：
1)已知有P个需要存储的稳定平衡点x1，x2…，xP-1，xP，xp∈RN，计算N×(P-1)阶矩阵A∈RN×(P-1)：
A=(x1-xPx2-xP…xP-1-xP)T。
2)对A做奇异值分解
A=USVT，
U=(u1u2…uN)，
V=(υ1υ2…υP-1)，
中国矿产资源评价新技术与评价新模型
Σ=diαg(λ1，λ2，…，λK)，O为零矩阵。
K维空间为N维空间的子空间，它由K个独立的基组成：
K=rαnk(A)，
设{u1u2…uK}为A的正交基，而{uK+1uK+2…uN}为N维空间的补充正交基。下面利用U矩阵来设计权值。
3)构造
中国矿产资源评价新技术与评价新模型
总的连接权矩阵为：
Wt=Wp-T·Wm，
其中，T为大于-1的参数，缺省值为10。
Wp和Wm均满足对称条件，即
(wp)ij=(wp)ji，
(wm)ij=(wm)ji，
因而Wt中分量也满足对称条件。这就保证了系统在异步时能够收敛并且不会出现极限环。
4)网络的偏差构造为
bt=xP-Wt·xP。
下面推导记忆样本能够收敛到自己的有效性。
(1)对于输入样本中的任意目标矢量xp，p=1，2，…，P，因为(xp-xP)是A中的一个矢量，它属于A的秩所定义的K个基空间的矢量，所以必存在系数α1，α2，…，αK，使
xp-xP=α1u1+α2u2+…+αKuK，
即
xp=α1u1+α2u2+…+αKuK+xP，
对于U中任意一个ui，有
中国矿产资源评价新技术与评价新模型
由正交性质可知，上式中
当i=j，
当i≠j，
对于输入模式xi，其网络输出为
yi=sgn(Wtxi+bt)
=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)
=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]
=sgn[(Wp-T·Wm)(xi-xP)+xP]
=sgn[Wt(xi-xP)+xP]
=sgn[(xi-xP)+xP]
=xi。
(2)对于输入模式xP，其网络输出为
yP=sgn(WtxP+bt)
=sgn(WtxP+xP-WtxP)
=sgn(xP)
=xP。
(3)如果输入一个不是记忆样本的x，网络输出为
y=sgn(Wtx+bt)
=sgn[(Wp-T·Wm)(x-xP)+xP]
=sgn[Wt(x-xP)+xP]。
因为x不是已学习过的记忆样本，x-xP不是A中的矢量，则必然有
Wt(x-xP)≠x-xP，
并且再设计过程中可以通过调节Wt=Wp-T·Wm中的参数T的大小来控制(x-xP)与xP的符号，以保证输入矢量x与记忆样本之间存在足够的大小余额，从而使sgn(Wtx+bt)≠x，使x不能收敛到自身。
用输入模式给出一组目标平衡点，函数HopfieldDesign( )可以设计出 Hopfield 网络的权值和偏差，保证网络对给定的目标矢量能收敛到稳定的平衡点。
设计好网络后，可以应用函数HopfieldSimu( )，对输入矢量进行分类，这些输入矢量将趋近目标平衡点，最终找到他们的目标矢量，作为对输入矢量进行分类。
三、总体算法
1.Hopfield网络权值W[N][N]、偏差b[N]设计总体算法
应用正交化权值设计方法，设计Hopfield网络；
根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]；
使Hopfield网络的稳定输出矢量与给定的目标矢量一致。
1)输入P个输入模式X=(x[1]，x[2]，…，x[P-1]，x[P])
输入参数，包括T、h；
2)由X[N][P]构造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；
3)对A[N][P-1]作奇异值分解A=USVT；
4)求A[N][P-1]的秩rank；
5)由U=(u[1]，u[2]，…，u[K])构造Wp[N][N]；
6)由U=(u[K+1]，…，u[N])构造Wm[N][N]；
7)构造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；
8)构造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；
9)构造W[N][N](9～13)，
构造W1[N][N]=h*Wt[N][N]；
10)求W1[N][N]的特征值矩阵Val[N][N](对角线元素为特征值，其余为0)，特征向量矩阵Vec[N][N]；
11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；
12)求Vec[N][N]的逆Invec[N][N]；
13)构造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；
14)构造b[N]，(14～15)，
C1=exp(h)-1，
C2=-(exp(-T*h)-1)/T；
15)构造
中国矿产资源评价新技术与评价新模型
Uˊ——U的转置；
16)输出W[N][N]，b[N]；
17)结束。
2.Hopfield网络预测应用总体算法
Hopfield网络由一层N个斜坡函数神经元组成。
应用正交化权值设计方法，设计Hopfield网络。
根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]。
初始输出为X[N][P]，
计算X[N][P]=f(W[N][N]*X[N][P]+b[N])，
进行T次迭代，
返回最终输出X[N][P]，可以看作初始输出的分类。
3.斜坡函数
中国矿产资源评价新技术与评价新模型
输出范围[-1，1]。
四、数据流图
Hopfield网数据流图见附图3。
五、调用函数说明
1.一般实矩阵奇异值分解
(1)功能
用豪斯荷尔德(Householder)变换及变形QR算法对一般实矩阵进行奇异值分解。
(2)方法说明
设A为m×n的实矩阵，则存在一个m×m的列正交矩阵U和n×n的列正交矩阵V，使
中国矿产资源评价新技术与评价新模型
成立。其中
Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，
且σ0≥σ1≥…≥σp＞0，
上式称为实矩阵A的奇异值分解式，σi(i=0，1，…，p)称为A的奇异值。
奇异值分解分两大步：
第一步：用豪斯荷尔德变换将A约化为双对角线矩阵。即
中国矿产资源评价新技术与评价新模型
其中
中国矿产资源评价新技术与评价新模型
j具有如下形式：
中国矿产资源评价新技术与评价新模型
其中ρ为一个比例因子，以避免计算过程中的溢出现象与误差的累积，Vj是一个列向量。即
Vj=(υ0，υ1，…，υn-1)，
则
中国矿产资源评价新技术与评价新模型
其中
中国矿产资源评价新技术与评价新模型
第二步：用变形的QR算法进行迭代，计算所有的奇异值。即：用一系列的平面旋转变换对双对角线矩阵B逐步变换成对角矩阵。
在每一次的迭代中，用变换
中国矿产资源评价新技术与评价新模型
其中变换
在每次迭代时，经过初始化变换V01后，将在第0列的主对角线下方出现一个非0元素。在变换V01中，选择位移植u的计算公式如下：
中国矿产资源评价新技术与评价新模型
最后还需要对奇异值按非递增次序进行排列。
在上述变换过程中，若对于某个次对角线元素ej满足
｜ej｜⩽ε(｜sj+1｜+｜sj｜)
则可以认为ej为0。
若对角线元素sj满足
｜sj｜⩽ε(｜ej-1｜+｜ej｜)
则可以认为sj为0(即为0奇异值)。其中ε为给定的精度要求。
(3)调用说明
int bmuav(double*a，int m，int n，double*u，double*v，double eps，int ka)，
本函数返回一个整型标志值，若返回的标志值小于0，则表示出现了迭代60次还未求得某个奇异值的情况。此时，矩阵的分解式为UAVT；若返回的标志值大于0，则表示正常返回。
形参说明：
a——指向双精度实型数组的指针，体积为m×n。存放m×n的实矩阵A；返回时，其对角线给出奇异值(以非递增次序排列)，其余元素为0；
m——整型变量，实矩阵A的行数；
n——整型变量，实矩阵A的列数；
u——指向双精度实型数组的指针，体积为m×m。返回时存放左奇异向量U；
υ——指向双精度实型数组的指针，体积为n×n。返回时存放右奇异向量VT；
esp——双精度实型变量，给定的精度要求；
ka——整型变量，其值为max(m，n)+1。
2.求实对称矩阵特征值和特征向量的雅可比过关法
(1)功能
用雅可比(Jacobi)方法求实对称矩阵的全部特征值与相应的特征向量。
(2)方法说明
雅可比方法的基本思想如下。
设n阶矩阵A为对称矩阵。在n阶对称矩阵A的非对角线元素中选取一个绝对值最大的元素，设为apq。利用平面旋转变换矩阵R0(p，q，θ)对A进行正交相似变换：
A1=R0(p，q，θ)TA，
其中R0(p，q，θ)的元素为
rpp=cosθ，rqq=cosθ，rpq=sinθ，
rqp=sinθ，rij=0，i，j≠p，q。
如果按下式确定角度θ，
中国矿产资源评价新技术与评价新模型
则对称矩阵A经上述变换后，其非对角线元素的平方和将减少
综上所述，用雅可比方法求n阶对称矩阵A的特征值及相应特征向量的步骤如下：
1)令S=In(In为单位矩阵)；
2)在A中选取非对角线元素中绝对值最大者，设为apq；
3)若｜apq｜＜ε，则迭代过程结束。此时对角线元素aii(i=0，1，…，n-1)即为特征值λi，矩阵S的第i列为与λi相应的特征向量。否则，继续下一步；
4)计算平面旋转矩阵的元素及其变换后的矩阵A1的元素。其计算公式如下
中国矿产资源评价新技术与评价新模型
5)S=S·R(p，q，θ)，转(2)。
在选取非对角线上的绝对值最大的元素时用如下方法：
首先计算实对称矩阵A的非对角线元素的平方和的平方根
中国矿产资源评价新技术与评价新模型
然后设置关口υ1=υ0/n，在非对角线元素中按行扫描选取第一个绝对值大于或等于υ1的元素αpq进行平面旋转变换，直到所有非对角线元素的绝对值均小于υ1为止。再设关口υ2=υ1/n，重复这个过程。以此类推，这个过程一直作用到对于某个υk＜ε为止。
(3)调用说明
void cjcbj(double*a，int n，double*v，double eps)。
形参说明：
a——指向双精度实型数组的指针，体积为n×n，存放n阶实对称矩阵A；返回时，其对角线存放n个特征值；
n——整型变量，实矩阵A的阶数；
υ——指向双精度实型数组的指针，体积为n×n，返回特征向量，其中第i列为与λi(即返回的αii，i=0，1，……，n-1)对应的特征向量；
esp——双精度实型变量。给定的精度要求。
3.矩阵求逆
(1)功能
用全选主元高斯-约当(Gauss-Jordan)消去法求n阶实矩阵A的逆矩阵。
(2)方法说明
高斯-约当法(全选主元)求逆的步骤如下：
首先，对于k从0到n-1做如下几步：
1)从第k行、第k列开始的右下角子阵中选取绝对值最大的元素，并记住此元素所在的行号和列号，再通过行交换和列交换将它交换到主元素位置上，这一步称为全选主元；
2)
3)
4)αij-
5)-
最后，根据在全选主元过程中所记录的行、列交换的信息进行恢复，恢复原则如下：在全选主元过程中，先交换的行、列后进行恢复；原来的行(列)交换用列(行)交换来恢复。
图8-4 东昆仑—柴北缘地区基于HOPFIELD模型的铜矿分类结果图
(3)调用说明
int brinv(double*a，int n)。
本函数返回一个整型标志位。若返回的标志位为0，则表示矩阵A奇异，还输出信息“err**not inv”；若返回的标志位不为0，则表示正常返回。
形参说明：
a——指向双精度实型数组的指针，体积为n×n。存放原矩阵A；返回时，存放其逆矩阵A-1；
n——整型变量，矩阵的阶数。
六、实例
实例：柴北缘—东昆仑地区铜矿分类预测。
选取8种因素，分别是重砂异常存在标志、水化异常存在标志、化探异常峰值、地质图熵值、Ms存在标志、Gs存在标志、Shdadlie到区的距离、构造线线密度。
构置原始变量，并根据原始数据构造预测模型。
HOPFIELD模型参数设置：训练模式维数8，预测样本个数774，参数个数8，迭代次数330。
结果分44类(图8-4，表8-5)。
表8-5 原始数据表及分类结果（部分）
续表
⑦ 机器学习之神经网络入门
机器学习之神经网络入门
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络用途极其广泛，本文采用神经网络算法用于金融领域量化选股策略。
神经网络原理
神经网络中最基本的成分是神经元模型，在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元的电位；如果某神经元的电位超过了一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。下图为M-P神经元模型：
在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。
理想中的激活函数是上图中的(a)阶跃函数，它将输入值映射为输出值“0”或“1”，显然“1”代表神经元兴奋，“0”代表神经元抑制，但由于其不连续，不光滑的性质，所以实际常用（b)Sigmoid函数作为激活函数。把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。
基于神经网络的量化选股策略
策略思想：选取一些常用技术指标作为训练样本特征集，对于类别，如果未来20个工作日上涨幅度超过10%则标记为1，否则为-1，采用神经网络算法进行训练，预测结果为1且未持仓则买入，预测结果为-1且已持仓则卖出。
特征因子选取：本文采用神经网络算法解决有监督学习的分类问题，特征因子选取了2015-01-05那天上证50指数成份股的总市值，OBV能量潮，市盈率，布林线，KDJ随机指标，RSI相对强弱指标共6个指标。
数据标准化：数据标准化方法有很多，本文采用高斯预处理方法，即每个特征因子减去它对应的均值再除以它的标准差((x-x.mean)/x.std)。
⑧ 如何简单形象又有趣地讲解神经网络是什么
神经网络神奇的地方在于它的每一个组件非常简单——把空间切一刀+某种激活函数(0-1阶跃、sigmoid、max-pooling)，但是可以一层一层级联。输入向量连到许多神经元上，这些神经元的输出又连到一堆神经元上，这一过程可以重复很多次。这和人脑中的神经元很相似：每一个神经元都有一些神经元作为其输入，又是另一些神经元的输入，数值向量就像是电信号，在不同神经元之间传导，每一个神经元只有满足了某种条件才会发射信号到下一层神经元。当然，人脑比神经网络模型复杂很多：人工神经网络一般不存在环状结构；人脑神经元的电信号不仅有强弱，还有时间缓急之分，就像莫尔斯电码，在人工神经网络里没有这种复杂的信号模式。
⑨ 在搭建神经网络的时候，如何选择合适的转移函数（
一般来说，神经网络的激励函数有以下几种：阶跃函数 ，准线性函数，双曲正切函数，Sigmoid函数等等，其中sigmoid函数就是你所说的S型函数。以我看来，在你训练神经网络时，激励函数是不轻易换的，通常设置为S型函数。如果你的神经网络训练效果不好，应从你所选择的算法上和你的数据上找原因。算法上BP神经网络主要有自适应学习速率动量梯度下降反向传播算法(traingdx)，Levenberg-Marquardt反向传播算法(trainlm)等等，我列出的这两种是最常用的，其中BP默认的是后一种。数据上，看看是不是有误差数据，如果有及其剔除，否则也会影响预测或识别的效果。
⑩ 关于车速检测的BP神经网络算法程序
以往的汽车四轮转向控制系统的设计，往往依据侧向加速度较小时的车辆运动的线型两轴模型进行线性控制器的设计。这样在某些危险行驶状态，例如紧急躲避障碍物、在路面摩擦力低的滑路面行驶，汽车四轮转向控制系统将失去应有的控制作用，致使汽车的转向安全性大大减低。文章提出在侧向加速度大的情况下，利用神经网络理论来设计汽车四轮转向控制系统。这样的控制系统不依赖于车辆运动的线型模型，它不是基于模型的控制，而是基于知识的控制，保证了控制系统能适应车辆运动的非线性特性。 2 基于神经网络四轮转向控制系统的设计 [IMG]image/040916guonew13-1.gif[/IMG] [IMG]image/040916guonew13-2.gif[/IMG] 四轮转向控制系统的控制目的应为：(1)对沿行驶路线行驶的汽车车身姿势进行控制，使汽车的侧偏角β保持为零；(2)横摆角速度λ或侧向加速度。接近所期望的转向响应特性。四轮转向控制系统采用后轮主动式，即控制器主动控制后轮的转角，通过控制后轮进行车辆运动控制。其控制系统如图1所示。在设计过程中，参两轮车的线性模型，选前轮转向角6f、横摆角速度／作为控制器的输入量；同时考虑侧向加速度α而造成的控制误差的补偿作用，把侧向加速度。也作为输入。图1中车辆系统为通过神经网络辩识的非线性动态系统。设计包括两部分内容：车辆动态模型离线辩识、后轮转向角神经网络控制器的设计. 2．1 车辆动态模型离线辩识 车辆动态模型离线辩识采用多层神经网络误差逆传播学习算法：BP神经网络法.BP神经网络是一种输入输出向量空间的非线性映射。其拓扑结构由3部分组成：输入层、隐含层和输出层。层与层之间各神经元实现全连接，而每层各神经元之间无连接。设计中采用具有双隐含层的BP网络，通过离线训练学到车辆动力系统的非线性特性。为使该网络能在车辆的各种工况下识别车辆运动，应使网络的学习模式对能覆盖车辆的全部工况。由于采集实际车辆的运行数据是非常困难的，因此在离线训练的过程中，采用四轮转向车辆系统模型，并通过计算机仿真(图2)向BP网络提供学习模式对，使BP网络进行离线训练学习，对BP网络的连接权和阈值进行粗调节；然后通过该模式提取测试模式对，对网络进行测试；测试满意后，再用实验数据对网络作进一步离线训练，从而对网络进行细调节。辩识系统中，输入参数有第n时间步侧偏角β(n)、横摆角速度γ(n)、前轮转向角(n)、后轮转向角δ(n)、侧向加速度α(n)5个参数；输出有第，2+l时间步侧偏角β(n+1)、横摆角速度γ(2+1)(图3)。训练网络用的信号δf(n)是幅值分别为3．4和5．5的阶跃信号和正弦信号。每层神经元数分别为5、12、10、2。两隐层传递函数均为双极性Sigmoid函数[IMG]image/040916guonew13-g1.gif[/IMG] 输出层传递函数为线性函数。 [IMG]image/040916guonew13-3.gif[/IMG] 2．2 神经控制器的设计 为配合车辆动态模型一起工作，设计神经控制器。该控制器也是双隐含层的BP神经网络各层神经元数分别为3、10、10、l。控制器的输入为横摆角速度／(，2)、前轮转角δf(n)及与车速有关的参数侧向加速度o(n)；输出有后轮转角δf(n)。两隐含层的传递函数也为双极性Sigmoid函数，输出层的传递函数为 [IMG]image/040916guonew13-g2.gif[/IMG] 为使侧偏最小， 引入性能目标函数[IMG]image/040916guonew13-g3.gif[/IMG]评价侧偏角和后轮转向角。每个神经元的权值和阈值可以通过控制器的学习过程得到。学习的目的是使目标函数值最小。训练神经控制器时，在计算机上将车辆动态模型与神经控制器组成控制系统，同样用四轮转向控制的车辆仿真模型输出的数据集进行训练。但此时只修改神经控制器的权矩阵。 2．3 BP神经网络的MATLAB实现 设计过程中，可以采用MATLAB软件中的神经网络工具箱来实现BP神经网络算法。BP神经网络的学习过程由前向计算过程、误差计算和误差反向传播过程组成。双含隐层BP神经网络的MATLAB程序，由输入部分、计算部分、输出部分组成，其中输入部分包括网络参数与训练样本数据的输入、初始化权系、求输入输出模式各分量的平均值及标准差并作相应数据预处理、读入测试集样本数据并作相应数据预处理；计算部分包括正向计算、反向传播、计算各层权矩阵的增量、自适应和动量项修改各层权矩阵；输出部分包括显示网络最终状态及计算值与期望值之间的相对误差、输出测试集相应结果、显示训练，测试误差曲线。 3 控制系统仿真 用神经网络车辆动态模型与神经控制器构成控制系统，进行仿真分析。其瞬态响应，如图4中实线所示。图中的虚线、双点划线分别表示2WS和线性控制4WS。 [IMG]image/040916guonew13-4.gif[/IMG] 4 结论 (1)因为神经控制网络能很好地适应汽车的非线性特性，故在大的前轮转角下，神经网络控制系统的侧偏角p比线性控制系统的车辆侧偏角p更接近零，可获得更满意的控制效果。 (2)横摆角速度丫响应在经过一段时间后收敛至稳态值，4WS比2WS收敛更快，相位滞后更小。