A. 神经系统中的信号传递
心理学为什么要研究神经系统?
心理学课程是研究行为、思想和情感的。人们的心理活动都会通过神经系统进行传递,以突触作为媒介。如果你改变正常的突触活动,你就将改变人们行为、思考和感觉的方式。
神经系统是依靠电化学信号来处理和传递信息的。这些信号为人类的知识、感觉、欲望和创造能力提供基础。
神经元是如何产生反应的?
每个神经元将接收到兴奋性输入和抑制性输入的平衡,前者表达为发放,后者表达为不发放。
动作电位的生物化学基础
所有神经传导都必须通过称为离子的带电粒子穿过细胞膜的流动而产生。
静息电位,细胞内钾离子的浓度更高,而细胞外钠离子浓度更高。
动作电位,让钠离子流入细胞内,改变极性。
动作电位的性质
全或无定律,动作电位的大小不受阈上刺激强度变化的影响,一旦兴奋性输入的总和达到阈值,动作电位就会产生,如果没有达到阈值,动作电位就不产生。后果:动作电位大小沿轴突传播时并不减弱。
不应期,当动作电位传过一个轴突节段后,神经元这部分就进入不应期。
绝对不应期,无论进一步的刺激有多强烈都不会引起另一个动作电位的产生。
相对不应期,神经元只对较为强烈的刺激发放冲动。
不应期保证动作电位只能沿轴突向下传播,他不能反向传播。
突触包括,突触前膜(发送信息神经元的终扣)和突触后膜(接受信息神经元的树突或胞体的表面)以及两者之间的间隙。
信息传递过程:通过突触囊泡释放神经递质,高州神经递质与受体结合进行信息传递。
结合必须满足两个条件:1、不能有其他神经递质或化学分子附着到受体分子上;2、神经递质必须和受体相匹配。
同一种神经递质在一种突戚念蔽触产生兴奋作用,在另一种突触产生抑制作用。因此,一种神经递质产生兴奋或抑制高局作用,取决于受体分子。
每个神经元需要整合它与1000到10000个其他神经元得到的信息,再决定它是否发出另一个动作电位。
神经调制,能够改变或调节突触后神经元活动的物质。(人类体内没有的物质?)
B. 人的一生神经传递信号是额定的吗
人的大脑神经是通过神经元接收外界信号的。
神经元是大脑神经的基本组成单位,它们通过电信号来传递信息。当一个神经元接收到刺激时,它会产生一个电信号,并通过轴突传递给相邻的神经元。这样,神经元之间的信息传递就可以形成一条神经路径,并通过大量的神经路径之间的交互来产生思维。
当一个神经元接收到外界刺激时,它会产生一个电信号。这个电信号是由神经元内部的离子流动产生的。在神经元内部,钠离子和钾离子会在细胞膜上通过离子通道进行交换,从而闷举桥产答猜生一个电流。当这个电流通过神经元时,它就会产生一个电信号,并通过轴突传递给相邻的神经元。
总的来说,人的大脑神经是通过神经元产生的电信号来接收外界信号的。这个过程涉及到大量复杂的蚂猛神经机制,并且随着人类对大脑的认识不断深入,我们对这一过程的理解也在不断加深。
C. 人工神经网络(ANN)简述
我们从下面四点认识人工神经网络(ANN: Artificial Neutral Network):神经元结构、神经元的激活函数、神经网络拓扑结构、神经网络选择权值和学习算法。
1. 神经元:
我们先来看一组对比图就能了解是怎样从生物神经元建模为人工神经元。
下面分别讲述:
生物神经元的组成包括细胞体、树突、轴突、突触。树突可以看作输入端,接收从其他细胞传递过来的电信号;轴突可以看作输出端,传递电荷给其他细胞;突触可手瞎以看作I/O接口,连接神经元,单个神经元可以和上千个神经元连接。细胞体内有膜电位,从外界传递过来的电流使膜电位发生变化,并且不断累加,当膜电位升高到超过一个阈值时,神经元被激活,产生一个脉冲,传递到下一个神经元。
为了更形象理解神经元传递信号过程,把一个神经元比作一个水桶。水桶下侧连着多根水管(树突),水管既可以把桶里的水排出去(抑制性),又可以将其他水桶的水输进来(兴奋性),水管的粗细不同,对桶中水的影响程度不同(权重),水管对水桶水位(膜电位)的改变就是水桶内水位的改变,当桶中水达到一定高度时,就能通过另一条管道(轴突)排出去。
按照这个原理,科学家提出了M-P模型(取自两个提出者的姓名首字母),M-P模型是对生物神经元的建模,作为人工神经网络中的一个神经元。
由MP模型的示意图,我们可以看到与生物神经元的相似之处,x_i表示多个输入,W_ij表示每个输入的权值,其正负模拟了生物神经元中突出的兴奋和抑制;sigma表示将全部输入信号进行累加整合,f为激活函数,O为输出。下图可以看到生物神经元和MP模型的类比:
往后诞生的各种神经元模型都是由MP模型演变过来。
2. 激活函数
激活函数可以看作滤波器,接收外界各种各样的信号,通过调整函数,输出期望值。ANN通常采用三类激活函数:阈值穗州函数、分段函数、双极性连续函数(sigmoid,tanh):
3. 学习算法
神经网络的学习也称为训练,通过神经网络所在环境的刺激作用调整神经网络的自由参数(如连接权值),使神经网络以一种新的方式对外部环境做出反应的一个过程。每个神经网络都有一个激活函数y=f(x),训练过程就是通过给定的海量x数据和y数据,拟合出激活函数f。学习过程分为有导师学习和无导师学习,有导师学习是给定猜薯蔽期望输出,通过对权值的调整使实际输出逼近期望输出;无导师学习给定表示方法质量的测量尺度,根据该尺度来优化参数。常见的有Hebb学习、纠错学习、基于记忆学习、随机学习、竞争学习。
4. 神经网络拓扑结构
常见的拓扑结构有单层前向网络、多层前向网络、反馈网络,随机神经网络、竞争神经网络。
5. 神经网络的发展
(不能贴公式不好解释啊 -_-!)sigma是误差信号,yita是学习率,net是输入之和,V是输入层到隐含层的权重矩阵,W是隐含层到输出层的权重矩阵。
之后还有几种
随着计算机硬件计算能力越来越强,用来训练的数据越来越多,神经网络变得越来越复杂。在人工智能领域常听到DNN(深度神经网络)、CNN(卷积神经网络)、RNN(递归神经网络)。其中,DNN是总称,指层数非常多的网络,通常有二十几层,具体可以是CNN或RNN等网络结构。
参考资料 :
D. 电脑通电才能工作,那么人类大脑是如何工作的呢
实际上人体大脑的工作同样需要电流的作用,这个电流依靠的是人体内的离子进行导电。
大脑是人体的控制中心,基本上我们所有的行为都要受到我们大脑的控制,而这个控制信息的传递,依靠的就是神经细胞的导电作用。
例如,当有一只凶猛的老虎出现在我们面前,我们先是从视觉上看见它,我们的大脑便知道了到了老虎的存在。在这个过程中,我们眼睛所看见的老虎就是通过视觉神经传递给我们的大脑,而这个信息的载体就是神经电流。
当大脑知道了我们的面前有一只老虎时,我们就会变得很紧张春野,实际上这也是大脑控制我们的行为,首先大脑接收到老虎存在的信息,于是又会通过电流来刺激我们的肾上腺分泌肾上腺素,肾上腺素可以导致我们心率加快,肌肉收缩,造成恐惧的反应。
这样一个简单的例子我们就知道了,我们大脑的工作同样离不开电流。
我们知道了人体电流对大返物脑的重要性,那么我们再来了解一下这个电流是如何传递的。
神经电流的传递并不像电脑工作时电子的流动那么简单,这其中包含了很多生理过程。电流在神经元中传递并不是依靠电子的流动,而是依靠离子的转移,并且主要是依靠钾离子K+和钠离子Na+。
上图就是神经元细胞的结构,电流就是通过无数个这样的细胞进行传递。在正常没有受到刺激的神经细胞中,细胞膜外正离子较多,细胞膜内负离子较多。细胞膜上的不同的蛋白质会负责不同离子的运输,控制每种离子的流入与流出。
当神经受到刺激时,细胞膜上的通道蛋白会迅速做出响应,让Na+快速通过通道蛋白,从而透过细胞膜进入细胞内,于是改变了细胞膜内外电荷的分布,导致与相邻的细胞膜产生电位差,这个电位差会继续刺激相邻的细胞膜中的通道蛋白做出反应,于是这个电流就一直传递下去。
而当一个神经元传递到了末梢,于是它会释放出神经递质刺激下一个神经元做出反应,整个过程虽然复杂,但是非常迅速。
通过上面的介绍,我们就知道了, 大脑的工作时时刻刻都离不开电的作用。不仅仅是大脑,我们整个人体都传输着各种生物电, 例如医院的心电图也是依靠人体内电流的变化来反映出病人的身体状况。电流在人体中无处不在。
总结:通过上面的介绍,我们知道了人体的生理活动离不开电流,大脑的运作更需要电流作用。
以上就是关于这个问题的回答,希望对你能够有所帮助。
大千世界,无穷无尽。眼观六路,耳听八方,人们无不每时每刻都在身临其境,体会到大自然的种种景像,最后由大脑发出喜怒哀乐的指导思想。
人类大脑面对事物的瞬间决断,可能是这世界上最快的反应了。虽然人类大脑的活动也是一种生物放电现像,但是这个大脑反应速度之快,让人感觉到比光速还要快。
人的大脑也能放电吗?是的。要么我们为什么会有思想。通常脑部的检查,都会做脑电图。世界上所有的生物都拥有产生强弱有别的放电功能。有的动物瞬间放出的高压电流足足可以让对方毙命。
人体为什么会产生电能?这个问题好回答,但过程很复杂。我们每天都会食用大量的各种食物,这些食物含有丰富的淀粉,蛋白质,脂肪等大分子化合物,经过胃酶的消化,这些大分子化合物变成了小分子的营养成份被人体吸收扒世喊。并产生了热量,这些热量的挥发,也就是人体的放电现像。要不就会堆积为脂肪,使人发胖,最后导致病况。
正是源源不断的能量输入到大脑,使大脑的细胞有了记忆,思维,判断,最终做出指导思想。大脑的所有活动,包括晚间的美梦,无不是大脑的放电现像。
人的大脑就是台精密机器,人的大脑由80%的水及其它生物化学物资构成。
人的大脑包含在比较坚硬的脑壳中,大脑由脑干、大脑、小脑、右半脑、左半脑、顶叶、额叶、枕叶等部位(零件)组成。大脑最主要的工作,就是让自已活着。大脑一旦出现致命故障,便会通知心脏不再跳动,人的“灵魂”也就脱离阳间,人便死去了。
大脑每个部位都有自已的工作内容,题主提问及夲者应答,即都是通过左半脑的工作。
电脑通电才能工作,人脑工作的能量来之于不间断的空气,身体所需淡水、食物及各种不可或缺化学物质。
谁都不会不明白,世上太多事物,都是人脑指挥手脚创造发明的。电脑所需电源是人创造发明的,很多“能工作”的 科技 产品,包括电脑,都是人脑辛勤思索,指挥人的手脚工作后,才赋于了它们“生命”。
如果我们仔细查看一下人口数的变化,就会发现人口数在18世纪开始发生了指数级增长,这其实是因为第一次工业革命导致的;紧接着我们还会发现19世纪,再一次发生人口指数级的增长,而且比之前更加剧烈,这一次其实是第二次工业革命导致的。
第一次工业革命其实得利于牛顿力学和热力学的发展。而第二次工业革命则是得利于电磁学的发展。如今家家户户都在使用电,而且往往越发达的地方,如果我们从天上往下看,就越会发现夜晚是灯火通明的。这是因为从第二次工业革命开始,人类进入了电气时代,开始使用了电脑。
人类用电似乎是19世纪以后的事情,但实际上并非如此。人类其实自身就是一个带电体,只是这个电很微弱而已,而且人类的大脑就是依靠电力驱动的,也就是说,自从有人类出现,人类就开始使用电,只是我们自己不知道而已。
那具体是咋回事呢?我们今天就聊一聊这个问题。
按照目前主流的科学理论,我们知道万物都是演化而来的,这也就是进化论的观点。演化其实是一个很慢的过程,都是以几十万,甚至是几百万年为单位在变化。如今我们知道,人类是由古猿演化而来的,但是在演化的过程中,我们很难去定义什么时候是古猿,什么时候是人类。
为了研究方便, 科学家把脑容量达到600ml~650ml作为一个判断是否是人类的标准 ,除了这个标准之外,还有直立行走。
而如今现代人类其实属于智人,我们的脑容量大概在1400ml左右。也就是说,人类其实一直在朝着脑容量越来越大演化。当然,这里要补充一点,生物并没有能力自己选择演化的方向,而是脑容量大的被自然选择筛选出来了而已。那为什么大脑会如此重要呢?
实际上,我们每天能够完成所有的工作,或者最基本的吃喝拉撒都需要依靠大脑来作为神经中枢发号指令。那大脑是如何完成工作的呢?
这里就不得不提到神经元。神经元是大脑的一个基本单位。人类的大脑当中大概有860亿个神经元,这么多的神经元构成了一个神经网络,我们的动作、反应都是依靠着神经元来传递信息。
那神经元是如何传递信息的呢?我们下来看一下一个神经元是什么样的。
从这张图我们可以看到,神经元其实有两个部分构成,一个是细胞体,一个是细胞突起。而细胞突起又是由三部分构成的,分别是树突、轴突和髓鞘。
那信息是如何在实现传递的呢?
首先在一个神经元上面, 信号的传递是通过电信号来传递,这个过程有电荷的转移 。所以, 神经纤维上的信息传递其实是依靠电位差的,会有局部电流 。
而神经元和神经元之间的传递这是通过神经递质。在轴突末梢上的一些小分支,而被为突触小体。这个突出小体可以和其他神经元的细胞体相接触。
当神经纤维上的电信号传递过来时,需要将这个电信号传递给下一个神经元,这时候突触小体就会释放出神经递质,把这个神经递质传递到另一个神经元的细胞体上,这个时候另一个神经元得到神经递质之后,又会转化成电信号,在神经纤维上传递。
通过这样就可以构成一个基本的控制单位,我们的一些列动作和反应其实都是依靠神经元的信息传递来实现的。
曾经有一部科幻电影叫做黑客帝国。在这个电影当中就有一个设定,当时人工智能战胜了人类,但是人工智能需要用到电,于是就养了一群人,利用人体的生物电来给他们供电。但实际上这样的供电方式是相当低效的,这是因为人体真的是一个低能耗的存在。
人类的大脑占据人体重量的2%,但却消耗了人体总能量消耗的20%。如果计算下来,我们就会发现,一天耗能大概在1,600,000多焦耳,换算成功率就是20瓦左右。
而同样是处理信息的电脑,CPU类似于人体大脑的功能,仅仅是CPU这个中央处理器,功率就不低,往低了算大概至少也要100瓦左右,一天耗能在8,000,000多焦耳,耗能至少是大脑的5倍以上。
所以,相比CPU,人类的大脑是相当节省能耗的。
人类大脑工作是需要消耗能量的,据科学研究人脑的重量虽然只占人体重量的2%左右,但是大脑消耗的能量却占全身消耗能量的20%。
目前的大脑的工作原理还没有定论,因为大脑的复杂程度远比想象中复杂(这里有个细思极恐的画面,我们的大脑想象大脑是怎么工作的,相当于大脑研究大脑自己),所以大脑的研究目前还在研究阶段。
右脑半球控制左半身的活动,左脑半球则控制右半身的活动,因此,如果右脑半球受损,左半身便无法正常的活动。 左右大脑半球有各自的称为侧脑室的腔隙。侧脑室与间脑的第三脑室,以及小脑和延脑及脑桥之间的第四脑室之间有孔道连通。脑室中的脉络丛产生脑的液体称为脑脊液。脑脊液在各脑室与蛛网膜下腔之间循环,如果脑室的通道阻塞,脑室中的脑脊液积多,将形成脑积水。
人的大脑没有能量就死翘翘。
人的大脑比电脑不知道要复杂多少倍,因此消耗的能量也大,人每天汲取的食物转化为能量,每口呼吸得到的氧同样也转化为能量,这些能量的25%供应给脑了。
所以一些程序员一动不动,每天只在用脑子,但吃起来也不比运动员少。
因为运动员只是运动四肢,而程序员必须开动脑筋马达,消耗能量有得一拼。
某种意义上说,人脑和电脑一样,也是需要通电才能够工作的。
人的能量也会转变为电能,神经的传递的信号主要就是电信号。
这里要说明一下,世界上一切物质,除了引力作用,宏观力主要就是电磁作用力。
要知道所有的物质都是由原子组成,而原子是原子核和电子组成。
电力就是一个闭环的导线通过切割磁力线发生的磁通量变化而产生的,电势差导致电场产生,而电场驱动自由电子做定向移动,就产生了电流。
一切生物都是由原子组成的,人体同样是由原子组成的。因此,通过电信号来使机体保持运行状态,并且新陈代谢,是生物的基本功能。
不过生物电不像常规电力能那样传输,而是有特别的运行机理。
人体由约60万亿个细胞组成,每个活细胞都存在细胞膜电位。细胞在膜电位的作用下,使周围钠、钾、氯离子形成梯度排列,通过离子交换进行代谢活动。
通过细胞的代谢活动,我们可以得知活动电位所依靠最重要部分就是各种矿物质离子。因此如果人体缺乏某些矿物质,体内电位就不能平衡,就会生病。
比如缺钾或缺钠,多钾或多纳,都会导致机体平衡失调,造成病症甚至生命危险。
而人脑是人体最重要的器官,也是最复杂的器官。
人类之所以进化出智慧,成为地球的主宰者,最主要的就是大脑进化发达的结果。
人脑与其他动物大脑从重量、结构、功能都有较大差异,特别是结构和功能的复杂程度是任何其他动物都无法比拟的。
大脑是人的意识、思维、记忆的总机关,是感知感觉、反应行为的收集、决策和指挥中心,一旦脑子坏了,这个人也就完了。
大脑复杂的结构和功能说起来占用篇幅很大,这里就不啰嗦了。
这里只说说大脑神经元。
大脑的整个活动,都是依靠大脑神经元输送养分、新陈代谢、传导信息,据估计,人类中枢神经系统中有约1000亿个神经元,仅大脑皮层就有约140亿个。
这些神经元是特异化的,具有放电功能的细胞类型,神经元之间由突触相互连接。神经信号在神经元内通过动作电位的方式进行电传导,而在神经元之间则通过传递化学递质在突触间传导。
大脑就是从对外界的感知感觉中获得刺激信息,经过处理,在分门别类的进行处理,或储存,或记忆,或反馈,并指挥躯体应对各种感知感觉和刺激。
要维持大脑高效运行,是需要能量的。
当人们用大脑思考时,数百万的神经细胞就会忙忙碌碌紧张的进行信息传递,有人用“烧脑”来形容紧张的思考一点也不夸张,而且恰如其分。
“烧脑”消耗的能量很大,大脑重量只占人体体重的2%,但每天流经大脑的血液达到2000毫升,是全身血液流量的15%;消耗的能量达到全身总血糖的20%,肝脏血糖的75%;耗氧量占全身的25%。
据测算,大脑用电量相当一个25瓦的白炽灯电灯泡。
感谢阅读,欢迎讨论。
大脑是人间的奇迹,自然的杰作,有人说宇宙是一个超级大脑,这不是神话传说,也不是武侠世界,而是自然科学,大脑本身就是自然的产物,必定符合自然科学,人脑之所以能够工作,无非是一系列的化学反应,宇宙操控万物,是科学的反应,电脑使用的是电能,人脑使用的是生物能,就是通过化学反应创造能量,实际上是化学能,电能比较简单,方便人们工作,但是它没有智商,不能维持自己的能量,除非一个机器人能够自己进行充电,这其实就是智商的一种表现,早在上个世纪,智商就已经被用在了机器上,我的一个朋友,曾经参加过新四军,亲眼目睹军队里面的机器人管理人员,它可以根据你的反应做出极其准确的反应,堪称完美,但是由于各种原因限制了 科技 的发展,也许害怕给人类带来不必要的灾难,所以这方面的话题,到现在还是模模糊糊,甚至是禁忌
血管供能量。
电脑通电才能工作,人脑通过皮毛传光热也才能动!你做个实验,闭眼,大脑没有接收光热,人脑同样不能工作,疾呆光热传不到大脑啊!赶快治疗悟空啊!
血液流动产生微磁电交互传输。
E. 神经网络浅谈
人工智能技术是当前炙手可热的话题,而基于神经网络的深度学习技术更是热点中的热点。去年谷歌的Alpha Go 以4:1大比分的优势战胜韩国的李世石九段,展现了深度学习的强大威力,后续强化版的Alpha Master和无师自通的Alpha Zero更是在表现上完全碾压前者。不论你怎么看,以深度学习为代表的人工智能技术正在塑造未来。
下图为英伟达(NVIDIA)公司近年来的股价情况, 该公司的主要产品是“图形处理器”(GPU),而GPU被证明能大大加快神经网络的训练速度,是深度学习必不可少的计算组件。英伟达公司近年来股价的飞涨足以证明当前深度学习的井喷之势。
好,话不多说,下面简要介绍神经网络的基本原理、发展脉络和优势。
神经网络是一种人类由于受到生物神经细胞结构启发而研究出的一种算法体系,是机器学习算法大类中的一种。首先让我们来看人脑神经元细胞:
一个神经元通常具有多个树突 ,主要用来接受传入信息,而轴突只有一条,轴突尾端有许多轴突末梢,可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接,从而传递信号。
下图是一个经典的神经网络(Artificial Neural Network,ANN):
乍一看跟传统互联网的拓扑图有点类似,这也是称其为网络的原因,不同的是节点之间通过有向线段连接,并且节点被分成三层。我们称图中的圆圈为神经元,左边三个神经元组成的一列为输入层,中间神经元列为隐藏层,右边神经元列为输出层,神经元之间的箭头为权重。
神经元是计算单元,相当于神经元细胞的细胞核,利用输入的数据进行计算,然后输出,一般由一个线性计算部分和一个非线性计算部分组成;输入层和输出层实现数据的输入输出,相当于细胞的树突和轴突末梢;隐藏层指既不是输入也不是输出的神经元层,一个神经网络可以有很多个隐藏层。
神经网络的关键不是圆圈代表的神经元,而是每条连接线对应的权重。每条连接线对应一个权重,也就是一个参数。权重具体的值需要通过神经网络的训练才能获得。我们实际生活中的学习体现在大脑中就是一系列神经网络回路的建立与强化,多次重复的学习能让回路变得更加粗壮,使得信号的传递速度加快,最后对外表现为“深刻”的记忆。人工神经网络的训练也借鉴于此,如果某种映射关系出现很多次,那么在训练过程中就相应调高其权重。
1943年,心理学家McCulloch和数学家Pitts参考了生物神经元的结构,发表了抽象的神经元模型MP:
符号化后的模型如下:
Sum函数计算各权重与输入乘积的线性组合,是神经元中的线性计算部分,而sgn是取符号函数,当输入大于0时,输出1,反之输出0,是神经元中的非线性部分。向量化后的公式为z=sgn(w^T a)(w^T=(w_1,w_2,w_3),a=〖(a_1,a_2,a_3)〗^T)。
但是,MP模型中,权重的值都是预先设置的,因此不能学习。该模型虽然简单,并且作用有限,但已经建立了神经网络大厦的地基
1958年,计算科学家Rosenblatt提出了由两层神经元组成(一个输入层,一个输出层)的神经网络。他给它起了一个名字–“感知器”(Perceptron)
感知器是当时首个可以学习的人工神经网络。Rosenblatt现场演示了其学习识别简单图像的过程,在当时引起了轰动,掀起了第一波神经网络的研究热潮。
但感知器只能做简单的线性分类任务。1969年,人工智能领域的巨擘Minsky指出这点,并同时指出感知器对XOR(异或,即两个输入相同时输出0,不同时输出1)这样的简单逻辑都无法解决。所以,明斯基认为神经网络是没有价值的。
随后,神经网络的研究进入低谷,又称 AI Winter 。
Minsky说过单层神经网络无法解决异或问题,但是当增加一个计算层以后,两层神经网络不仅可以解决异或问题,而且具有非常好的非线性分类效果。
下图为两层神经网络(输入层一般不算在内):
上图中,输出层的输入是上一层的输出。
向量化后的公式为:
注意:
每个神经元节点默认都有偏置变量b,加上偏置变量后的计算公式为:
同时,两层神经网络不再使用sgn函数作为激励函数,而采用平滑的sigmoid函数:
σ(z)=1/(1+e^(-z) )
其图像如下:
理论证明: 两层及以上的神经网络可以无限逼近真实的对应函数,从而模拟数据之间的真实关系 ,这是神经网络强大预测能力的根本。但两层神经网络的计算量太大,当时的计算机的计算能力完全跟不上,直到1986年,Rumelhar和Hinton等人提出了反向传播(Backpropagation,BP)算法,解决了两层神经网络所需要的复杂计算量问题,带动了业界使用两层神经网络研究的热潮。
但好景不长,算法的改进仅使得神经网络风光了几年,然而计算能力不够,局部最优解,调参等一系列问题一直困扰研究人员。90年代中期,由Vapnik等人发明的SVM(Support Vector Machines,支持向量机)算法诞生,很快就在若干个方面体现出了对比神经网络的优势:无需调参;高效;全局最优解。
由于以上原因,SVM迅速打败了神经网络算法成为主流。神经网络的研究再一次进入低谷, AI Winter again 。
多层神经网络一般指两层或两层以上的神经网络(不包括输入层),更多情况下指两层以上的神经网络。
2006年,Hinton提出使用 预训练 ”(pre-training)和“微调”(fine-tuning)技术能优化神经网络训练,大幅度减少训练多层神经网络的时间
并且,他给多层神经网络相关的学习方法赋予了一个新名词–“ 深度学习 ”,以此为起点,“深度学习”纪元开始了:)
“深度学习”一方面指神经网络的比较“深”,也就是层数较多;另一方面也可以指神经网络能学到很多深层次的东西。研究发现,在权重参数不变的情况下,增加神经网络的层数,能增强神经网络的表达能力。
但深度学习究竟有多强大呢?没人知道。2012年,Hinton与他的学生在ImageNet竞赛中,用多层的卷积神经网络成功地对包含一千类别的一百万张图片进行了训练,取得了分类错误率15%的好成绩,这个成绩比第二名高了近11个百分点,充分证明了多层神经网络识别效果的优越性。
同时,科研人员发现GPU的大规模并行矩阵运算模式完美地契合神经网络训练的需要,在同等情况下,GPU的速度要比CPU快50-200倍,这使得神经网络的训练时间大大减少,最终再一次掀起了神经网络研究的热潮,并且一直持续到现在。
2016年基于深度学习的Alpha Go在围棋比赛中以4:1的大比分优势战胜了李世石,深度学习的威力再一次震惊了世界。
神经网络的发展历史曲折荡漾,既有被捧上神坛的高潮,也有无人问津的低谷,中间经历了数次大起大落,我们姑且称之为“三起三落”吧,其背后则是算法的改进和计算能力的持续发展。
下图展示了神经网络自发明以来的发展情况及一些重大时间节点。
当然,对于神经网络我们也要保持清醒的头脑。由上图,每次神经网络研究的兴盛期持续10年左右,从最近2012年算起,或许10年后的2022年,神经网络的发展将再次遇到瓶颈。
神经网络作为机器学习的一种,其模型训练的目的,就是使得参数尽可能的与真实的模型逼近。理论证明,两层及以上的神经网络可以无限逼近真实的映射函数。因此,给定足够的训练数据和训练时间,总能通过神经网络找到无限逼近真实关系的模型。
具体做法:首先给所有权重参数赋上随机值,然后使用这些随机生成的参数值,来预测训练数据中的样本。假设样本的预测目标为yp ,真实目标为y,定义值loss,计算公式如下:
loss = (yp -y) ^2
这个值称之为 损失 (loss),我们的目标就是使对所有训练数据的损失和尽可能的小,这就转化为求loss函数极值的问题。
一个常用方法是高等数学中的求导,但由于参数不止一个,求导后计算导数等于0的运算量很大,所以常用梯度下降算法来解决这样的优化问题。梯度是一个向量,由函数的各自变量的偏导数组成。
比如对二元函数 f =(x,y),则梯度∇f=(∂f/∂x,∂f/∂y)。梯度的方向是函数值上升最快的方向。梯度下降算法每次计算参数在当前的梯度,然后让参数向着梯度的反方向前进一段距离,不断重复,直到梯度接近零时截止。一般这个时候,所有的参数恰好达到使损失函数达到一个最低值的状态。下图为梯度下降的大致运行过程:
在神经网络模型中,由于结构复杂,每次计算梯度的代价很大。因此还需要使用 反向传播 (Back Propagation)算法。反向传播算法利用了神经网络的结构进行计算,不一次计算所有参数的梯度,而是从后往前。首先计算输出层的梯度,然后是第二个参数矩阵的梯度,接着是中间层的梯度,再然后是第一个参数矩阵的梯度,最后是输入层的梯度。计算结束以后,所要的两个参数矩阵的梯度就都有了。当然,梯度下降只是其中一个优化算法,其他的还有牛顿法、RMSprop等。
确定loss函数的最小值后,我们就确定了整个神经网络的权重,完成神经网络的训练。
在神经网络中一样的参数数量,可以用更深的层次去表达。
由上图,不算上偏置参数的话,共有三层神经元,33个权重参数。
由下图,保持权重参数不变,但增加了两层神经元。
在多层神经网络中,每一层的输入是前一层的输出,相当于在前一层的基础上学习,更深层次的神经网络意味着更深入的表示特征,以及更强的函数模拟能力。更深入的表示特征可以这样理解,随着网络的层数增加,每一层对于前一层次的抽象表示更深入。
如上图,第一个隐藏层学习到“边缘”的特征,第二个隐藏层学习到“边缘”组成的“形状”的特征,第三个隐藏层学习到由“形状”组成的“图案”的特征,最后的隐藏层学习到由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分,从而获得更好的区分与分类能力。
前面提到, 明斯基认为Rosenblatt提出的感知器模型不能处理最简单的“异或”(XOR)非线性问题,所以神经网络的研究没有前途,但当增加一层神经元后,异或问题得到了很好地解决,原因何在?原来从输入层到隐藏层,数据发生了空间变换,坐标系发生了改变,因为矩阵运算本质上就是一种空间变换。
如下图,红色和蓝色的分界线是最终的分类结果,可以看到,该分界线是一条非常平滑的曲线。
但是,改变坐标系后,分界线却表现为直线,如下图:
同时,非线性激励函数的引入使得神经网络对非线性问题的表达能力大大加强。
对于传统的朴素贝叶斯、决策树、支持向量机SVM等分类器,提取特征是一个非常重要的前置工作。在正式训练之前,需要花费大量的时间在数据的清洗上,这样分类器才能清楚地知道数据的维度,要不然基于概率和空间距离的线性分类器是没办法进行工作的。然而在神经网络中,由于巨量的线性分类器的堆叠(并行和串行)以及卷积神经网络的使用,它对噪声的忍耐能力、对多通道数据上投射出来的不同特征偏向的敏感程度会自动重视或忽略,这样我们在处理的时候,就不需要使用太多的技巧用于数据的清洗了。有趣的是,业内大佬常感叹,“你可能知道SVM等机器学习的所有细节,但是效果并不好,而神经网络更像是一个黑盒,很难知道它究竟在做什么,但工作效果却很好”。
人类对机器学习的环节干预越少,就意味着距离人工智能的方向越近。神经网络的这个特性非常有吸引力。
1) 谷歌的TensorFlow开发了一个非常有意思的神经网络 入门教程 ,用户可以非常方便地在网页上更改神经网络的参数,并且能看到实时的学习效率和结果,非常适合初学者掌握神经网络的基本概念及神经网络的原理。网页截图如下:
2) 深度学习领域大佬吴恩达不久前发布的《 神经网络和深度学习 》MOOC,现在可以在网易云课堂上免费观看了,并且还有中文字幕。
3) 《神经网络于深度学习》(Michael Nielsen着)、《白话深度学习与TensorFlow》也是不错的入门书籍。
F. 人工神经网络
本文讨论的神经网络是从生物学领域引入计算机科学和工程领域的一个仿生学概念,又称人工神经网络(英语:artificial neural network,缩写ANN)。是一种模判橡仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。参考 wiki定义 。
如图,一个神经元通常具有多个树突,主要用来接受传入信息;而轴突只有一条,轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接,从而传递信号。这个连接的位置在生物学上叫做“突触”。
基于此,1943年,心理学家McCulloch和数学家Pitts参考了生物神经元的结构,发表了抽象的神经元模型MP,神经元模型是一个包含输入,输出与计算功能的模型。输入可以类比为神经元的树突,而输出可以类比为神经元的轴突,计算则可以类比为细胞核。如下图:
图中X代表输入信号,W代表权重,∑代表将X和W的矩阵运算,ψ对运算结果应用sgn函数,最终得到输出y。
然而,改模型对权限W是通过指定好的,因此不存在在计算工程中动态调配权限W的能力,也就是不存在学习的能力。
1958年,计算科学家Rosenblatt提出了由两层神经元组成的神经网络:“启冲芹感知器”(Perceptron)。
可以看到,一个感知器有如下组成部分:
输入权值: 一个感知器可以接收多个输入,每个输入上有一个权值,此外还有一个偏置项,就是上图中的。
激活函数: 感知器的激活函数可以有很多选择,比如我们可以选择Sigmoid函数来作为激活函数。
其中,因为生物学上,外接信号传导到神经元上,神经元不会立刻做出反应,而是会抑制输入,直到输入增强,强大到可以触发输出。也就是说,在产生输出之前,输入必须达到一个阈值。在数学上,这种随着变量值增大,函数值发生跳跃的函数成为激活函数。下图是一个常用的激活函数,Sigmoid函数曲线图:
上节我们看到,感知器其实是单层的神经网络,神经网络可以理解成多个感知器组合而成的一个结构,如下图:
神经网络的学习过程就是对权重矩阵的更新过程。所谓的训练过程就是比较当前网络的预测值和我们真正想要的目标值,再根据两者差异来更新每一层的权重矩阵。因此,必须先定义好如何比较预测值和目标值的差异,这便是损失函数(loss function)。损失函数输出值loss越高表示差异性越大,神经网络的训练就变成了尽可能的缩小loss的过程。悄毕
所谓梯度下降法,就是通过使loss值向当前点对应梯度点反方向不断移动,来降低loss。一次移动多少通过学习率(learning rate)控制。
通俗来讲,所谓梯度下降法,其实就如同漆黑的夜晚拿着手电筒站在山顶,每次只能看到眼前的一米远距离,想要下到山脚,我们采用每次都选择最陡峭的地方向下挪动,反复这一过程,最终到达山脚。
G. 人体内神经网络有多大
神经,对我们人体来说是至关重要的。神经可以传递信息,使我们感知身体接触的一切。如果你的困侍手被刺扎了一下,手就会向后猛地一抽,这就是神经的快速反应。神经信号绕过你的大脑直接通过你的脊髓传达到肌肉,这才使你纳尺高尽可能快地将手缩回来。
经解剖学家测定,大约有75公里长的神经蜿蜒穿过我们的身体。像蜘蛛网一样的神经网络在我们的脑、脊髓和身体之间传递着各种信息。这种信洞尺息以微小电信号的形式存在着。
H. 神经电信号和神经递质各传递什么信息啊
神经电信号传递兴奋,这种电信号也叫神经冲动。神经递质由突触前膜释放后立即与相应的突触后膜受体结合,产生突触去极化电位或超极化电位,导致突触后神核蔽经兴奋性升高或降低。神经递质本身不携带信息尘氏中
只派山是传递一个神经信号。
I. AlphaGo的神奇全靠它,详解人工神经网络!
- 01
Alphago在不被看好的情况下,以4比1击败了围棋世界冠军李世石,令其名震天下。随着AlphaGo知名度的不断提高,人们不禁好奇,究竟是什么使得AlphaGo得以战胜人类大脑?AlphaGo的核心依托——人工神经网络。
什么是神经网络?
人工神经网络是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构型大昌和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具,常用来对输入和输出间复杂的关系进行建模,或用来探索数据的模式。
神经网络是一种运算模型,由大量的节点(或称“神经元”,或“单元”)和之间相互联接构成。每个节点代表一种特仿返定的输出函数,称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
例如,用于手写识别的一个神经网络是被可由一个输入图像的像素被激活的一组输入神经元所定义的。在通过函数(由网络的设计者确定)进行加权和变换之后,这些神经元被激活然后被传递到其他神经元。重复这一过程,直到最后一个输出神经元被激活。这样决定了被读取的字。
它的构筑理念是受到人或其他动物神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法得以优化,所以人工神经网络也是数学统计学方法的一种实际应用,通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间,另一方面在人工智能学的人工感知领域,我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法,人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力),这种方法比起正式的逻辑学推理演算更具有优势。
人工神经网络是一个能够学习,能够总结归纳的系统,也就是说它能够通过已知数据的实验运用来学习和归纳总结。人工神经网络通过对局部情况的对照比较(而这些比较是基于不同情况下的自动学习和要实际解决问题的复杂性所决定的),它能够推理产生一个可以自动识别的系统。与之不同的基于符号系统下的学习方法,它们也具有推理功能,只是它们是建立在逻辑算法的基础上,也就是说它们之所以能够推理,基础是需要有一个推理算法则的集合。
2AlphaGo的原理回顶部
AlphaGo的原理
首先,AlphaGo同优秀的选手进行了150000场比赛,通过人工神经网络找到这些比赛的模式。然后通过总结,它会预测选手在任何位置高概率进行的一切可能。AlphaGo的设计师通过让其反复卜扒的和早期版本的自己对战来提高神经网络,使其逐步提高获胜的机会。
从广义上讲,神经网络是一个非常复杂的数学模型,通过对其高达数百万参数的调整来改变的它的行为。神经网络学习的意思是,电脑一直持续对其参数进行微小的调整,来尝试使其不断进行微小的改进。在学习的第一阶段,神经网络提高模仿选手下棋的概率。在第二阶段,它增加自我发挥,赢得比赛的概率。反复对极其复杂的功能进行微小的调整,听起来十分疯狂,但是如果有足够长的时间,足够快的计算能力,非常好的网络实施起来并不苦难。并且这些调整都是自动进行的。
经过这两个阶段的训练,神经网络就可以同围棋业余爱好者下一盘不错的棋了。但对于职业来讲,它还有很长的路要走。在某种意义上,它并不思考每一手之后的几步棋,而是通过对未来结果的推算来决定下在哪里。为了达到职业级别,AlphaGp需要一种新的估算方法。
为了克服这一障碍,研究人员采取的办法是让它反复的和自己进行对战,以此来使其不断其对于胜利的估算能力。尽可能的提高每一步的获胜概率。(在实践中,AlphaGo对这个想法进行了稍微复杂的调整。)然后,AlphaGo再结合多线程来使用这一方法进行下棋。
我们可以看到,AlphaGo的评估系统并没有基于太多的围棋知识,通过分析现有的无数场比赛的棋谱,以及无数次的自我对战练习,AlphaGo的神经网络进行了数以十亿计的微小调整,即便每次只是一个很小的增量改进。这些调整帮助AlphaGp建立了一个估值系统,这和那些出色围棋选手的直觉相似,对于棋盘上的每一步棋都了如指掌。
此外AlphaGo也使用搜索和优化的思想,再加上神经网络的学习功能,这两者有助于找到棋盘上更好的位置。这也是目前AlphaGo能够高水平发挥的原因。
3神经网络的延伸和限制回顶部
神经网络的延伸和限制
神经网络的这种能力也可以被用在其他方面,比如让神经网络学习一种艺术风格,然后再将这种风格应用到其他图像上。这种想法很简单:首先让神经网络接触到大量的图像,然后来确认这些图像的风格,接着将新的图像带入这种风格。
这虽然不是伟大的艺术,但它仍然是一个显着的利用神经网络来捕捉直觉并且应用在其他地方的例子。
在过去的几年中,神经网络在许多领域被用来捕捉直觉和模式识别。许多项目使用神经这些网络,涉及的任务如识别艺术风格或好的视频游戏的发展战略。但也有非常不同的网络模拟的直觉惊人的例子,比如语音和自然语言。
由于这种多样性,我看到AlphaGo本身不是一个革命性的突破,而是作为一个极其重要的发展前沿:建立系统,可以捕捉的直觉和学会识别模式的能力。此前计算机科学家们已经做了几十年,没有取得长足的进展。但现在,神经网络的成功已经大大扩大,我们可以利用电脑攻击范围内的潜在问题。
事实上,目前现有的神经网络的理解能力是非常差的。神经网络很容易被愚弄。用神经网络识别图像是一个不错的手段。但是实验证明,通过对图像进行细微的改动,就可以愚弄图像。例如,下面的图像左边的图是原始图,研究人员对中间的图像进行了微小的调整后,神经网络就无法区分了,就将原图显示了出来。
另一个限制是,现有的系统往往需要许多模型来学习。例如,AlphaGo从150000场对战来学习。这是一个很庞大额度数字!很多情况下,显然无法提供如此庞大的模型案例。
J. 人工智能:什么是人工神经网络
许多 人工智能 计算机系统的核心技术是人工神经网络(ANN),而这种网络的灵感来源于人类大脑中的生物结构。
通过使用连接的“神经元”结构,这些网络可以通过“学习”并在没有人类参与的情况下处理和评估某些数据。
这样的实际实例之一是使用人工神经网络(ANN)识别图像中的对象。在构建一个识别“猫“图像的一个系统中,将在包含标记为“猫”的图像的数据集上训练人工神经网络,该数据集可用作任何进行分析的参考点。正如人们可能学会根据尾巴或皮毛等独特特征来识别狗一样,人工神经网络(ANN)也可以通过将每个图像分解成不同的组成部分(如颜色和形状)进行识别。
实际上,神经网络提供了位于托管数据之上的排序和分类级别,可基于相似度来辅助数据的聚类和分组。可以使用人工神经网络(ANN)生成复杂的垃圾邮件过滤器,查找欺诈行为的算法以及可以精确了解情绪的客户关系工具。
人工神经网络如何工作
人工神经网络的灵感来自人脑的神经组织,使用类似于神经元的计算节点构造而成,这些节点沿着通道(如神经突触的工作方式)进行信息交互。这意味着一个计算节点的输出将影响另一个计算节点的处理。
神经网络标志着人工智能发展的巨大飞跃,在此之前,人工智能一直依赖于使用预定义的过程和定期的人工干预来产生所需的结果。人工神经网络可以使分析负载分布在多个互连层的网络中,每个互连层包含互连节点。在处理信息并对其进行场景处理之后,信息将传递到下一个节点,然后向下传递到各个层。这个想法是允许将其他场景信息接入网络,以通知每个阶段的处理。
单个“隐藏”层神经网络的基本结构
就像渔网的结构一样,神经网络的一个单层使用链将处理节点连接在一起。大量的连接使这些节点之间的通信得到增强,从而提高了准确性和数据处理吞吐量。
然后,人工神经网络将许多这样的层相互叠放以分析数据,从而创建从第一层到最后一层的输入和输出数据流。尽管其层数将根据人工神经网络的性质及其任务而变化,但其想法是将数据从一层传递到另一层,并随其添加附加的场景信息。
人脑是用3D矩阵连接起来的,而不是大量堆叠的图层。就像人类大脑一样,节点在接收到特定刺激时会在人工神经网络上“发射”信号,并将信号传递到另一个节点。但是,对于人工神经网络,输入信号定义为实数,输出为各种输入的总和。
这些输入的值取决于它们的权重,该权重用于增加或减少与正在执行的任务相对应的输入数据的重要性。其目标是采用任意数量的二进制数值输入并将其转换为单个二进制数值输出。
更复杂的神经网络提高了数据分析的复杂性
早期的神经网络模型使用浅层结构,其中只使用一个输入和输出层。而现代的系统由一个输入层和一个输出层组成,其中输入层首先将数据输入网络,多个“隐藏”层增加了数据分析的复杂性。
这就是“深度学习”一词的由来——“深度”部分专门指任何使用多个“隐藏”层的神经网络。
聚会的例子
为了说明人工神经网络在实际中是如何工作的,我们将其简化为一个实际示例。
想象一下你被邀请参加一个聚会,而你正在决定是否参加,这可能需要权衡利弊,并将各种因素纳入决策过程。在此示例中,只选择三个因素——“我的朋友会去吗?”、“聚会地点远吗?”、“天气会好吗?”
通过将这些考虑因素转换为二进制数值,可以使用人工神经网络对该过程进行建模。例如,我们可以为“天气”指定一个二进制数值,即‘1'代表晴天,‘0'代表恶劣天气。每个决定因素将重复相同的格式。
然而,仅仅赋值是不够的,因为这不能帮助你做出决定。为此需要定义一个阈值,即积极因素的数量超过消极因素的数量。根据二进制数值,合适的阈值可以是“2”。换句话说,在决定参加聚会之前,需要两个因素的阈值都是“1”,你才会决定去参加聚会。如果你的朋友要参加聚会(‘1'),并且天气很好(‘1'),那么这就表示你可以参加聚会。
如果天气不好(‘0'),并且聚会地点很远(‘0'),则达不到这一阈值,即使你的朋友参加(‘1'),你也不会参加聚会。
神经加权
诚然,这是神经网络基本原理的一个非常基本的例子,但希望它有助于突出二进制值和阈值的概念。然而,决策过程要比这个例子复杂得多,而且通常情况下,一个因素比另一个因素对决策过程的影响更大。
要创建这种变化,可以使用“神经加权”——-通过乘以因素的权重来确定因素的二进制值对其他因素的重要性。
尽管示例中的每个注意事项都可能使你难以决策,但你可能会更重视其中一个或两个因素。如果你不愿意在大雨中出行去聚会,那恶劣的天气将会超过其他两个考虑因素。在这一示例中,可以通过赋予更高的权重来更加重视天气因素的二进制值:
天气= w5
朋友= w2
距离= w2
如果假设阈值现在已设置为6,则恶劣的天气(值为0)将阻止其余输入达到所需的阈值,因此该节点将不会“触发”(这意味着你将决定不参加聚会)。
虽然这是一个简单的示例,但它提供了基于提供的权重做出决策的概述。如果要将其推断为图像识别系统,则是否参加聚会(输入)的各种考虑因素将是给定图像的折衷特征,即颜色、大小或形状。例如,对识别狗进行训练的系统可以对形状或颜色赋予更大的权重。
当神经网络处于训练状态时,权重和阈值将设置为随机值。然后,当训练数据通过网络传递时将不断进行调整,直到获得一致的输出为止。
神经网络的好处
神经网络可以有机地学习。也就是说,神经网络的输出结果并不受输入数据的完全限制。人工神经网络可以概括输入数据,使其在模式识别系统中具有价值。
他们还可以找到实现计算密集型答案的捷径。人工神经网络可以推断数据点之间的关系,而不是期望数据源中的记录是明确关联的。
它们也可以是容错的。当神经网络扩展到多个系统时,它们可以绕过无法通信的缺失节点。除了围绕网络中不再起作用的部分进行路由之外,人工神经网络还可以通过推理重新生成数据,并帮助确定不起作用的节点。这对于网络的自诊断和调试非常有用。
但是,深度神经网络提供的最大优势是能够处理和聚类非结构化数据,例如图片、音频文件、视频、文本、数字等数据。在分析层次结构中,每一层节点都在前一层的输出上进行训练,深层神经网络能够处理大量的这种非结构化数据,以便在人类处理分析之前找到相似之处。
神经网络的例子
神经网络应用还有许多示例,可以利用它从复杂或不精确数据中获得见解的能力。
图像识别人工神经网络可以解决诸如分析特定物体的照片等问题。这种算法可以用来区分狗和猫。更重要的是,神经网络已经被用于只使用细胞形状信息来诊断癌症。
近30年来,金融神经网络被用于汇率预测、股票表现和选择预测。神经网络也被用来确定贷款信用评分,学习正确识别良好的或糟糕的信用风险。而电信神经网络已被电信公司用于通过实时评估网络流量来优化路由和服务质量。