1. 身體如何進行內部通信
人體是一個非常精妙的有機生命體。面對環境中的刺激，人體會非常迅速的做出適應性的反應。舉一個例子，你正駕車行駛在蜿蜒的山路上，前方一輛車突然直沖你而來。你甚至無需思考，趕緊朝反方向緊打方向盤，避開了對方。你怎麼能這樣迅速的做出反應，避開危險的呢？這就涉及到我們身體如何進行內部通信？
人體有兩套通信系統：行動迅速的神經系統和行動較為遲緩的內分泌系統。神經系統具有遍布周身的神經細胞網路，並且以電沖動和化學能的形式將信息傳到身體的各個部分。在你遇到危險時，正是這個系統首先反應，讓你迅速採取行動，避開危險。
我們先看一下神經系統的基本建構。神經元是神經系統的基本構成單位，它是一種專門用來接收，處理和傳送信息的細胞。一個典型的神經元可以從上千個細胞那裡接收信息，並且在幾分之一秒內做出決定，將信息以每秒100米的速度傳送給上千個，有時甚至多達上萬個神經元。
生物心理學家根據神經元所處位置和功能的不同將神經元分為三大類，感覺神經元，運動神經元和中間神經元。感覺神經元也叫傳入神經元，負責將各種感覺體驗（ 包括視覺，聽覺，味覺，觸覺，嗅覺，疼痛感和平衡感 ）從感覺器官傳遞給腦。運動神經元也叫傳出神經元，負責將信息從腦傳遞到肌肉，器官和腺體。感覺神經元和運動神經元很少直接互相傳遞信息，除非在最簡單的反射迴路中，它們之間的通信通常依賴於中間啟臘虛神經元。在腦和脊髓的數＋億細胞中大多數都是中間神經元。來自感覺神經元的信息，由中間神經元接替，傳遞給其他的中間神經元和運動神經元，有時傳遞的路線非常復雜。其實腦在很大程度上是一個由數十億中間神經元巧妙連接起來的網路。
在駕車這個例子中，感覺神經元將我們眼睛看到的信息（前面一輛車直沖而來）傳遞給中間神經元，中間神經元將朝反方向緊打方向盤的指令通過運動神經元傳達到手，從而使我們避開了危險。
神經元傳遞信息的速度如此之快，是與它的結構密切相關的。一個神經元包括胞體和突起兩個部分，突起又有兩種，長而少的突起叫軸突，短而多的突起叫樹突。樹突尤如一張情報網，負責收集來自外部刺激（比如壓力、光和聲音）或者是鄰近神經元的活動。樹突通過將傳入的信息傳遞到胞體這一神經元的中心部分來完成自己的任務。胞體不僅含有神經元的細胞核和維持其生命的系統，而且還要承擔評估來自於樹突以悄燃及直接來自於其他神經元的信息。在這一過程中，來自某個突觸的信息並不重要，因為一個典型的神經元要從數以百計，甚至是千計的其他神經元接受信息。更復雜的是，這些信息有些是讓神經元觸發的興奮性的信息，另一些則是不讓神經元觸發的抑制性的信息。胞體到底被喚起到什麼程度，取決於其接收到信息的總和。當神經元接收到的興奮信號多於抑制信號的時候，神經元就會被喚起，並發出一個自己的信號，該信號由單一的發射纖維即軸突發送。
神經細胞間的間隙叫做突觸，主要起到電絕緣體的作用，防止沿軸突傳遞下來的電荷跳到下一個細胞。為了讓信息能夠跨越突觸間隙繼續傳遞，神經元必須啟動在終扣內發生的進程。終扣是軸突末端內的球狀結構。隨後被稱為突觸傳遞的一系列重要活動會把電信號轉變為能夠在神經元之間的突觸間隙自如傳遞的化學信號。神經遞質便是在神經元之間進行通信的化學物質。神經學科學家已經鑒別出許多種不同的神經遞質，下面會介紹七種被證明對心理功能特別重要的神經遞質。局陪而且這些遞質的失衡被認為會導致某種心理障礙。同時，這些神經遞質的行為會受到一些化學物質的影響，這也是葯物治療心理障礙的機理。這七種神經遞質分別是：1、多巴胺 讓人產生愉悅和回報的感覺，與隨意運動有關的中樞神經系統神經元使用該神經遞質。當多巴胺不平衡時，就會導致精神分裂症、帕金森氏症。多巴胺的會受到可卡因，安非他明，酒精等物質的影響。
2、血清素 調節睡夢，心情、疼痛，攻擊行為，食慾和性行為。不平衡時會導致抑鬱症，某種焦慮症，強迫症。百憂解、致幻劑會影響血清素的行為。
3、去甲腎上腺素 植物性神經系統中，以及幾乎腦所有區域中的神經元都使用該神經遞質。去甲腎上腺素的失衡會導致高血壓，抑鬱症。三環類抗抑鬱葯，β受體阻滯劑會影響它的行為。
4、乙醯膽鹼 運動神經元將信息從中樞神經系統傳出所使用的主要神經遞質。某些學習和記憶過程也使用該神經遞質。失衡時會引起某些肌肉障礙，老年痴呆症。 黑寡婦蜘蛛的毒液和肉毒桿菌毒素，箭毒、尼古丁等會影響該神經遞質的行為。
5、r－氨基丁酸 是中樞神經系統神經元中最普遍的抑制性神經遞質。失衡時會導致焦慮症，癲癇症。巴比妥類葯物、弱鎮定劑（如安定，利眠寧）等會影響該神經遞質的行為。
6、谷氨酸 中樞神經系統中有關學習和記憶的主要興奮型神經遞質。中風後過量谷氨酸的釋放顯然會導致腦損傷。五氯酚會影響它的行為。
7、內啡肽 使人產生愉悅感和對疼痛的控制。吸食鴉片上癮會導致該神經遞質水平降低。鴉片類葯物如鴉片，海洛因，嗎啡和美沙酮會影響該神經遞質的行為。
神經元有一個非常重要的特性，叫做可塑性。它既可以與其它的細胞建立新的連接，也可以加強現有的連接。這說明神經系統，特別是腦，會隨著人的經歷而發生功能上和生理結構上的改變。
膠質細胞是為神經元提供支持的細胞。它為神經元提供結構性的支持，並且幫助其形成新的突觸。新的證據還顯示，他們還可能是學習過程的重要部分。膠質細胞還會形成髓鞘。髓鞘是腦和脊髓中許多軸突周圍的脂肪絕緣物質。就像電線外面的包漆一樣，髓鞘隔絕和保護神經細胞，並且幫助神經沖動沿著軸突加速傳導。不幸的是，某些疾病（如多發性硬化症）會攻擊髓鞘，特別是運動通路中的髓鞘，結果會導致神經沖動難以正常傳導，因此，患有此病的病人會難以控制動作。
所以你的神經系統有兩種主要的構建單元：具有驚人可塑性的神經元和保護它們並幫助它們傳遞信息的支持性膠質細胞。不過，雖然這些細胞個體非常神奇，我們還要指出，從行為和心理過程的全局來看，單獨一個細胞做不了什麼，要想產生思維，感覺和情感，需要數以千計，甚至是數以百萬計的神經元以同步波形反復觸發它們的電子化學信號，並在腦無比復雜的神經網路中傳遞這些信號。相似的，人體的所有動作都是由通過神經系統傳導到你肌肉，腺體和器官的神經沖動波所激發的。精神活性葯物如鎮靜劑，抗抑鬱葯物，鎮痛葯物的效果依賴於在個體細胞和它們突觸的層面改變神經沖動波的化學性質。
神經系統又可以分為中樞神經系統和周圍神經系統兩大類。中樞神經系統包括腦和脊髓，是身體的司令部。它負責各種復雜的決策，協調身體的各項功能，並啟動我們的各種行為。脊髓將腦和周圍神經系統的各個部分連接起來。同時它還負責一些簡單而迅速的反射，這些反射不需要腦的強大能力進行處理。隨意運動需要腦的參與。這就是為何對脊髓神經的損傷會導致肢體癱瘓的原因。癱瘓的程度取決於損傷的位置，一般而言，損傷的位置越高，癱瘓的程度就越高。
周圍神經系統又分為體神經系統和植物性神經系統。體神經系統是腦和外部世界相連的溝通渠道。其感覺組成部分，將感覺器官與腦相連，而其運動組成部分則將中樞神經系統與控制隨意運動的骨骼肌相連。所以當你看見一塊披薩餅的時候，體神經系統的傳入神經系統會將披薩餅的圖象傳遞給腦，隨後如果一切正常，傳出神經系統會將腦發出的指令傳給肌肉，把那塊披薩餅送入你的嘴巴。
植物性神經系統傳遞控制內臟的信號，告訴內臟完成諸如調節消化，呼吸，心率和喚起水平的工作。令人驚訝的是，所有這些並不需要我們意識的參與便能自動完成。即便你在入睡，亦或是昏迷的時候，植物性神經系統依然可以讓維持生命的基本身體機能正常工作。
生物心理學家將植物性神經系統進一步分為交感神經和副交感神經。它們功能相反（交感神經負責喚起，副交感神經負責平復），又共同合作，就像是翹翹板兩頭的孩子一樣。
2. 人體內神經網路有多大
神經，對我們人體來說是至關重要的。神經可以傳遞信息，使我們感知身體接觸的一切。如果你的困侍手被刺扎了一下，手就會向後猛地一抽，這就是神經的快速反應。神經信號繞過你的大腦直接通過你的脊髓傳達到肌肉，這才使你納尺高盡可能快地將手縮回來。
經解剖學家測定，大約有75公里長的神經蜿蜒穿過我們的身體。像蜘蛛網一樣的神經網路在我們的腦、脊髓和身體之間傳遞著各種信息。這種信洞尺息以微小電信號的形式存在著。
3. AlphaGo的神奇全靠它，詳解人工神經網路!
- 01
Alphago在不被看好的情況下，以4比1擊敗了圍棋世界冠軍李世石，令其名震天下。隨著AlphaGo知名度的不斷提高，人們不禁好奇，究竟是什麼使得AlphaGo得以戰勝人類大腦？AlphaGo的核心依託——人工神經網路。
什麼是神經網路?
人工神經網路是一種模仿生物神經網路(動物的中樞神經系統，特別是大腦)的結構型大昌和功能的數學模型或計算模型。神經網路由大量的人工神經元聯結進行計算。大多數情況下人工神經網路能在外界信息的基礎上改變內部結構，是一種自適應系統。現代神經網路是一種非線性統計性數據建模工具，常用來對輸入和輸出間復雜的關系進行建模，或用來探索數據的模式。
神經網路是一種運算模型，由大量的節點（或稱“神經元”，或“單元”）和之間相互聯接構成。每個節點代表一種特仿返定的輸出函數，稱為激勵函數。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重，這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。
例如，用於手寫識別的一個神經網路是被可由一個輸入圖像的像素被激活的一組輸入神經元所定義的。在通過函數（由網路的設計者確定）進行加權和變換之後，這些神經元被激活然後被傳遞到其他神經元。重復這一過程，直到最後一個輸出神經元被激活。這樣決定了被讀取的字。
它的構築理念是受到人或其他動物神經網路功能的運作啟發而產生的。人工神經網路通常是通過一個基於數學統計學類型的學習方法得以優化，所以人工神經網路也是數學統計學方法的一種實際應用，通過統計學的標准數學方法我們能夠得到大量的可以用函數來表達的局部結構空間，另一方面在人工智慧學的人工感知領域，我們通過數學統計學的應用可以來做人工感知方面的決定問題(也就是說通過統計學的方法，人工神經網路能夠類似人一樣具有簡單的決定能力和簡單的判斷能力)，這種方法比起正式的邏輯學推理演算更具有優勢。
人工神經網路是一個能夠學習，能夠總結歸納的系統，也就是說它能夠通過已知數據的實驗運用來學習和歸納總結。人工神經網路通過對局部情況的對照比較（而這些比較是基於不同情況下的自動學習和要實際解決問題的復雜性所決定的），它能夠推理產生一個可以自動識別的系統。與之不同的基於符號系統下的學習方法，它們也具有推理功能，只是它們是建立在邏輯演算法的基礎上，也就是說它們之所以能夠推理，基礎是需要有一個推理演算法則的集合。
2AlphaGo的原理回頂部
AlphaGo的原理
首先，AlphaGo同優秀的選手進行了150000場比賽，通過人工神經網路找到這些比賽的模式。然後通過總結，它會預測選手在任何位置高概率進行的一切可能。AlphaGo的設計師通過讓其反復卜扒的和早期版本的自己對戰來提高神經網路，使其逐步提高獲勝的機會。
從廣義上講，神經網路是一個非常復雜的數學模型，通過對其高達數百萬參數的調整來改變的它的行為。神經網路學習的意思是，電腦一直持續對其參數進行微小的調整，來嘗試使其不斷進行微小的改進。在學習的第一階段，神經網路提高模仿選手下棋的概率。在第二階段，它增加自我發揮，贏得比賽的概率。反復對極其復雜的功能進行微小的調整，聽起來十分瘋狂，但是如果有足夠長的時間，足夠快的計算能力，非常好的網路實施起來並不苦難。並且這些調整都是自動進行的。
經過這兩個階段的訓練，神經網路就可以同圍棋業余愛好者下一盤不錯的棋了。但對於職業來講，它還有很長的路要走。在某種意義上，它並不思考每一手之後的幾步棋，而是通過對未來結果的推算來決定下在哪裡。為了達到職業級別，AlphaGp需要一種新的估算方法。
為了克服這一障礙，研究人員採取的辦法是讓它反復的和自己進行對戰，以此來使其不斷其對於勝利的估算能力。盡可能的提高每一步的獲勝概率。（在實踐中，AlphaGo對這個想法進行了稍微復雜的調整。）然後，AlphaGo再結合多線程來使用這一方法進行下棋。
我們可以看到，AlphaGo的評估系統並沒有基於太多的圍棋知識，通過分析現有的無數場比賽的棋譜，以及無數次的自我對戰練習，AlphaGo的神經網路進行了數以十億計的微小調整，即便每次只是一個很小的增量改進。這些調整幫助AlphaGp建立了一個估值系統，這和那些出色圍棋選手的直覺相似，對於棋盤上的每一步棋都了如指掌。
此外AlphaGo也使用搜索和優化的思想，再加上神經網路的學習功能，這兩者有助於找到棋盤上更好的位置。這也是目前AlphaGo能夠高水平發揮的原因。
3神經網路的延伸和限制回頂部
神經網路的延伸和限制
神經網路的這種能力也可以被用在其他方面，比如讓神經網路學習一種藝術風格，然後再將這種風格應用到其他圖像上。這種想法很簡單：首先讓神經網路接觸到大量的圖像，然後來確認這些圖像的風格，接著將新的圖像帶入這種風格。
這雖然不是偉大的藝術，但它仍然是一個顯著的利用神經網路來捕捉直覺並且應用在其他地方的例子。
在過去的幾年中，神經網路在許多領域被用來捕捉直覺和模式識別。許多項目使用神經這些網路，涉及的任務如識別藝術風格或好的視頻游戲的發展戰略。但也有非常不同的網路模擬的直覺驚人的例子，比如語音和自然語言。
由於這種多樣性，我看到AlphaGo本身不是一個革命性的突破，而是作為一個極其重要的發展前沿：建立系統，可以捕捉的直覺和學會識別模式的能力。此前計算機科學家們已經做了幾十年，沒有取得長足的進展。但現在，神經網路的成功已經大大擴大，我們可以利用電腦攻擊范圍內的潛在問題。
事實上，目前現有的神經網路的理解能力是非常差的。神經網路很容易被愚弄。用神經網路識別圖像是一個不錯的手段。但是實驗證明，通過對圖像進行細微的改動，就可以愚弄圖像。例如，下面的圖像左邊的圖是原始圖，研究人員對中間的圖像進行了微小的調整後，神經網路就無法區分了，就將原圖顯示了出來。
另一個限制是，現有的系統往往需要許多模型來學習。例如，AlphaGo從150000場對戰來學習。這是一個很龐大額度數字！很多情況下，顯然無法提供如此龐大的模型案例。
4. 人工神經網路概述（更新中）
智能： 從感覺到記憶再到思維的過程稱為「智慧」，智慧的結果是語言和行為。行為和語言予以表達稱為「能力」。智慧和能力的總稱為「智能」。感覺、記憶、思維、行為、語言的過程稱為「智能過程」。
人工智慧： 人工構建的智能系統。
人工智慧是研究和開發用於模擬、延伸和擴展人類智能的理論、方法、技術及應用的技術學科，其主要研究內容可以歸納為以下四個方面。
人工神經網路是基於生物神經元網路機制提出的一種計算結構，是生物神經網路的某種模擬、簡化和抽象。神經元是這一網路的「節點」，即「處理單元」。
人工神經網路可用於逼近非線性映射、分類識別、優化計算以及知識挖掘。近年來，人工神經網路在模式識別、信號處理、控制工程和優化計算領域得到了廣泛的應用。
M-P模型由心理學家McCulloch和數學家W. Pitts在1943年提出。
M-P模型結構是一個多輸入、單輸出的非線性元件。其I/O關系可推述為
其中， 表示從其他神經元傳來的輸入信號; 表示從神經元 到神經元 的連接權值; 表示閾值; 表示激勵函數或轉移函數; 表示神亂襲經元 的輸出信號。
作為一種最基本的神經元數學模型，M-P模型包括了加權、求和和激勵（轉移）三部分功能。
神經元的數據模型主要區別於採用了不同的激勵函數。
概率型函數的輸入和輸出之間的關系是不確定的。分布律如下
其中， 被稱為溫度參數。
感知機（Perceptron）是美國學者Rosenblatt於1957年提出的一種派腔用於模式分類的神經網路模型。
M-P模型通常叫做單輸出的感知機。按照M-P模型的要求，該人工神經元的激活函數為階躍函數。為了方便表示，M-P模型表示為下圖所示的結構。
用多個這樣的單輸入感知機可以構成一個多輸出的感知機，其結構如下
對於二維平面，當輸入/輸出為 線性可分 集合時，一定可以找到一條直線將模式分成兩類。此時感知機的結構圖3所示，顯然通過調整感知機的權值及閾值可以修改兩類模式的分界線:
線性可分： 這里的線性可分是指兩類樣本可以用直線、平面或超平面分開，否則稱為線性不可分。
感知機的基本功能是對外部信號進行感知和識別，這就是當外部 個刺激信號或來自其它 個神經元（的信號）處於一定的狀態時，感知機就處於興奮狀態，而外部 個信號或 個神經元的輸出處於另一個狀態時，感知機就呈現抑制狀態。
如果 、 是 中兩個互不相交的集合，且有如下方程成立
則稱集合 為感知機的 學習目標 。根據感知機模型，學習演算法實際上是要尋找權重 、 滿足下述要求：
感知機的訓練過程是感知機權值的逐步調整過程，為此，用 表示每一次調整的序號。 對嘩羨兄應於學習開始前的初始狀態，此時對應的權值為初始化值。
5. 人工神經網路綜述
文章主要分為：
一、人工神經網路的概念；
二、人工神經網路的發展歷史；
三、人工神經網路的特點；
四、人工神經網路的結構。
。。
人工神經網路（Artificial Neural Network，ANN）簡稱神經網路(NN)，是基於生物學中神經網路的基本原理，在理解和抽象了人腦結構和外界刺激響應機制後，以網路拓撲知識為理論基礎，模擬人腦的神經系統對復雜信息的處理機制的一種數學模型。該模型以並行分布的處理能力、高容錯性、智能化和自學習等能力為特徵，將信息的加工和存儲結合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的復雜網路，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現的系統。
神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激活函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重（weight），神經網路就是通過這種方式來模擬人類的記憶。網路的輸出則取決於網路的結構、網路的連接方式、權重和激活函數。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。神經網路的構築理念是受到生物的神經網路運作啟發而產生的。人工神經網路則是把對生物神經網路的認識與數學統計模型相結合，藉助數學統計工具來實現。另一方面在人工智慧學的人工感知領域，我們通過數學統計學的方法，使神經網路能夠具備類似於人的決定能力和簡單的判斷能力，這種方法是對傳統邏輯學演算的進一步延伸。
人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。
神經網路，是一種應用類似於大腦神經突觸連接結構進行信息處理的數學模型，它是在人類對自身大腦組織結合和思維機制的認識理解基礎之上模擬出來的，它是根植於神經科學、數學、思維科學、人工智慧、統計學、物理學、計算機科學以及工程科學的一門技術。
在介紹神經網路的發展歷史之前，首先介紹一下神經網路的概念。神經網路主要是指一種仿造人腦設計的簡化的計算模型，這種模型中包含了大量的用於計算的神經元，這些神經元之間會通過一些帶有權重的連邊以一種層次化的方式組織在一起。每一層的神經元之間可以進行大規模的並行計算，層與層之間進行消息的傳遞。
下圖展示了整個神經網路的發展歷程：
神經網路的發展有悠久的歷史。其發展過程大致可以概括為如下4個階段。
(1)、M-P神經網路模型：20世紀40年代，人們就開始了對神經網路的研究。1943 年，美國心理學家麥克洛奇（Mcculloch）和數學家皮茲（Pitts）提出了M-P模型，此模型比較簡單，但是意義重大。在模型中，通過把神經元看作個功能邏輯器件來實現演算法，從此開創了神經網路模型的理論研究。
(2)、Hebb規則：1949 年，心理學家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學），他在書中提出了突觸連接強度可變的假設。這個假設認為學習過程最終發生在神經元之間的突觸部位，突觸的連接強度隨之突觸前後神經元的活動而變化。這一假設發展成為後來神經網路中非常著名的Hebb規則。這一法則告訴人們，神經元之間突觸的聯系強度是可變的，這種可變性是學習和記憶的基礎。Hebb法則為構造有學習功能的神經網路模型奠定了基礎。
(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎，提出了感知器（Perceptron）模型。感知器模型具有現代神經網路的基本原則，並且它的結構非常符合神經生理學。這是一個具有連續可調權值矢量的MP神經網路模型，經過訓練可以達到對一定的輸入矢量模式進行分類和識別的目的，它雖然比較簡單，卻是第一個真正意義上的神經網路。Rosenblatt 證明了兩層感知器能夠對輸入進行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經網路模型包含了一些現代神經計算機的基本原理，從而形成神經網路方法和技術的重大突破。
(4)、ADALINE網路模型： 1959年，美國著名工程師威德羅（B.Widrow）和霍夫（M.Hoff）等人提出了自適應線性元件(Adaptive linear element，簡稱Adaline)和Widrow-Hoff學習規則（又稱最小均方差演算法或稱δ規則）的神經網路訓練方法，並將其應用於實際工程，成為第一個用於解決實際問題的人工神經網路，促進了神經網路的研究應用和發展。ADALINE網路模型是一種連續取值的自適應線性神經元網路模型，可以用於自適應系統。
人工智慧的創始人之一Minsky和Papert對以感知器為代表的網路系統的功能及局限性從數學上做了深入研究，於1969年發表了轟動一時《Perceptrons》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題，如簡單的線性感知器不可能實現「異或」的邏輯關系等。這一論斷給當時人工神經元網路的研究帶來沉重的打擊。開始了神經網路發展史上長達10年的低潮期。
(1)、自組織神經網路SOM模型：1972年，芬蘭的KohonenT.教授，提出了自組織神經網路SOM(Self-Organizing feature map)。後來的神經網路主要是根據KohonenT.的工作來實現的。SOM網路是一類無導師學習網路，主要用於模式識別﹑語音識別及分類問題。它採用一種「勝者為王」的競爭學習演算法，與先前提出的感知器有很大的不同，同時它的學習訓練方式是無指導訓練，是一種自組織網路。這種學習訓練方式往往是在不知道有哪些分類類型存在時，用作提取分類信息的一種訓練。
(2)、自適應共振理論ART：1976年，美國Grossberg教授提出了著名的自適應共振理論ART(Adaptive Resonance Theory)，其學習過程具有自組織和自穩定的特徵。
(1)、Hopfield模型：1982年，美國物理學家霍普菲爾德（Hopfield）提出了一種離散神經網路，即離散Hopfield網路，從而有力地推動了神經網路的研究。在網路中，它首次將李雅普諾夫（Lyapunov）函數引入其中，後來的研究學者也將Lyapunov函數稱為能量函數。證明了網路的穩定性。1984年，Hopfield 又提出了一種連續神經網路，將網路中神經元的激活函數由離散型改為連續型。1985 年，Hopfield和Tank利用Hopfield神經網路解決了著名的旅行推銷商問題（Travelling Salesman Problem）。Hopfield神經網路是一組非線性微分方程。Hopfield的模型不僅對人工神經網路信息存儲和提取功能進行了非線性數學概括，提出了動力方程和學習方程，還對網路演算法提供了重要公式和參數，使人工神經網路的構造和學習有了理論指導，在Hopfield模型的影響下，大量學者又激發起研究神經網路的熱情，積極投身於這一學術領域中。因為Hopfield 神經網路在眾多方面具有巨大潛力，所以人們對神經網路的研究十分地重視，更多的人開始了研究神經網路，極大地推動了神經網路的發展。
(2)、Boltzmann機模型：1983年，Kirkpatrick等人認識到模擬退火演算法可用於NP完全組合優化問題的求解，這種模擬高溫物體退火過程來找尋全局最優解的方法最早由Metropli等人1953年提出的。1984年，Hinton與年輕學者Sejnowski等合作提出了大規模並行網路學習機，並明確提出隱單元的概念，這種學習機後來被稱為Boltzmann機。
Hinton和Sejnowsky利用統計物理學的感念和方法，首次提出的多層網路的學習演算法，稱為Boltzmann 機模型。
(3)、BP神經網路模型：1986年，儒默哈特（D.E.Ru melhart）等人在多層神經網路模型的基礎上，提出了多層神經網路權值修正的反向傳播學習演算法----BP演算法（Error Back-Propagation），解決了多層前向神經網路的學習問題，證明了多層神經網路具有很強的學習能力，它可以完成許多學習任務，解決許多實際問題。
(4)、並行分布處理理論：1986年，由Rumelhart和McCkekkand主編的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，該書中，他們建立了並行分布處理理論，主要致力於認知的微觀研究，同時對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播演算法即BP演算法進行了詳盡的分析，解決了長期以來沒有權值調整有效演算法的難題。可以求解感知機所不能解決的問題，回答了《Perceptrons》一書中關於神經網路局限性的問題，從實踐上證實了人工神經網路有很強的運算能力。
(5)、細胞神經網路模型：1988年，Chua和Yang提出了細胞神經網路（CNN）模型，它是一個細胞自動機特性的大規模非線性計算機模擬系統。Kosko建立了雙向聯想存儲模型（BAM），它具有非監督學習能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初產生了很大的影響，他建立了一種神經網路系統理論。
(7)、1988年，Linsker對感知機網路提出了新的自組織理論，並在Shanon資訊理論的基礎上形成了最大互信息理論，從而點燃了基於NN的信息應用理論的光芒。
(8)、1988年，Broomhead和Lowe用徑向基函數(Radialbasis function, RBF)提出分層網路的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。
(9)、1991年，Haken把協同引入神經網路，在他的理論框架中，他認為，認知過程是自發的，並斷言模式識別過程即是模式形成過程。
(10)、1994年，廖曉昕關於細胞神經網路的數學理論與基礎的提出，帶來了這個領域新的進展。通過拓廣神經網路的激活函數類，給出了更一般的時滯細胞神經網路(DCNN)、Hopfield神經網路（HNN）、雙向聯想記憶網路（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量機(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。
經過多年的發展，已有上百種的神經網路模型被提出。
深度學習(Deep Learning,DL)由Hinton等人於2006年提出，是機器學習的一個新領域。深度學習本質上是構建含有多隱層的機器學習架構模型，通過大規模數據進行訓練，得到大量更具代表性的特徵信息。深度學習演算法打破了傳統神經網路對層數的限制，可根據設計者需要選擇網路層數。
突觸是神經元之間相互連接的介面部分，即一個神經元的神經末梢與另一個神經元的樹突相接觸的交界面，位於神經元的神經末梢尾端。突觸是軸突的終端。
大腦可視作為1000多億神經元組成的神經網路。神經元的信息傳遞和處理是一種電化學活動．樹突由於電化學作用接受外界的刺激，通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其它的神經元．從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統的動態過程。
神經元的功能特性：（1）時空整合功能；（2）神經元的動態極化性；（3）興奮與抑制狀態；（4）結構的可塑性；（5）脈沖與電位信號的轉換；（6）突觸延期和不應期；（7）學習、遺忘和疲勞。
神經網路從兩個方面模擬大腦：
(1)、神經網路獲取的知識是從外界環境中學習得來的。
(2)、內部神經元的連接強度，即突觸權值，用於儲存獲取的知識。
神經網路系統由能夠處理人類大腦不同部分之間信息傳遞的由大量神經元連接形成的拓撲結構組成，依賴於這些龐大的神經元數目和它們之間的聯系，人類的大腦能夠收到輸入的信息的刺激由分布式並行處理的神經元相互連接進行非線性映射處理，從而實現復雜的信息處理和推理任務。
對於某個處理單元（神經元）來說，假設來自其他處理單元（神經元）i的信息為Xi，它們與本處理單元的互相作用強度即連接權值為Wi, i=0,1,…,n-1,處理單元的內部閾值為θ。那麼本處理單元（神經元）的輸入為：
，而處理單元的輸出為：
式中，xi為第i個元素的輸入，wi為第i個處理單元與本處理單元的互聯權重即神經元連接權值。f稱為激活函數或作用函數，它決定節點（神經元）的輸出。θ表示隱含層神經節點的閾值。
神經網路的主要工作是建立模型和確定權值，一般有前向型和反饋型兩種網路結構。通常神經網路的學習和訓練需要一組輸入數據和輸出數據對，選擇網路模型和傳遞、訓練函數後，神經網路計算得到輸出結果，根據實際輸出和期望輸出之間的誤差進行權值的修正，在網路進行判斷的時候就只有輸入數據而沒有預期的輸出結果。神經網路一個相當重要的能力是其網路能通過它的神經元權值和閾值的不斷調整從環境中進行學習，直到網路的輸出誤差達到預期的結果，就認為網路訓練結束。
對於這樣一種多輸入、單輸出的基本單元可以進一步從生物化學、電生物學、數學等方面給出描述其功能的模型。利用大量神經元相互連接組成的人工神經網路，將顯示出人腦的若干特徵，人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重wij值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以至超過設計者原有的知識水平。通常，它的學習(或訓練)方式可分為兩種，一種是有監督(supervised)或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督(unsupervised)學習或稱無導師學習，這時，只規定學習方式或某些規則，而具體的學習內容隨系統所處環境(即輸入信號情況)而異，系統可以自動發現環境特徵和規律性，具有更近似於人腦的功能。
在人工神經網路設計及應用研究中，通常需要考慮三個方面的內容，即神經元激活函數、神經元之間的連接形式和網路的學習(訓練)。
6. 人工神經網路的應用分析
經過幾十年的發展，神經網路理論在模式識別、自動控制、信號處理、輔助決策、人工智慧等眾多研究領域取得了廣泛的成功。下面介紹神經網路在一些領域中的應用現狀。 在處理許多問題中，信息來源既不完整，又包含假象，決策規則有時相互矛盾，有時無章可循，這給傳統的信息處理方式帶來了很大的困難，而神經網路卻能很好的處理這些問題，並給出合理的識別與判斷。
1.信息處理
現代信息處理要解決的問題是很復雜的，人工神經網路具有模仿或代替與人的思維有關的功能， 可以實現自動診斷、問題求解，解決傳統方法所不能或難以解決的問題。人工神經網路系統具有很高的容錯性、魯棒性及自組織性，即使連接線遭到很高程度的破壞， 它仍能處在優化工作狀態，這點在軍事系統電子設備中得到廣泛的應用。現有的智能信息系統有智能儀器、自動跟蹤監測儀器系統、自動控制制導系統、自動故障診斷和報警系統等。
2. 模式識別
模式識別是對表徵事物或現象的各種形式的信息進行處理和分析，來對事物或現象進行描述、辨認、分類和解釋的過程。該技術以貝葉斯概率論和申農的資訊理論為理論基礎，對信息的處理過程更接近人類大腦的邏輯思維過程。現在有兩種基本的模式識別方法，即統計模式識別方法和結構模式識別方法。人工神經網路是模式識別中的常用方法，近年來發展起來的人工神經網路模式的識別方法逐漸取代傳統的模式識別方法。經過多年的研究和發展，模式識別已成為當前比較先進的技術，被廣泛應用到文字識別、語音識別、指紋識別、遙感圖像識別、人臉識別、手寫體字元的識別、工業故障檢測、精確制導等方面。 由於人體和疾病的復雜性、不可預測性，在生物信號與信息的表現形式上、變化規律（自身變化與醫學干預後變化）上，對其進行檢測與信號表達，獲取的數據及信息的分析、決策等諸多方面都存在非常復雜的非線性聯系，適合人工神經網路的應用。目前的研究幾乎涉及從基礎醫學到臨床醫學的各個方面，主要應用在生物信號的檢測與自動分析，醫學專家系統等。
1. 生物信號的檢測與分析
大部分醫學檢測設備都是以連續波形的方式輸出數據的，這些波形是診斷的依據。人工神經網路是由大量的簡單處理單元連接而成的自適應動力學系統， 具有巨量並行性，分布式存貯，自適應學習的自組織等功能，可以用它來解決生物醫學信號分析處理中常規法難以解決或無法解決的問題。神經網路在生物醫學信號檢測與處理中的應用主要集中在對腦電信號的分析，聽覺誘發電位信號的提取、肌電和胃腸電等信號的識別，心電信號的壓縮，醫學圖像的識別和處理等。
2. 醫學專家系統
傳統的專家系統，是把專家的經驗和知識以規則的形式存儲在計算機中，建立知識庫，用邏輯推理的方式進行醫療診斷。但是在實際應用中，隨著資料庫規模的增大，將導致知識「爆炸」，在知識獲取途徑中也存在「瓶頸」問題，致使工作效率很低。以非線性並行處理為基礎的神經網路為專家系統的研究指明了新的發展方向， 解決了專家系統的以上問題，並提高了知識的推理、自組織、自學習能力，從而神經網路在醫學專家系統中得到廣泛的應用和發展。在麻醉與危重醫學等相關領域的研究中，涉及到多生理變數的分析與預測，在臨床數據中存在著一些尚未發現或無確切證據的關系與現象，信號的處理，干擾信號的自動區分檢測，各種臨床狀況的預測等，都可以應用到人工神經網路技術。 1. 市場價格預測
對商品價格變動的分析，可歸結為對影響市場供求關系的諸多因素的綜合分析。傳統的統計經濟學方法因其固有的局限性，難以對價格變動做出科學的預測，而人工神經網路容易處理不完整的、模糊不確定或規律性不明顯的數據，所以用人工神經網路進行價格預測是有著傳統方法無法相比的優勢。從市場價格的確定機制出發，依據影響商品價格的家庭戶數、人均可支配收入、貸款利率、城市化水平等復雜、多變的因素，建立較為准確可靠的模型。該模型可以對商品價格的變動趨勢進行科學預測，並得到准確客觀的評價結果。
2. 風險評估
風險是指在從事某項特定活動的過程中，因其存在的不確定性而產生的經濟或財務的損失、自然破壞或損傷的可能性。防範風險的最佳辦法就是事先對風險做出科學的預測和評估。應用人工神經網路的預測思想是根據具體現實的風險來源， 構造出適合實際情況的信用風險模型的結構和演算法，得到風險評價系數，然後確定實際問題的解決方案。利用該模型進行實證分析能夠彌補主觀評估的不足，可以取得滿意效果。 從神經網路模型的形成開始，它就與心理學就有著密不可分的聯系。神經網路抽象於神經元的信息處理功能，神經網路的訓練則反映了感覺、記憶、學習等認知過程。人們通過不斷地研究， 變化著人工神經網路的結構模型和學習規則，從不同角度探討著神經網路的認知功能，為其在心理學的研究中奠定了堅實的基礎。近年來，人工神經網路模型已經成為探討社會認知、記憶、學習等高級心理過程機制的不可或缺的工具。人工神經網路模型還可以對腦損傷病人的認知缺陷進行研究，對傳統的認知定位機制提出了挑戰。
雖然人工神經網路已經取得了一定的進步，但是還存在許多缺陷，例如：應用的面不夠寬闊、結果不夠精確；現有模型演算法的訓練速度不夠高；演算法的集成度不夠高；同時我們希望在理論上尋找新的突破點， 建立新的通用模型和演算法。需進一步對生物神經元系統進行研究，不斷豐富人們對人腦神經的認識。
7. 神經網路的來源
神經網路技術起源於上世紀五、六十年代，當時叫 感知機 （perceptron），包含有輸入層、輸出層和一個隱藏層。輸入的特徵向量通過隱藏層變換到達輸出層，由輸出層得到分類結果。但早期的單層感知機存在一個嚴重的問題——它對稍微復雜一些的函數都無能為力（如異或操作）。直到上世紀八十年代才被Hition、Rumelhart等人發明的多層感知機克服，就是具有多層隱藏層的感知機。
多層感知機可以擺脫早期離散傳輸函數的束縛，使用sigmoid或tanh等連續函數模擬神經元對激勵的響應，在訓練演算法上則使用Werbos發明的反向傳播BP演算法。這就是現在所說的神經網路NN。
神經網路的層數直接決定了它對現實的刻畫能力 ——利用每層更少的神經元擬合更加復雜的函源脊戚數。但問題出現了——隨著神經網路層數的加深， 優化函數越來越容易陷入局部最優解 ，並且這個「陷阱」越來越偏離真正的全局最優。利用有限數據訓練的深層網路，性能還不如較淺層網路。同時，另一個不可忽略的問題是隨著網路層數增加， 「梯度消失」現象更加嚴重 。（具體來說，我們常常使用sigmoid作為神經元的輸入輸出函數。對於幅度為1的信號，在BP反向傳播梯度時，每傳遞一層，梯度衰減為原來的0.25。層數一多，梯度指數衰減後低層基本上接受不到有效的訓練野攔信號。）
2006年，Hition提出了深度學習的概念，引發了深度學習的熱潮。具體是利用預訓練的方式緩解了局部最優解的問題，將隱藏層增加到了7層，實現了真正意義上的「深度」。
DNN形成
為了克服梯度消失，ReLU、maxout等傳輸函數代替了sigmoid，形成了如今DNN的基本形式。結構跟多層感知機一樣，如下圖所示：
我們看到 全連接DNN的結構里下層神經元和所有上層神經元都能夠形成連接，從而導致參數數量膨脹 。假設輸入的是一幅像素為1K*1K的圖像，隱含層有1M個節點，光這一層就有10^12個權重需要訓練，這不僅容易過擬合，而且極容易陷入局部最優。
CNN形成
由於圖像中存在固有的局部模式（如人臉中的眼睛、鼻子、嘴巴等），所以將圖像處理和神將網路結合引出卷積神經網路CNN。CNN是通過卷積核將上下層進行鏈接，同一個卷積核在所有圖像中是共享的，圖像通過卷積操作後仍然保留原先的位置關系。
通過一個例子簡單說明卷積神經網路的結構。假設我們需雹陵要識別一幅彩色圖像，這幅圖像具有四個通道ARGB（透明度和紅綠藍，對應了四幅相同大小的圖像），假設卷積核大小為100*100，共使用100個卷積核w1到w100(從直覺來看，每個卷積核應該學習到不同的結構特徵)。
用w1在ARGB圖像上進行卷積操作，可以得到隱含層的第一幅圖像;這幅隱含層圖像左上角第一個像素是四幅輸入圖像左上角100*100區域內像素的加權求和，以此類推。
同理，算上其他卷積核，隱含層對應100幅「圖像」。每幅圖像對是對原始圖像中不同特徵的響應。按照這樣的結構繼續傳遞下去。CNN中還有max-pooling等操作進一步提高魯棒性。
注意到最後一層實際上是一個全連接層，在這個例子里，我們注意到輸入層到隱藏層的參數瞬間降低到了100*100*100=10^6個！這使得我們能夠用已有的訓練數據得到良好的模型。題主所說的適用於圖像識別，正是由於CNN模型限制參數了個數並挖掘了局部結構的這個特點。順著同樣的思路，利用語音語譜結構中的局部信息，CNN照樣能應用在語音識別中。
RNN形成
DNN無法對時間序列上的變化進行建模。然而，樣本出現的時間順序對於自然語言處理、語音識別、手寫體識別等應用非常重要。為了適應這種需求，就出現了大家所說的另一種神經網路結構——循環神經網路RNN。
在普通的全連接網路或CNN中，每層神經元的信號只能向上一層傳播，樣本的處理在各個時刻獨立，因此又被成為前向神經網路(Feed-forward Neural Networks)。而在RNN中，神經元的輸出可以在下一個時間段直接作用到自身，即第i層神經元在m時刻的輸入，除了(i-1)層神經元在該時刻的輸出外，還包括其自身在(m-1)時刻的輸出！表示成圖就是這樣的：
為方便分析，按照時間段展開如下圖所示：
（t+1）時刻網路的最終結果O（t+1）是該時刻輸入和所有歷史共同作用的結果！這就達到了對時間序列建模的目的。RNN可以看成一個在時間上傳遞的神經網路，它的深度是時間的長度!正如我們上面所說，「梯度消失」現象又要出現了，只不過這次發生在時間軸上。
所以RNN存在無法解決長時依賴的問題。為解決上述問題，提出了LSTM（長短時記憶單元），通過cell門開關實現時間上的記憶功能，並防止梯度消失，LSTM單元結構如下圖所示：
除了DNN、CNN、RNN、ResNet（深度殘差）、LSTM之外，還有很多其他結構的神經網路。如因為在序列信號分析中，如果我能預知未來，對識別一定也是有所幫助的。因此就有了雙向RNN、雙向LSTM，同時利用歷史和未來的信息。
事實上，不論是哪種網路，他們在實際應用中常常都混合著使用，比如CNN和RNN在上層輸出之前往往會接上全連接層，很難說某個網路到底屬於哪個類別。不難想像隨著深度學習熱度的延續，更靈活的組合方式、更多的網路結構將被發展出來。
參考鏈接：https://www.leiphone.com/news/201702/ZwcjmiJ45aW27ULB.html
8. 人工智慧：什麼是人工神經網路
許多 人工智慧 計算機系統的核心技術是人工神經網路(ANN)，而這種網路的靈感來源於人類大腦中的生物結構。
通過使用連接的「神經元」結構，這些網路可以通過「學習」並在沒有人類參與的情況下處理和評估某些數據。
這樣的實際實例之一是使用人工神經網路(ANN)識別圖像中的對象。在構建一個識別「貓「圖像的一個系統中，將在包含標記為「貓」的圖像的數據集上訓練人工神經網路，該數據集可用作任何進行分析的參考點。正如人們可能學會根據尾巴或皮毛等獨特特徵來識別狗一樣，人工神經網路(ANN)也可以通過將每個圖像分解成不同的組成部分(如顏色和形狀)進行識別。
實際上，神經網路提供了位於託管數據之上的排序和分類級別，可基於相似度來輔助數據的聚類和分組。可以使用人工神經網路(ANN)生成復雜的垃圾郵件過濾器，查找欺詐行為的演算法以及可以精確了解情緒的客戶關系工具。
人工神經網路如何工作
人工神經網路的靈感來自人腦的神經組織，使用類似於神經元的計算節點構造而成，這些節點沿著通道(如神經突觸的工作方式)進行信息交互。這意味著一個計算節點的輸出將影響另一個計算節點的處理。
神經網路標志著人工智慧發展的巨大飛躍，在此之前，人工智慧一直依賴於使用預定義的過程和定期的人工干預來產生所需的結果。人工神經網路可以使分析負載分布在多個互連層的網路中，每個互連層包含互連節點。在處理信息並對其進行場景處理之後，信息將傳遞到下一個節點，然後向下傳遞到各個層。這個想法是允許將其他場景信息接入網路，以通知每個階段的處理。
單個「隱藏」層神經網路的基本結構
就像漁網的結構一樣，神經網路的一個單層使用鏈將處理節點連接在一起。大量的連接使這些節點之間的通信得到增強，從而提高了准確性和數據處理吞吐量。
然後，人工神經網路將許多這樣的層相互疊放以分析數據，從而創建從第一層到最後一層的輸入和輸出數據流。盡管其層數將根據人工神經網路的性質及其任務而變化，但其想法是將數據從一層傳遞到另一層，並隨其添加附加的場景信息。
人腦是用3D矩陣連接起來的，而不是大量堆疊的圖層。就像人類大腦一樣，節點在接收到特定刺激時會在人工神經網路上「發射」信號，並將信號傳遞到另一個節點。但是，對於人工神經網路，輸入信號定義為實數，輸出為各種輸入的總和。
這些輸入的值取決於它們的權重，該權重用於增加或減少與正在執行的任務相對應的輸入數據的重要性。其目標是採用任意數量的二進制數值輸入並將其轉換為單個二進制數值輸出。
更復雜的神經網路提高了數據分析的復雜性
早期的神經網路模型使用淺層結構，其中只使用一個輸入和輸出層。而現代的系統由一個輸入層和一個輸出層組成，其中輸入層首先將數據輸入網路，多個「隱藏」層增加了數據分析的復雜性。
這就是「深度學習」一詞的由來——「深度」部分專門指任何使用多個「隱藏」層的神經網路。
聚會的例子
為了說明人工神經網路在實際中是如何工作的，我們將其簡化為一個實際示例。
想像一下你被邀請參加一個聚會，而你正在決定是否參加，這可能需要權衡利弊，並將各種因素納入決策過程。在此示例中，只選擇三個因素——「我的朋友會去嗎?」、「聚會地點遠嗎?」、「天氣會好嗎?」
通過將這些考慮因素轉換為二進制數值，可以使用人工神經網路對該過程進行建模。例如，我們可以為「天氣」指定一個二進制數值，即『1'代表晴天，『0'代表惡劣天氣。每個決定因素將重復相同的格式。
然而，僅僅賦值是不夠的，因為這不能幫助你做出決定。為此需要定義一個閾值，即積極因素的數量超過消極因素的數量。根據二進制數值，合適的閾值可以是「2」。換句話說，在決定參加聚會之前，需要兩個因素的閾值都是「1」，你才會決定去參加聚會。如果你的朋友要參加聚會(『1')，並且天氣很好(『1')，那麼這就表示你可以參加聚會。
如果天氣不好(『0')，並且聚會地點很遠(『0')，則達不到這一閾值，即使你的朋友參加(『1')，你也不會參加聚會。
神經加權
誠然，這是神經網路基本原理的一個非常基本的例子，但希望它有助於突出二進制值和閾值的概念。然而，決策過程要比這個例子復雜得多，而且通常情況下，一個因素比另一個因素對決策過程的影響更大。
要創建這種變化，可以使用「神經加權」——-通過乘以因素的權重來確定因素的二進制值對其他因素的重要性。
盡管示例中的每個注意事項都可能使你難以決策，但你可能會更重視其中一個或兩個因素。如果你不願意在大雨中出行去聚會，那惡劣的天氣將會超過其他兩個考慮因素。在這一示例中，可以通過賦予更高的權重來更加重視天氣因素的二進制值：
天氣= w5
朋友= w2
距離= w2
如果假設閾值現在已設置為6，則惡劣的天氣(值為0)將阻止其餘輸入達到所需的閾值，因此該節點將不會「觸發」(這意味著你將決定不參加聚會)。
雖然這是一個簡單的示例，但它提供了基於提供的權重做出決策的概述。如果要將其推斷為圖像識別系統，則是否參加聚會(輸入)的各種考慮因素將是給定圖像的折衷特徵，即顏色、大小或形狀。例如，對識別狗進行訓練的系統可以對形狀或顏色賦予更大的權重。
當神經網路處於訓練狀態時，權重和閾值將設置為隨機值。然後，當訓練數據通過網路傳遞時將不斷進行調整，直到獲得一致的輸出為止。
神經網路的好處
神經網路可以有機地學習。也就是說，神經網路的輸出結果並不受輸入數據的完全限制。人工神經網路可以概括輸入數據，使其在模式識別系統中具有價值。
他們還可以找到實現計算密集型答案的捷徑。人工神經網路可以推斷數據點之間的關系，而不是期望數據源中的記錄是明確關聯的。
它們也可以是容錯的。當神經網路擴展到多個系統時，它們可以繞過無法通信的缺失節點。除了圍繞網路中不再起作用的部分進行路由之外，人工神經網路還可以通過推理重新生成數據，並幫助確定不起作用的節點。這對於網路的自診斷和調試非常有用。
但是，深度神經網路提供的最大優勢是能夠處理和聚類非結構化數據，例如圖片、音頻文件、視頻、文本、數字等數據。在分析層次結構中，每一層節點都在前一層的輸出上進行訓練，深層神經網路能夠處理大量的這種非結構化數據，以便在人類處理分析之前找到相似之處。
神經網路的例子
神經網路應用還有許多示例，可以利用它從復雜或不精確數據中獲得見解的能力。
圖像識別人工神經網路可以解決諸如分析特定物體的照片等問題。這種演算法可以用來區分狗和貓。更重要的是，神經網路已經被用於只使用細胞形狀信息來診斷癌症。
近30年來，金融神經網路被用於匯率預測、股票表現和選擇預測。神經網路也被用來確定貸款信用評分，學習正確識別良好的或糟糕的信用風險。而電信神經網路已被電信公司用於通過實時評估網路流量來優化路由和服務質量。
9. 什麼是人體神經網路
神經系統
概述
神經系統nervous system是機體內起主導作用的系統。內、外環境的各種信息，由感受器接受後，通過周圍神經傳遞到腦和脊髓的各級中樞進行整合，再經周圍神經控制和調節機體各系統器官的活動，以維持機體與內、外界環境的相對平衡。
人體各器官、系統的功能都是直接或間接處於神經系統的調節控制之下，神經系統是整體內起主導作用的調節系統。人體是一個復雜的機體，各器官、系統的功能不是孤立的，它們之間互相聯系、互相制約；同時，人體生活在經常變化的環境中，環境的變化隨時影響著體蔽慧內的各種功能。這就需要對體內各種功能不斷作出迅速而完善的調節，使機體適應內外環境的變化。實現這一調節功能的系統主要就是神經系統。
神經系的基本結構
神經系統是由神經細胞（神經元）和神經膠質所組成。
1．神經元。
神經元neuron是一種高度特化的細胞，是神經系統的基本結構和功能單位，它具有感受刺激和傳導興奮的功能。神經元由胞體和突起兩部分構成。胞體的中央有細胞核，核的周圍為細胞質，胞質內除有一般細胞所具有的細胞器如線粒體、內質網等外，還含有特有的神經原纖維及尼氏體。神經元的突起根據形狀和機能又分為樹突dendrite和軸突axon。樹突較短但分支較多，它接受沖動，並將沖動傳至細胞體，各類神經元樹突的數目多少不等，形態各異。每個神經元只發出一條軸突，長短不一，胞體發生出的沖動則沿軸突傳出。
根據突起的數目，可將神經元從形態上分為假單極神經元、雙極神經元和培灶多極神經元三大類。
根據神經元的功能，可分為感覺神經元、運動神經元和聯絡神經元。感覺神經元又稱傳入神經元，一般位於外周的感覺神經節內，為假單極或雙極神經元，感覺神經元的周圍突接受內外界環境的各種刺激，經胞體和中樞突將沖動傳至中樞；運動神經元又名傳出神經元，一般位於腦、脊髓的運動核內或周圍的植物神經節內，為多極神經元，它將沖動從中樞傳至肌肉或腺體等效應器配並扮；聯絡神經元又稱中間神經元，是位於感覺和運動神經元之間的神經元，起聯絡、整合等作用，為多極神經元。
2．神經膠質。
神經膠質neuroglia數目較神經元，突起無樹突、軸突之分，胞體較小，胞漿中無神經原纖維和尼氏體，不具有傳導沖動的功能。神經膠質對神經元起著支持、絕緣、營養和保護等作用，並參與構成血腦屏障。
3．突觸。
神經元間聯系方式是互相接觸，而不是細胞質的互相溝通。該接觸部位的結構特化稱為突觸synapse，通常是一個神經元的軸突與另一個神經元的樹突或胞體借突觸發生機能上的聯系，神經沖動由一個神經元通過突觸傳遞到另一個神經元。
神經系統的構成
神經系統分為中樞神經系統和周圍神經系統兩大部分。中樞神經系統包括腦和脊髓。腦和脊髓位於人體的中軸位，它們的周圍有頭顱骨和脊椎骨包繞。這些骨頭質地很硬，在人年齡小時還富有彈性，因此可以使腦和脊髓得到很好的保護。腦分為端腦、間腦、小腦和腦干四部分。脊髓主要是傳導通路，能把外界的刺激及時傳送到腦，然後再把腦發出的命令及時傳送到周圍器官，起到了上通下達的橋梁作用。周圍神經系統包括腦神經、脊神經和植物神經。腦神經共有12對，主要支配頭面部器官的感覺和運動。人能看到周圍事物，聽見聲音，聞出香臭，嘗出滋味，以及有喜怒哀樂的表情等，都必須依靠這12對腦神經的功能。 脊神經共有31對，其中包括頸神經8對，胸神經12對，腰神經5對，骶神經5對，尾神經 1對。脊神經由脊髓發出，主要支配身體和四肢的感覺、運動和反射。植物神經也稱為內臟神經，主要分布於內臟、心血管和腺體。心跳、呼吸和消化活動都受它的調節。植物神經分為交感神經和副交感神經兩類，兩者之間相互桔抗又相互協調，組成一個配合默契的有機整體，使內臟活動能適應內外環境的需要。
神經系統
神經系統是人體內由神經組織構成的全部裝置。主要由神經元組成。神經系統由中樞神經系統和遍布全身各處的周圍神經系統兩部分組成。中樞神經系統包括腦和脊髓，分別位於顱腔和椎管內，是神經組織最集中、構造最復雜的部位。存在有控制各種生理機能的中樞。周圍神經系統包括各種神經和神經節。其中同腦相連的稱為腦神經，與脊髓相連的為脊神經，支配內臟器官的稱植物性神經。各類神經通過其末梢與其他器官系統相聯系。神經系統具有重要的功能，是人體內起主導作用的系統。一方面它控制與調節各器官、系統的活動，使人體成為一個統一的整體。另一方面通過神經系統的分析與綜合，使機體對環境變化的刺激作出相應的反應，達到機體與環境的統一。神經系統對生理機能調節的基本活動形式是反射。人的大腦的高度發展，使大腦皮質成為控制整個機體功能的最高級部位，並具有思維、意識等生理機能。神經系統發生於胚胎發育的早期，由外胚層發育而來。
小腦、大腦和神經系統
大腦的功能主要有：進行理論性的思考、判斷事物、說話、掌管本能以及掌管情感。神經的功能是傳遞腦部的指令到身體各部位，再由末梢神經和中樞神經將身體各部位所收集的情報回傳到大腦進行資料分析的。
小腦的功能是由舊小腦負責保持身體的平衡，例如站立、行走、運動。而新小腦是負責將大腦所傳達的粗略運動指令進行仔細調整後，通過神經細胞，以電腦的速度和准確性，傳到身體的每個部位。小腦皮質每1mm2聚集了50萬個神經細胞，之所以我們能夠使全身的肌肉協調地進行各種動作，例如揮桿自如，全部都是因為新小腦，即神經細胞的聚合體，以千分之一秒的速度來准確地處理了大腦發出的運動指令，如果這里出了問題，就無法巧妙用手握住物體，又或無法做到協調的動作了。
保護腦部的正常運作
大家對腦部和神經粗略地了解了一些主要功能，現在我們要學習如何去保護及保證腦部及神經系統能發揮正常的功能。因為當它們正常操作時，我們的高爾夫球和生活才能好好享受。首先要了解腦部會有機會出現一些疾病和原因，腦部常見的疾病有腦血管阻塞或破裂即是腦中風，但它並不是單一的疾病，而是腦梗塞、腦出血、蜘蛛膜下出血等會使腦血管產生障礙的各種疾病的總稱。而這些病的背景都是動脈硬化，再加上精神過度緊張、飲酒、身體過度疲勞而身體已到了最危險的時候，一觸即發而造成出血的結果。
而神經有可能出現的疾病就是神經痛，例如三叉神經痛、枕神經痛、肋間神經痛和坐骨神經痛等等，根據一些醫書的解釋是由於某些部位的神經受到壓迫，例如：肌肉的過份緊張收縮和骨的移位而令某些神經受到過大的壓力而痛，又或者由於頸椎、腰椎、脊椎變形、又或者由於腫痛等原因而導致神經痛，而引起這些病的根本原因通常是由於長期身體處於高度的精神緊張、飲食不健康、長期缺乏運動，而長期累積太多有害物質又排不出體外，加上工作的壓力就很容易令身體去到危險程度。
希望大家能夠提醒自己，用聰明的方法消除精神和身體的疲勞，同時要讓身體攝取各種營養素、維他命、氨基酸、礦物質等等，以及多做運動去消除精神上的壓力，令壞膽固醇無法在身體囤積，同時聽音樂或出去旅行，又或者種種花草、浸浸溫泉、做做運動按摩和多做伸展運動和多在清新空氣的地方做深呼吸，以達到最健康。