Ⅰ 如何理解卷積神經網路中的權值共享
所謂的權值共享就是說，給一張輸入圖片，用一個filter去掃這張圖，filter裡面的數就叫權重，這張圖每個位置是被同樣的filter掃的，所以權重是一樣的，也就是共享。 這么說可能還不太明白，如果你能理解什麼叫全連接神經網路的話，那麼從一個盡量減少參數個數的角度去理解就可以了。 對於一張輸入圖片，大小為W*H，如果使用全連接網路，生成一張X*Y的feature map，需要W*H*X*Y個參數，如果原圖長寬是10^2級別的，而且XY大小和WH差不多的話，那麼這樣一層網路需要的參數個數是10^8~10^12級別。 這么多參數肯定是不行的，那麼我們就想辦法減少參數的個數對於輸出層feature map上的每一個像素，他與原圖片的每一個像素都有連接，每一個鏈接都需要一個參數。但注意到圖像一般都是局部相關的，那麼如果輸出層的每一個像素只和輸入層圖片的一個局部相連，那麼需要參數的個數就會大大減少。假設輸出層每個像素只與輸入圖片上F*F的一個小方塊有連接，也就是說輸出層的這個像素值，只是通過原圖的這個F*F的小方形中的像素值計算而來，那麼對於輸出層的每個像素，需要的參數個數就從原來的W*H減小到了F*F。如果對於原圖片的每一個F*F的方框都需要計算這樣一個輸出值，那麼需要的參數只是W*H*F*F，如果原圖長寬是10^2級別，而F在10以內的話，那麼需要的參數的個數只有10^5~10^6級別，相比於原來的10^8~10^12小了很多很多。
Ⅱ 哪些神經網路結構會發生權重共享
說的確定應該就是訓練方法吧，神經網路的權值不是人工給定的。而是用訓練集（包括輸入和輸出）訓練，用訓練集訓練一遍稱為一個epoch，一般要許多epoch才行，目的是使得目標與訓練結果的誤差(一般採用均方誤差）小到一個給定的閾值。以上所說是有監督的學習方法，還有無監督的學習方法。
Ⅲ 卷積神經網路
關於花書中卷積網路的筆記記錄於 https://www.jianshu.com/p/5a3c90ea0807 。
卷積神經網路（Convolutional Neural Network，CNN或ConvNet）是一種具有 局部連接、權重共享 等特性的深層前饋神經網路。卷積神經網路是受生物學上感受野的機制而提出。 感受野（Receptive Field） 主要是指聽覺、視覺等神經系統中一些神經元的特性，即 神經元只接受其所支配的刺激區域內的信號 。
卷積神經網路最早是主要用來處理圖像信息。如果用全連接前饋網路來處理圖像時，會存在以下兩個問題：
目前的卷積神經網路一般是由卷積層、匯聚層和全連接層交叉堆疊而成的前饋神經網路，使用反向傳播演算法進行訓練。 卷積神經網路有三個結構上的特性：局部連接，權重共享以及匯聚 。這些特性使卷積神經網路具有一定程度上的平移、縮放和旋轉不變性。
卷積（Convolution）是分析數學中一種重要的運算。在信號處理或圖像處理中，經常使用一維或二維卷積。
一維卷積經常用在信號處理中，用於計算信號的延遲累積。假設一個信號發生器每個時刻t 產生一個信號 ，其信息的衰減率為 ，即在 個時間步長後，信息為原來的 倍。假設 ，那麼在時刻t收到的信號 為當前時刻產生的信息和以前時刻延遲信息的疊加：
我們把 稱為 濾波器（Filter）或卷積核（Convolution Kernel） 。假設濾波器長度為 ，它和一個信號序列 的卷積為：
信號序列 和濾波器 的卷積定義為：
一般情況下濾波器的長度 遠小於信號序列長度 ，下圖給出一個一維卷積示例，濾波器為 ：
二維卷積經常用在圖像處理中。因為圖像為一個兩維結構，所以需要將一維卷積進行擴展。給定一個圖像 和濾波器 ，其卷積為：
下圖給出一個二維卷積示例：
注意這里的卷積運算並不是在圖像中框定卷積核大小的方框並將各像素值與卷積核各個元素相乘並加和，而是先把卷積核旋轉180度，再做上述運算。
在圖像處理中，卷積經常作為特徵提取的有效方法。一幅圖像在經過卷積操作後得到結果稱為 特徵映射（Feature Map） 。
最上面的濾波器是常用的高斯濾波器，可以用來對圖像進行 平滑去噪 ；中間和最下面的過濾器可以用來 提取邊緣特徵 。
在機器學習和圖像處理領域，卷積的主要功能是在一個圖像（或某種特徵）上滑動一個卷積核（即濾波器），通過卷積操作得到一組新的特徵。在計算卷積的過程中，需要進行卷積核翻轉（即上文提到的旋轉180度）。 在具體實現上，一般會以互相關操作來代替卷積，從而會減少一些不必要的操作或開銷。
互相關（Cross-Correlation）是一個衡量兩個序列相關性的函數，通常是用滑動窗口的點積計算來實現 。給定一個圖像 和卷積核 ，它們的互相關為：
互相關和卷積的區別僅在於卷積核是否進行翻轉。因此互相關也可以稱為不翻轉卷積 。當卷積核是可學習的參數時，卷積和互相關是等價的。因此，為了實現上（或描述上）的方便起見，我們用互相關來代替卷積。事實上，很多深度學習工具中卷積操作其實都是互相關操作。
在卷積的標準定義基礎上，還可以引入濾波器的 滑動步長 和 零填充 來增加卷積多樣性，更靈活地進行特徵抽取。
濾波器的步長（Stride）是指濾波器在滑動時的時間間隔。
零填充（Zero Padding）是在輸入向量兩端進行補零。
假設卷積層的輸入神經元個數為 ，卷積大小為 ，步長為 ，神經元兩端各填補 個零，那麼該卷積層的神經元數量為 。
一般常用的卷積有以下三類：
因為卷積網路的訓練也是基於反向傳播演算法，因此我們重點關注卷積的導數性質：
假設 。
， ， 。函數 為一個標量函數。
則由 有：
可以看出， 關於 的偏導數為 和 的卷積 ：
同理得到：
當 或 時， ，即相當於對 進行 的零填充。從而 關於 的偏導數為 和 的寬卷積 。
用互相關的「卷積」表示，即為（注意 寬卷積運算具有交換性性質 ）：
在全連接前饋神經網路中，如果第 層有 個神經元，第 層有 個神經元，連接邊有 個，也就是權重矩陣有 個參數。當 和 都很大時，權重矩陣的參數非常多，訓練的效率會非常低。
如果採用卷積來代替全連接，第 層的凈輸入 為第 層活性值 和濾波器 的卷積，即：
根據卷積的定義，卷積層有兩個很重要的性質：
由於局部連接和權重共享，卷積層的參數只有一個m維的權重 和1維的偏置 ，共 個參數。參數個數和神經元的數量無關。此外，第 層的神經元個數不是任意選擇的，而是滿足 。
卷積層的作用是提取一個局部區域的特徵，不同的卷積核相當於不同的特徵提取器。
特徵映射（Feature Map）為一幅圖像（或其它特徵映射）在經過卷積提取到的特徵，每個特徵映射可以作為一類抽取的圖像特徵。 為了提高卷積網路的表示能力，可以在每一層使用多個不同的特徵映射，以更好地表示圖像的特徵。
在輸入層，特徵映射就是圖像本身。如果是灰度圖像，就是有一個特徵映射，深度 ；如果是彩色圖像，分別有RGB三個顏色通道的特徵映射，深度 。
不失一般性，假設一個卷積層的結構如下：
為了計算輸出特徵映射 ，用卷積核 分別對輸入特徵映射 進行卷積，然後將卷積結果相加，並加上一個標量偏置 得到卷積層的凈輸入 再經過非線性激活函數後得到輸出特徵映射 。
在輸入為 ，輸出為 的卷積層中，每個輸出特徵映射都需要 個濾波器以及一個偏置。假設每個濾波器的大小為 ，那麼共需要 個參數。
匯聚層（Pooling Layer）也叫子采樣層（Subsampling Layer），其作用是進行特徵選擇，降低特徵數量，並從而減少參數數量。
常用的匯聚函數有兩種：
其中 為區域 內每個神經元的激活值。
可以看出，匯聚層不但可以有效地減少神經元的數量，還可以使得網路對一些小的局部形態改變保持不變性，並擁有更大的感受野。
典型的匯聚層是將每個特徵映射劃分為 大小的不重疊區域，然後使用最大匯聚的方式進行下采樣。匯聚層也可以看做是一個特殊的卷積層，卷積核大小為 ，步長為 ，卷積核為 函數或 函數。過大的采樣區域會急劇減少神經元的數量，會造成過多的信息損失。
一個典型的卷積網路是由卷積層、匯聚層、全連接層交叉堆疊而成。
目前常用卷積網路結構如圖所示，一個卷積塊為連續 個卷積層和 個匯聚層（ 通常設置為 ， 為 或 ）。一個卷積網路中可以堆疊 個連續的卷積塊，然後在後面接著 個全連接層（ 的取值區間比較大，比如 或者更大； 一般為 ）。
目前，整個網路結構 趨向於使用更小的卷積核（比如 和 ）以及更深的結構（比如層數大於50） 。此外，由於卷積的操作性越來越靈活（比如不同的步長），匯聚層的作用變得也越來越小，因此目前比較流行的卷積網路中， 匯聚層的比例也逐漸降低，趨向於全卷積網路 。
在全連接前饋神經網路中，梯度主要通過每一層的誤差項 進行反向傳播，並進一步計算每層參數的梯度。在卷積神經網路中，主要有兩種不同功能的神經層：卷積層和匯聚層。而參數為卷積核以及偏置，因此 只需要計算卷積層中參數的梯度。
不失一般性，第 層為卷積層，第 層的輸入特徵映射為 ，通過卷積計算得到第 層的特徵映射凈輸入 ，第 層的第 個特徵映射凈輸入
由 得：
同理可得，損失函數關於第 層的第 個偏置 的偏導數為：
在卷積網路中，每層參數的梯度依賴其所在層的誤差項 。
卷積層和匯聚層中，誤差項的計算有所不同，因此我們分別計算其誤差項。
第 層的第 個特徵映射的誤差項 的具體推導過程如下：
其中 為第 層使用的激活函數導數， 為上采樣函數（upsampling），與匯聚層中使用的下采樣操作剛好相反。如果下采樣是最大匯聚（max pooling），誤差項 中每個值會直接傳遞到上一層對應區域中的最大值所對應的神經元，該區域中其它神經元的誤差項的都設為0。如果下采樣是平均匯聚（meanpooling），誤差項 中每個值會被平均分配到上一層對應區域中的所有神經元上。
第 層的第 個特徵映射的誤差項 的具體推導過程如下：
其中 為寬卷積。
LeNet-5雖然提出的時間比較早，但是是一個非常成功的神經網路模型。基於LeNet-5 的手寫數字識別系統在90年代被美國很多銀行使用，用來識別支票上面的手寫數字。LeNet-5 的網路結構如圖：
不計輸入層，LeNet-5共有7層，每一層的結構為：
AlexNet是第一個現代深度卷積網路模型，其首次使用了很多現代深度卷積網路的一些技術方法，比如採用了ReLU作為非線性激活函數，使用Dropout防止過擬合，使用數據增強來提高模型准確率等。AlexNet 贏得了2012 年ImageNet 圖像分類競賽的冠軍。
AlexNet的結構如圖，包括5個卷積層、3個全連接層和1個softmax層。因為網路規模超出了當時的單個GPU的內存限制，AlexNet 將網路拆為兩半，分別放在兩個GPU上，GPU間只在某些層（比如第3層）進行通訊。
AlexNet的具體結構如下：
在卷積網路中，如何設置卷積層的卷積核大小是一個十分關鍵的問題。 在Inception網路中，一個卷積層包含多個不同大小的卷積操作，稱為Inception模塊。Inception網路是由有多個inception模塊和少量的匯聚層堆疊而成 。
v1版本的Inception模塊，採用了4組平行的特徵抽取方式，分別為1×1、3× 3、5×5的卷積和3×3的最大匯聚。同時，為了提高計算效率，減少參數數量，Inception模塊在進行3×3、5×5的卷積之前、3×3的最大匯聚之後，進行一次1×1的卷積來減少特徵映射的深度。如果輸入特徵映射之間存在冗餘信息， 1×1的卷積相當於先進行一次特徵抽取 。
Ⅳ 如何理解人工智慧神經網路中的權值共享問題
權值(權重)共享這個詞是由LeNet5模型提出來的。以CNN為例，在對一張圖偏進行卷積的過程中，使用的是同一個卷積核的參數。比如一個3×3×1的卷積核，這個卷積核內9個的參數被整張圖共享，而不會因為圖像內位置的不同而改變卷積核內的權系數。說的再直白一些，就是用一個卷積核不改變其內權系數的情況下卷積處理整張圖片(當然CNN中每一層不會只有一個卷積核的，這樣說只是為了方便解釋而已)。
Ⅳ CNN卷積神經網路結構有哪些特點
局部連接，權值共享，池化操作，多層次結構。
1、局部連接使網路可以提取數據的局部特徵；
2、權值共享大大降低了網路的訓練難度，一個Filter只提取一個特徵，在整個圖片(或者語音/文本) 中進行卷積；
3、池化操作與多層次結構一起，實現了數據的降維，將低層次的局部特徵組合成為較高層次的特徵，從而對整個圖片進行表示。
Ⅵ 人工神經網路綜述
文章主要分為：
一、人工神經網路的概念；
二、人工神經網路的發展歷史；
三、人工神經網路的特點；
四、人工神經網路的結構。
。。
人工神經網路（Artificial Neural Network，ANN）簡稱神經網路(NN)，是基於生物學中神經網路的基本原理，在理解和抽象了人腦結構和外界刺激響應機制後，以網路拓撲知識為理論基礎，模擬人腦的神經系統對復雜信息的處理機制的一種數學模型。該模型以並行分布的處理能力、高容錯性、智能化和自學習等能力為特徵，將信息的加工和存儲結合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的復雜網路，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現的系統。
神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激活函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重（weight），神經網路就是通過這種方式來模擬人類的記憶。網路的輸出則取決於網路的結構、網路的連接方式、權重和激活函數。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。神經網路的構築理念是受到生物的神經網路運作啟發而產生的。人工神經網路則是把對生物神經網路的認識與數學統計模型相結合，藉助數學統計工具來實現。另一方面在人工智慧學的人工感知領域，我們通過數學統計學的方法，使神經網路能夠具備類似於人的決定能力和簡單的判斷能力，這種方法是對傳統邏輯學演算的進一步延伸。
人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。
神經網路，是一種應用類似於大腦神經突觸連接結構進行信息處理的數學模型，它是在人類對自身大腦組織結合和思維機制的認識理解基礎之上模擬出來的，它是根植於神經科學、數學、思維科學、人工智慧、統計學、物理學、計算機科學以及工程科學的一門技術。
在介紹神經網路的發展歷史之前，首先介紹一下神經網路的概念。神經網路主要是指一種仿造人腦設計的簡化的計算模型，這種模型中包含了大量的用於計算的神經元，這些神經元之間會通過一些帶有權重的連邊以一種層次化的方式組織在一起。每一層的神經元之間可以進行大規模的並行計算，層與層之間進行消息的傳遞。
下圖展示了整個神經網路的發展歷程：
神經網路的發展有悠久的歷史。其發展過程大致可以概括為如下4個階段。
(1)、M-P神經網路模型：20世紀40年代，人們就開始了對神經網路的研究。1943 年，美國心理學家麥克洛奇（Mcculloch）和數學家皮茲（Pitts）提出了M-P模型，此模型比較簡單，但是意義重大。在模型中，通過把神經元看作個功能邏輯器件來實現演算法，從此開創了神經網路模型的理論研究。
(2)、Hebb規則：1949 年，心理學家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學），他在書中提出了突觸連接強度可變的假設。這個假設認為學習過程最終發生在神經元之間的突觸部位，突觸的連接強度隨之突觸前後神經元的活動而變化。這一假設發展成為後來神經網路中非常著名的Hebb規則。這一法則告訴人們，神經元之間突觸的聯系強度是可變的，這種可變性是學習和記憶的基礎。Hebb法則為構造有學習功能的神經網路模型奠定了基礎。
(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎，提出了感知器（Perceptron）模型。感知器模型具有現代神經網路的基本原則，並且它的結構非常符合神經生理學。這是一個具有連續可調權值矢量的MP神經網路模型，經過訓練可以達到對一定的輸入矢量模式進行分類和識別的目的，它雖然比較簡單，卻是第一個真正意義上的神經網路。Rosenblatt 證明了兩層感知器能夠對輸入進行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經網路模型包含了一些現代神經計算機的基本原理，從而形成神經網路方法和技術的重大突破。
(4)、ADALINE網路模型： 1959年，美國著名工程師威德羅（B.Widrow）和霍夫（M.Hoff）等人提出了自適應線性元件(Adaptive linear element，簡稱Adaline)和Widrow-Hoff學習規則（又稱最小均方差演算法或稱δ規則）的神經網路訓練方法，並將其應用於實際工程，成為第一個用於解決實際問題的人工神經網路，促進了神經網路的研究應用和發展。ADALINE網路模型是一種連續取值的自適應線性神經元網路模型，可以用於自適應系統。
人工智慧的創始人之一Minsky和Papert對以感知器為代表的網路系統的功能及局限性從數學上做了深入研究，於1969年發表了轟動一時《Perceptrons》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題，如簡單的線性感知器不可能實現「異或」的邏輯關系等。這一論斷給當時人工神經元網路的研究帶來沉重的打擊。開始了神經網路發展史上長達10年的低潮期。
(1)、自組織神經網路SOM模型：1972年，芬蘭的KohonenT.教授，提出了自組織神經網路SOM(Self-Organizing feature map)。後來的神經網路主要是根據KohonenT.的工作來實現的。SOM網路是一類無導師學習網路，主要用於模式識別﹑語音識別及分類問題。它採用一種「勝者為王」的競爭學習演算法，與先前提出的感知器有很大的不同，同時它的學習訓練方式是無指導訓練，是一種自組織網路。這種學習訓練方式往往是在不知道有哪些分類類型存在時，用作提取分類信息的一種訓練。
(2)、自適應共振理論ART：1976年，美國Grossberg教授提出了著名的自適應共振理論ART(Adaptive Resonance Theory)，其學習過程具有自組織和自穩定的特徵。
(1)、Hopfield模型：1982年，美國物理學家霍普菲爾德（Hopfield）提出了一種離散神經網路，即離散Hopfield網路，從而有力地推動了神經網路的研究。在網路中，它首次將李雅普諾夫（Lyapunov）函數引入其中，後來的研究學者也將Lyapunov函數稱為能量函數。證明了網路的穩定性。1984年，Hopfield 又提出了一種連續神經網路，將網路中神經元的激活函數由離散型改為連續型。1985 年，Hopfield和Tank利用Hopfield神經網路解決了著名的旅行推銷商問題（Travelling Salesman Problem）。Hopfield神經網路是一組非線性微分方程。Hopfield的模型不僅對人工神經網路信息存儲和提取功能進行了非線性數學概括，提出了動力方程和學習方程，還對網路演算法提供了重要公式和參數，使人工神經網路的構造和學習有了理論指導，在Hopfield模型的影響下，大量學者又激發起研究神經網路的熱情，積極投身於這一學術領域中。因為Hopfield 神經網路在眾多方面具有巨大潛力，所以人們對神經網路的研究十分地重視，更多的人開始了研究神經網路，極大地推動了神經網路的發展。
(2)、Boltzmann機模型：1983年，Kirkpatrick等人認識到模擬退火演算法可用於NP完全組合優化問題的求解，這種模擬高溫物體退火過程來找尋全局最優解的方法最早由Metropli等人1953年提出的。1984年，Hinton與年輕學者Sejnowski等合作提出了大規模並行網路學習機，並明確提出隱單元的概念，這種學習機後來被稱為Boltzmann機。
Hinton和Sejnowsky利用統計物理學的感念和方法，首次提出的多層網路的學習演算法，稱為Boltzmann 機模型。
(3)、BP神經網路模型：1986年，儒默哈特（D.E.Ru melhart）等人在多層神經網路模型的基礎上，提出了多層神經網路權值修正的反向傳播學習演算法----BP演算法（Error Back-Propagation），解決了多層前向神經網路的學習問題，證明了多層神經網路具有很強的學習能力，它可以完成許多學習任務，解決許多實際問題。
(4)、並行分布處理理論：1986年，由Rumelhart和McCkekkand主編的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，該書中，他們建立了並行分布處理理論，主要致力於認知的微觀研究，同時對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播演算法即BP演算法進行了詳盡的分析，解決了長期以來沒有權值調整有效演算法的難題。可以求解感知機所不能解決的問題，回答了《Perceptrons》一書中關於神經網路局限性的問題，從實踐上證實了人工神經網路有很強的運算能力。
(5)、細胞神經網路模型：1988年，Chua和Yang提出了細胞神經網路（CNN）模型，它是一個細胞自動機特性的大規模非線性計算機模擬系統。Kosko建立了雙向聯想存儲模型（BAM），它具有非監督學習能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初產生了很大的影響，他建立了一種神經網路系統理論。
(7)、1988年，Linsker對感知機網路提出了新的自組織理論，並在Shanon資訊理論的基礎上形成了最大互信息理論，從而點燃了基於NN的信息應用理論的光芒。
(8)、1988年，Broomhead和Lowe用徑向基函數(Radialbasis function, RBF)提出分層網路的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。
(9)、1991年，Haken把協同引入神經網路，在他的理論框架中，他認為，認知過程是自發的，並斷言模式識別過程即是模式形成過程。
(10)、1994年，廖曉昕關於細胞神經網路的數學理論與基礎的提出，帶來了這個領域新的進展。通過拓廣神經網路的激活函數類，給出了更一般的時滯細胞神經網路(DCNN)、Hopfield神經網路（HNN）、雙向聯想記憶網路（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量機(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。
經過多年的發展，已有上百種的神經網路模型被提出。
深度學習(Deep Learning,DL)由Hinton等人於2006年提出，是機器學習的一個新領域。深度學習本質上是構建含有多隱層的機器學習架構模型，通過大規模數據進行訓練，得到大量更具代表性的特徵信息。深度學習演算法打破了傳統神經網路對層數的限制，可根據設計者需要選擇網路層數。
突觸是神經元之間相互連接的介面部分，即一個神經元的神經末梢與另一個神經元的樹突相接觸的交界面，位於神經元的神經末梢尾端。突觸是軸突的終端。
大腦可視作為1000多億神經元組成的神經網路。神經元的信息傳遞和處理是一種電化學活動．樹突由於電化學作用接受外界的刺激，通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其它的神經元．從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統的動態過程。
神經元的功能特性：（1）時空整合功能；（2）神經元的動態極化性；（3）興奮與抑制狀態；（4）結構的可塑性；（5）脈沖與電位信號的轉換；（6）突觸延期和不應期；（7）學習、遺忘和疲勞。
神經網路從兩個方面模擬大腦：
(1)、神經網路獲取的知識是從外界環境中學習得來的。
(2)、內部神經元的連接強度，即突觸權值，用於儲存獲取的知識。
神經網路系統由能夠處理人類大腦不同部分之間信息傳遞的由大量神經元連接形成的拓撲結構組成，依賴於這些龐大的神經元數目和它們之間的聯系，人類的大腦能夠收到輸入的信息的刺激由分布式並行處理的神經元相互連接進行非線性映射處理，從而實現復雜的信息處理和推理任務。
對於某個處理單元（神經元）來說，假設來自其他處理單元（神經元）i的信息為Xi，它們與本處理單元的互相作用強度即連接權值為Wi, i=0,1,…,n-1,處理單元的內部閾值為θ。那麼本處理單元（神經元）的輸入為：
，而處理單元的輸出為：
式中，xi為第i個元素的輸入，wi為第i個處理單元與本處理單元的互聯權重即神經元連接權值。f稱為激活函數或作用函數，它決定節點（神經元）的輸出。θ表示隱含層神經節點的閾值。
神經網路的主要工作是建立模型和確定權值，一般有前向型和反饋型兩種網路結構。通常神經網路的學習和訓練需要一組輸入數據和輸出數據對，選擇網路模型和傳遞、訓練函數後，神經網路計算得到輸出結果，根據實際輸出和期望輸出之間的誤差進行權值的修正，在網路進行判斷的時候就只有輸入數據而沒有預期的輸出結果。神經網路一個相當重要的能力是其網路能通過它的神經元權值和閾值的不斷調整從環境中進行學習，直到網路的輸出誤差達到預期的結果，就認為網路訓練結束。
對於這樣一種多輸入、單輸出的基本單元可以進一步從生物化學、電生物學、數學等方面給出描述其功能的模型。利用大量神經元相互連接組成的人工神經網路，將顯示出人腦的若干特徵，人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重wij值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以至超過設計者原有的知識水平。通常，它的學習(或訓練)方式可分為兩種，一種是有監督(supervised)或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督(unsupervised)學習或稱無導師學習，這時，只規定學習方式或某些規則，而具體的學習內容隨系統所處環境(即輸入信號情況)而異，系統可以自動發現環境特徵和規律性，具有更近似於人腦的功能。
在人工神經網路設計及應用研究中，通常需要考慮三個方面的內容，即神經元激活函數、神經元之間的連接形式和網路的學習(訓練)。
Ⅶ 循環神經網路
花書中關於RNN的內容記錄於 https://www.jianshu.com/p/206090600f13 。
在前饋神經網路中，信息的傳遞是單向的，這種限制雖然使得網路變得更容易學習，但在一定程度上也減弱了神經網路模型的能力。在生物神經網路中，神經元之間的連接關系要復雜的多。 前饋神經網路可以看作是一個復雜的函數，每次輸入都是獨立的，即網路的輸出只依賴於當前的輸入。但是在很多現實任務中，網路的輸入不僅和當前時刻的輸入相關，也和其過去一段時間的輸出相關 。因此，前饋網路難以處理時序數據，比如視頻、語音、文本等。時序數據的長度一般是不固定的，而前饋神經網路要求輸入和輸出的維數都是固定的，不能任意改變。因此，當處理這一類和時序相關的問題時，就需要一種能力更強的模型。
循環神經網路（Recurrent Neural Network，RNN）是一類具有短期記憶能力的神經網路。在循環神經網路中，神經元不但可以接受其它神經元的信息，也可以接受自身的信息，形成具有環路的網路結構。 和前饋神經網路相比，循環神經網路更加符合生物神經網路的結構。循環神經網路已經被廣泛應用在語音識別、語言模型以及自然語言生成等任務上。循環神經網路的參數學習可以通過 隨時間反向傳播演算法 來學習。
為了處理這些時序數據並利用其歷史信息，我們需要讓網路具有短期記憶能力。而前饋網路是一個靜態網路，不具備這種記憶能力。
一種簡單的利用歷史信息的方法是建立一個額外的延時單元，用來存儲網路的歷史信息（可以包括輸入、輸出、隱狀態等）。比較有代表性的模型是延時神經網路。
延時神經網路是在前饋網路中的非輸出層都添加一個延時器，記錄最近幾次神經元的輸出。在第 個時刻，第 層神經元和第 層神經元的最近 次輸出相關，即：
延時神經網路在時間維度上共享權值，以降低參數數量。因此對於序列輸入來講，延時神經網路就相當於卷積神經網路 。
自回歸模型（Autoregressive Model，AR） 是統計學上常用的一類時間序列模型，用一個變數 的歷史信息來預測自己：
其中 為超參數， 為參數， 為第 個時刻的雜訊，方差 和時間無關。
有外部輸入的非線性自回歸模型（Nonlinear Autoregressive with ExogenousInputs Model，NARX） 是自回歸模型的擴展，在每個時刻 都有一個外部輸入 ，產生一個輸出 。NARX通過一個延時器記錄最近幾次的外部輸入和輸出，第 個時刻的輸出 為：
其中 表示非線性函數，可以是一個前饋網路， 和 為超參數。
循環神經網路通過使用帶自反饋的神經元，能夠處理任意長度的時序數據。
給定一個輸入序列 ，循環神經網路通過下面
公式更新帶反饋邊的隱藏層的活性值 ：
其中 ， 為一個非線性函數，也可以是一個前饋網路。
從數學上講，上式可以看成一個動力系統。動力系統（Dynamical System）是一個數學上的概念，指 系統狀態按照一定的規律隨時間變化的系統 。具體地講，動力系統是使用一個函數來描述一個給定空間（如某個物理系統的狀態空間）中所有點隨時間的變化情況。因此， 隱藏層的活性值 在很多文獻上也稱為狀態（State）或隱狀態（Hidden States） 。理論上，循環神經網路可以近似任意的非線性動力系統。
簡單循環網路（Simple Recurrent Network，SRN）是一個非常簡單的循環神經網路，只有一個隱藏層的神經網路。
在一個兩層的前饋神經網路中，連接存在相鄰的層與層之間，隱藏層的節點之間是無連接的。而 簡單循環網路增加了從隱藏層到隱藏層的反饋連接 。
假設在時刻 時，網路的輸入為 ，隱藏層狀態（即隱藏層神經元活性值） 不僅和當前時刻的輸入 相關，也和上一個時刻的隱藏層狀態 相關：
其中 為隱藏層的凈輸入， 是非線性激活函數，通常為Logistic函數或Tanh函數， 為狀態-狀態權重矩陣， 為狀態-輸入權重矩陣， 為偏置。上面兩式也經常直接寫為：
如果我們把每個時刻的狀態都看作是前饋神經網路的一層的話，循環神經網路可以看作是在時間維度上權值共享的神經網路 。下圖給出了按時間展開的循環神經網路。
由於循環神經網路具有短期記憶能力，相當於存儲裝置，因此其計算能力十分強大。 前饋神經網路可以模擬任何連續函數，而循環神經網路可以模擬任何程序。
定義一個完全連接的循環神經網路，其輸入為 ，輸出為 ：
其中 為隱狀態， 為非線性激活函數， 和 為網路參數。
這樣一個完全連接的循環神經網路可以近似解決所有的可計算問題 。
循環神經網路可以應用到很多不同類型的機器學習任務。根據這些任務的特點可以分為以下幾種模式： 序列到類別模式、同步的序列到序列模式、非同步的序列到序列模式 。
序列到類別模式主要用於序列數據的分類問題：輸入為序列，輸出為類別。比如在文本分類中，輸入數據為單詞的序列，輸出為該文本的類別。
假設一個樣本 為一個長度為 的序列，輸出為一個類別 。我們可以將樣本 按不同時刻輸入到循環神經網路中，並得到不同時刻的隱藏狀態 。我們可以將 看作整個序列的最終表示（或特徵），並輸入給分類器 進行分類：
其中 可以是簡單的線性分類器（比如Logistic 回歸）或復雜的分類器（比如多層前饋神經網路）
除了將最後時刻的狀態作為序列表示之外，我們還可以對整個序列的所有狀態進行平均，並用這個平均狀態來作為整個序列的表示：
同步的序列到序列模式 主要用於序列標注（Sequence Labeling）任務，即每一時刻都有輸入和輸出，輸入序列和輸出序列的長度相同 。比如詞性標注（Partof-Speech Tagging）中，每一個單詞都需要標注其對應的詞性標簽。
輸入為序列 ，輸出為序列 。樣本 按不同時刻輸入到循環神經網路中，並得到不同時刻的隱狀態 。每個時刻的隱狀態 代表當前和歷史的信息，並輸入給分類器 得到當前時刻的標簽 。
非同步的序列到序列模式也稱為 編碼器-解碼器（Encoder-Decoder）模型，即輸入序列和輸出序列不需要有嚴格的對應關系，也不需要保持相同的長度。 比如在機器翻譯中，輸入為源語言的單詞序列，輸出為目標語言的單詞序列。
在非同步的序列到序列模式中，輸入為長度為 的序列 ，輸出為長度為 的序列 。經常通過 先編碼後解碼 的方式來實現。先將樣本 按不同時刻輸入到一個循環神經網路（編碼器）中，並得到其編碼 。然後再使用另一個循環神經網路（解碼器）中，得到輸出序列 。為了建立輸出序列之間的依賴關系，在解碼器中通常使用非線性的自回歸模型。
其中 分別為用作編碼器和解碼器的循環神經網路， 為分類器， 為預測輸出 的向量表示。
循環神經網路的參數可以通過梯度下降方法來進行學習。給定一個訓練樣本 ，其中 為長度是 的輸入序列， 是長度為 的標簽序列。即在每個時刻 ，都有一個監督信息 ，我們定義時刻 的損失函數為：
其中 為第 時刻的輸出， 為可微分的損失函數，比如交叉熵。那麼整個序列上損失函數為：
整個序列的損失函數 關於參數 的梯度為：
即每個時刻損失 對參數 的偏導數之和。
循環神經網路中存在一個遞歸調用的函數 ，因此其計算參數梯度的方式和前饋神經網路不太相同。在循環神經網路中主要有兩種計算梯度的方式： 隨時間反向傳播（BPTT）和實時循環學習（RTRL）演算法。
隨時間反向傳播（Backpropagation Through Time，BPTT） 演算法的主要思想是通過類似前饋神經網路的錯誤反向傳播演算法來進行計算梯度。
BPTT演算法將循環神經網路看作是一個展開的多層前饋網路，其中「每一層」對應循環網路中的「每個時刻」。在「展開」的前饋網路中，所有層的參數是共享的，因此參數的真實梯度是將所有「展開層」的參數梯度之和 。
因為參數 和隱藏層在每個時刻 的凈輸入 有關，因此第 時刻的損失函數 關於參數 的梯度為：
其中 表示「直接」偏導數，即公式 中保持 不變，對 求偏導數，得到：
其中 為第 時刻隱狀態的第 維； 除了第 個值為 外，其餘都為 的行向量。
定義誤差項 為第 時刻的損失對第 時刻隱藏神經層的凈輸入 的導數，則：
從而：
寫成矩陣形式為：
由此得到整個序列的損失函數 關於參數 的梯度：
同理可得， 關於權重 和偏置 的梯度為：
在BPTT演算法中，參數的梯度需要在一個完整的「前向」計算和「反向」計算後才能得到並進行參數更新。如下圖所示。
與反向傳播的BPTT演算法不同的是，實時循環學習（Real-Time Recurrent Learning）是通過前向傳播的方式來計算梯度。
假設循環神經網路中第 時刻的狀態 為：
其關於參數 的偏導數為：
RTRL演算法從第1 個時刻開始，除了計算循環神經網路的隱狀態之外，還依次前向計算偏導數 。
兩種學習演算法比較：
RTRL演算法和BPTT演算法都是基於梯度下降的演算法，分別通過前向模式和反向模式應用鏈式法則來計算梯度。 在循環神經網路中，一般網路輸出維度遠低於輸入維度，因此BPTT演算法的計算量會更小，但BPTT演算法需要保存所有時刻的中間梯度，空間復雜度較高。RTRL演算法不需要梯度回傳，因此非常適合於需要在線學習或無限序列的任務中 。
循環神經網路在學習過程中的主要問題是由於 梯度消失或爆炸問題 ，很難建模長時間間隔（Long Range）的狀態之間的依賴關系。
在BPTT演算法中，我們有：
如果定義 ，則：
若 ，當 時， ，會造成系統不穩定，稱為梯度爆炸問題；相反，若 ，當 時， ，會出現和深度前饋神經網路類似的梯度消失問題。
雖然簡單循環網路理論上可以建立長時間間隔的狀態之間的依賴關系，但是由於梯度爆炸或消失問題，實際上只能學習到短期的依賴關系。這樣，如果t時刻的輸出 依賴於 時刻的輸入 ，當間隔 比較大時，簡單神經網路很難建模這種長距離的依賴關系，稱為 長程依賴問題（Long-Term dependencies Problem） 。
一般而言，循環網路的梯度爆炸問題比較容易解決，一般 通過權重衰減或梯度截斷來避免。 權重衰減是通過給參數增加 或 范數的正則化項來限制參數的取值范圍，從而使得 。梯度截斷是另一種有效的啟發式方法，當梯度的模大於一定閾值時，就將它截斷成為一個較小的數。
梯度消失是循環網路的主要問題。除了使用一些優化技巧外，更有效的方式就是改變模型，比如讓 ，同時使用 ，即：
其中 是一個非線性函數， 為參數。
上式中， 和 之間為線性依賴關系，且權重系數為1，這樣就不存在梯度爆炸或消失問題。但是，這種改變也丟失了神經元在反饋邊上的非線性激活的性質，因此也降低了模型的表示能力。
為了避免這個缺點，我們可以採用一種更加有效的改進策略：
這樣 和 之間為既有線性關系，也有非線性關系，並且可以緩解梯度消失問題。但這種改進依然存在兩個問題：
為了解決這兩個問題，可以通過引入 門控機制 來進一步改進模型。
為了改善循環神經網路的長程依賴問題，一種非常好的解決方案是引入門控機制來控制信息的累積速度，包括 有選擇地加入新的信息，並有選擇地遺忘之前累積的信息 。這一類網路可以稱為基於門控的循環神經網路（Gated RNN）。本節中，主要介紹兩種基於門控的循環神經網路： 長短期記憶網路和門控循環單元網路。
長短期記憶（Long Short-Term Memory，LSTM）網路 是循環神經網路的一個變體，可以有效地解決簡單循環神經網路的梯度爆炸或消失問題。
在 基礎上，LSTM網路主要改進在以下兩個方面：
其中 和 三個門（gate）來控制信息傳遞的路徑； 為向量元素乘積； 為上一時刻的記憶單元； 是通過非線性函數得到的候選狀態：
在每個時刻 ，LSTM網路的內部狀態 記錄了到當前時刻為止的歷史信息。
在數字電路中，門（Gate）為一個二值變數{0, 1}，0代表關閉狀態，不許任何信息通過；1代表開放狀態，允許所有信息通過。LSTM網路中的「門」是一種「軟」門，取值在(0, 1) 之間，表示 以一定的比例運行信息通過 。LSTM網路中三個門的作用為：
（1）遺忘門 控制上一個時刻的內部狀態 需要遺忘多少信息。
（2）輸入門 控制當前時刻的候選狀態 有多少信息需要保存。
（3）輸出門