神經網路模型的分類
人工神經網路的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網路連接的拓樸結構分類和按照網路內部的信息流向分類。
1 按照網路拓樸結構分類
網路的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網路結構分為兩大類：層次型結構和互聯型結構。
層次型結構的神經網路將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，並傳給中間各隱層神經元；隱層是神經網路的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最後一個隱層將信息傳遞給輸出層神經元經進一步處理後向外界輸出信息處理結果。
而互連型網路結構中，任意兩個節點之間都可能存在連接路徑，因此可以根據網路中節點的連接程度將互連型網路細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網路信息流向分類
從神經網路內部信息傳遞方向來看，可以分為兩種類型：前饋型網路和反饋型網路。
單純前饋網路的結構與分層網路結構相同，前饋是因網路信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網路中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環路。因此這類網路很容易串聯起來建立多層前饋網路。
反饋型網路的結構與單層全互連結構網路相同。在反饋型網路中的所有節點都具有信息處理功能，而且每個節點既可以從外界接受輸入，同時又可以向外界輸出。
Ⅱ 機器學習中L1正則化和L2正則化的區別是什麼
L1正則假設參數的先驗分布是Laplace分布，可以保證模型的稀疏性，也就是某些參數等於0；
L2正則假設參數的先驗分布是Gaussian分布，可以保證模型的穩定性，也就是參數的值不會太大或太小
L1正則化和L2正則化可以看做是損失函數的懲罰項。所謂『懲罰』是指對損失函數中的某些參數做一些限制。對於線性回歸模型，使用L1正則化的模型建叫做Lasso回歸，使用L2正則化的模型叫做Ridge回歸。下圖是Python中Lasso回歸的損失函數，式中加號後面一項α||w||1即為L1正則化項。
Ⅲ 什麼是全連接神經網路，怎麼理解「全連接」
1、全連接神經網路解析：對n-1層和n層而言，n-1層的任意一個節點，都和第n層所有節點有連接。即第n層的每個節點在進行計算的時候，激活函數的輸入是n-1層所有節點的加權。
2、全連接的神經網路示意圖：
3、「全連接」是一種不錯的模式，但是網路很大的時候，訓練速度回很慢。部分連接就是認為的切斷某兩個節點直接的連接，這樣訓練時計算量大大減小。
Ⅳ 深度學習為什麼不過擬合
深度學習:過擬合
為了得到一致假設而使假設變得過度復雜稱為過擬合。想像某種學習演算法產生了一個過擬合的分類器，這個分類器能夠百分之百的正確分類樣本數據（即再拿樣本中的文檔來給它，它絕對不會分錯），但也就為了能夠對樣本完全正確的分類，使得它的構造如此精細復雜，規則如此嚴格，以至於任何與樣本數據稍有不同的文檔它全都認為不屬於這個類別。
標準定義：給定一個假設空間H，一個假設h屬於H，如果存在其他的假設h』屬於H,使得在訓練樣例上h的錯誤率比h』小，但在整個實例分布上h』比h的錯誤率小，那麼就說假設h過度擬合訓練數據。 —-《Machine Learning》Tom M.Mitchell
假設我們用深度學習來判斷西瓜，過擬合會使得你判斷西瓜更加嚴厲，導致在某些西瓜數據上與你准備的數據有些出入（差別並不會太大），從而結果判定不是西瓜。。。
-----------------
深度學習防止過擬合的方法
過擬合即在訓練誤差很小,而泛化誤差很大,因為模型可能過於的復雜,使其」記住」了訓練樣本,然而其泛化誤差卻很高,在傳統的機器學習方法中有很大防止過擬合的方法,同樣這些方法很多也適合用於深度學習中,同時深度學習中又有一些獨特的防止過擬合的方法,下面對其進行簡單的梳理.
1. 參數范數懲罰
范數正則化是一種非常普遍的方法,也是最常用的方法,假如優化:
minObj(θ)=L(y,f(x))+αG(θ)
其中L為經驗風險,其為在訓練樣本上的誤差,而G為對參數的懲罰,也叫結構風險.α是平衡兩者,如果太大則對應的懲罰越大,如過太小,甚至接近與0,則沒有懲罰.
最常用的范數懲罰為L1,L2正則化,L1又被成為Lasso:
||w||1=|w1|+|w2|+...
即絕對值相加,其趨向於是一些參數為0.可以起到特徵選擇的作用.
L2正則化為:
||w||2=w12+w22+...−−−−−−−−−−−−√
其趨向與,使權重很小.其又成為ridge.
關於更多可以參考:機器學習中的范數規則化之（一）L0、L1與L2范數
2. 數據增強
讓模型泛化的能力更好的最好辦法就是使用更多的訓練數據進行訓練,但是在實踐中,我們擁有的數據是有限的,解決這一問題可以人為的創造一些假數據添加到訓練集中.
一個具體的例子:
在AlexNet中,將256*256圖像隨機的截取224*224大小,增加了許多的訓練樣本,同時可以對圖像進行左右翻轉,增加樣本的個數,實驗的結果可以可降低1%的誤差.
在神經網路中輸入雜訊也可以看做是數據增強的一種方式.
3. 提前終止
如下圖所示(圖片來源deep learning),當隨著模型的能力提升,訓練集的誤差會先減小再增大,這樣可以提前終止演算法減緩過擬合現象.關於演算法的具體流程參考deep learning.
提前終止是一種很常用的緩解過擬合的方法,如在決策樹的先剪枝的演算法,提前終止演算法,使得樹的深度降低,防止其過擬合.
4. 參數綁定與參數共享
在卷積神經網路CNN中(計算機視覺與卷積神經網路 ),卷積層就是其中權值共享的方式,一個卷積核通過在圖像上滑動從而實現共享參數,大幅度減少參數的個數,用卷積的形式是合理的,因為對於一副貓的圖片來說,右移一個像素同樣還是貓,其具有局部的特徵.這是一種很好的緩解過擬合現象的方法.
同樣在RNN中用到的參數共享,在其整條時間鏈上可以進行參數的共享,這樣才使得其能夠被訓練.
5. bagging 和其他集成方法
其實bagging的方法是可以起到正則化的作用,因為正則化就是要減少泛化誤差,而bagging的方法可以組合多個模型起到減少泛化誤差的作用.
在深度學習中同樣可以使用此方法,但是其會增加計算和存儲的成本.
6. Dropout
Dropout提供了一種廉價的Bagging集成近似,能夠訓練和評估指數級數量的神經網路。dropout可以隨機的讓一部分神經元失活,這樣彷彿是bagging的采樣過程,因此可以看做是bagging的廉價的實現.
但是它們訓練不太一樣,因為bagging,所有的模型都是獨立的,而dropout下所有模型的參數是共享的.
通常可以這樣理解dropout:假設我們要判別一隻貓,有一個神經元說看到有毛就是貓,但是如果我讓這個神經元失活,它還能判斷出來是貓的話,這樣就比較具有泛化的能力,減輕了過擬合的風險.
7. 輔助分類節點(auxiliary classifiers)
在Google Inception V1中,採用了輔助分類節點的策略,即將中間某一層的輸出用作分類,並按一個較小的權重加到最終的分類結果中,這樣相當於做了模型的融合,同時給網路增加了反向傳播的梯度信號,提供了額外的正則化的思想.
8. Batch Normalization
在Google Inception V2中所採用,是一種非常有用的正則化方法,可以讓大型的卷積網路訓練速度加快很多倍,同事收斂後分類的准確率也可以大幅度的提高.
BN在訓練某層時,會對每一個mini-batch數據進行標准化(normalization)處理,使輸出規范到N(0,1)的正太分布,減少了Internal convariate shift(內部神經元分布的改變),傳統的深度神經網路在訓練是,每一層的輸入的分布都在改變,因此訓練困難,只能選擇用一個很小的學習速率,但是每一層用了BN後,可以有效的解決這個問題,學習速率可以增大很多倍.
未完待續…
參考資料:
deep learning
tensorflow實戰
機器學習中的范數規則化之（一）L0、L1與L2范數
Ⅳ 深度學習入門課程筆記 神經網路
深度學習入門課程筆記 神經網路
神經網路：
首先咱們先來回顧一下之前課程所講前向傳播和反向傳播知識點，前往傳播就是從輸入X到最終得到LOSS值的過程，反向傳播是從最終的LOSS值經過梯度的傳播最終計算出權重矩陣W中所有參數對於最終的LOSS值影響大小，更新參數就是通過不同權重參數對終LOSS值的影響來調節參數，使得咱們的參數矩陣W能夠更擬合咱們的數據，也就是使得最終的LOSS值能夠降低。這一系列的過程就是相當於完成了一次迭代
神經網路本質
下面咱們就來看看神經網路跟傳統的線性分類到底有什麼區別，從公式中我們可以看出，一個最明顯的區別就是神經網路函數多了一個MAX（）計算也就是說我們咱們現在的函數公式變成了一個非線性的操作，也正是這種非線性的函數使得神經網路相比於傳統的線性分類更強大，因為非線性可以使得咱們的函數去擬合更復雜的數據。
神經網路結構
接下來咱們就來看一下神經網路的結構，從途中可以看出，神經網路是一個層次的結構
輸入層也就是代表著數據源
隱層這個大家理解起來可能有些費勁，咱們可以把隱層當成是中間層也就是在這里對輸入數據進行了非線性的變換
激活函數它是跟隱層在一起的，比如這個MAX（）函數就是一個激活函數，正是因為激活函數的存在才使得整個神經網路呈現出一種非線性的模式。
輸出層這個就是最終得到的結果了，比如一個分類任務，最終的輸出就是每個類別的概率值了
我們可以看到對應於多層的網路也就是有多個隱層，相當於咱們又加了一層非線性函數MAX（），這個理解起來很簡單了吧，對於深層網路來說，它具有更好的非線性也就是說網路的層數越深就更能夠去擬合更復雜的數據。
生物學上的結構
看過很多講解都提高了把神經網路和人類的腦結構相對比，我覺得這有些增加了游戲難度，因為很多同學本身對生物學結構就不是很清楚，又搞了這多名詞出來，理解起來好像更費勁了，這里咱們就不說生物學結構了，直接看右半部分，和之前的線性分類最大的區別就是我們多了一個activation function也就是咱們剛才所說的激活函數，可以說正是激活函數的存在使得整個神經網路變得強大起來。
神經元
那麼神經網路能表達多復雜的數據信息是由什麼決定的呢？這個例子給了咱們很好的解釋，神經網路是表達能力是由神經元的個數，也就是每一個隱層所函數神經元的個數來決定的，神經元越多，層數越深表達的能力也就越強，理論上我們認為神經元越多越好！
防止過擬合
咱們剛才說了神經網路具有很強的表達能力，但是也很危險的，就是說神經網路很容易發成過擬合現象，因為咱們有大量的神經元也就是導致了我們需要的參數是極其多的，那麼該怎麼辦呢？最直接的方法就是加上正則化項，它可以使得咱們的神經網路不至於過擬合很嚴重也是咱們訓練神經網路必做的一項，圖中顯示了正則化的作用！
Ⅵ 神經網路演算法的三大類分別是
神經網路演算法的三大類分別是：
1、前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。
2、循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的是用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。
3、對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。
這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。
(6)四層神經網路全連接帶L2正則化擴展閱讀：
應用及發展：
心理學家和認知科學家研究神經網路的目的在於探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。
生物學、醫學、腦科學專家試圖通過神經網路的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望於臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在於尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。
Ⅶ 深度學習 l2正則化是逐層加還是最後一起加
「深度學習」和「多層神經網路」不存在區別關系。
深度學習的網路結構是多層神經網路的一種。深度學習中最著名的卷積神經網路CNN，在原來多層神經網路的基礎上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。
廣義上說深度學習的網路結構也是多層神經網路的一種。傳統意義上的多層神經網路是只有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。而深度學習中最著名的卷積神經網路CNN，在原來多層神經網路的基礎上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。 輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- . -- 隱藏層 -輸出層簡單來說，原來多層神經網路做的步驟是：特徵映射到值。特徵是人工挑選。深度學習做的步驟是 信號->特徵->值。 特徵是由網路自己選擇。
需要使用深度學習解決的問題有以下的特徵：
深度不足會出現問題。
人腦具有一個深度結構。
認知過程逐層進行，逐步抽象。
深度學習的核心思想：
把學習結構看作一個網路，則深度學習的核心思路如下：
①無監督學慣用於每一層網路的pre-train；
②每次用無監督學習只訓練一層，將其訓練結果作為其高一層的輸入；
③用自頂而下的監督演算法去調整所有層
Ⅷ 如何給某一層添加L2正則化
tf.nn.l2_loss()和tf.contrib.layers.l2_regularizer()，使用示例如下：
import tensorflow as tf
weights = tf.constant([[1,2,3], [4,5,6]], dtype=tf.float32)
sess = tf.InteractiveSession()
# 計算的是所有元素的平方和再除以2
print(tf.nn.l2_loss(weights).eval())
# 等價於
print(tf.contrib.layers.l2_regularizer(1.)(weights).eval())
# output: 45.5
接下來將介紹兩種方法將l2正則化項添加到損失函數後：
一、遍歷trainable variables添加L2正則化項：
1.遍歷可訓練參數，將每個參數傳入tf.nn.l2_loss()進行計算並相加起來；
2.乘以weight_decay並與base_loss相加。
weight_decay = 0.001
base_loss = tf.rece_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=logits))
l2_loss = weight_decay * tf.add_n([tf.nn.l2_loss(tf.cast(v, tf.float32)) for v in tf.trainable_variables()])
loss = base_loss + l2_loss
注意：該過程對每個trainable variable都進行了l2正則化，包括權值w和偏置b。有種說法是如果對偏執b進行l2正則化將會導致欠擬合，一般只需要對權值w進行正則化，所以來看第二種方法。
二、在構造網路層時傳入l2正則化函數：
如下所示，在構造網路層時，將'kernel_initializer'參數設為l2正則化函數，則tensorflow會將該權重變數（卷積核）的l2正則化項加入到集合 tf.GraphKeys.REGULARIZATOIN_LOSSES里。
x = tf.layers.conv2d(x, 512, (3, 3),
padding='same',
activation=tf.nn.relu,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
kernel_regularizer=tf.contrib.layers.l2_regularizer(0.001)
在計算loss時使用tf.get_collection()來獲取tf.GraphKeys.REGULARIZATOIN_LOSSES集合，然後相加即可：
base_loss = tf.rece_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=logits))
l2_loss = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
loss = tf.add_n([base_loss] + l2_loss, name="loss")
歡迎補充指正。
Ⅸ 神經網路（深度學習）的幾個基礎概念
從廣義上說深度學習的網路結構也是多層神經網路的一種。傳統意義上的多層神經網路是只有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。而深度學習中最著名的卷積神經網路CNN，在原來多層神經網路的基礎上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- .... -- 隱藏層 -輸出層簡單來說，原來多層神經網路做的步驟是：特徵映射到值。特徵是人工挑選。深度學習做的步驟是 信號->特徵->值。 特徵是由網路自己選擇。