『壹』 神經網路原理及應用
神經網路原理及應用
1. 什麼是神經網路？
神經網路是一種模擬動物神經網路行為特徵，進行分布式並行信息處理的演算法。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
人類的神經網路
2. 神經網路基礎知識
構成：大量簡單的基礎元件——神經元相互連接
工作原理：模擬生物的神經處理信息的方式
功能：進行信息的並行處理和非線性轉化
特點：比較輕松地實現非線性映射過程，具有大規模的計算能力
神經網路的本質：
神經網路的本質就是利用計算機語言模擬人類大腦做決定的過程。
3. 生物神經元結構
4. 神經元結構模型
xj為輸入信號，θi為閾值，wij表示與神經元連接的權值，yi表示輸出值
判斷xjwij是否大於閾值θi
5. 什麼是閾值？
臨界值。
神經網路是模仿大腦的神經元，當外界刺激達到一定的閾值時，神經元才會受刺激，影響下一個神經元。
6. 幾種代表性的網路模型
單層前向神經網路——線性網路
階躍網路
多層前向神經網路（反推學習規則即BP神經網路）
Elman網路、Hopfield網路、雙向聯想記憶網路、自組織競爭網路等等
7. 神經網路能幹什麼？
運用這些網路模型可實現函數逼近、數據聚類、模式分類、優化計算等功能。因此，神經網路廣泛應用於人工智慧、自動控制、機器人、統計學等領域的信息處理中。雖然神經網路的應用很廣，但是在具體的使用過程中到底應當選擇哪種網路結構比較合適是值得考慮的。這就需要我們對各種神經網路結構有一個較全面的認識。
8. 神經網路應用
神經網路模型的分類
人工神經網路的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網路連接的拓樸結構分類和按照網路內部的信息流向分類。
1 按照網路拓樸結構分類
網路的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網路結構分為兩大類：層次型結構和互聯型結構。
層次型結構的神經網路將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，並傳給中間各隱層神經元；隱層是神經網路的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最後一個隱層將信息傳遞給輸出層神經元經進一步處理後向外界輸出信息處理結果。
而互連型網路結構中，任意兩個節點之間都可能存在連接路徑，因此可以根據網路中節點的連接程度將互連型網路細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網路信息流向分類
從神經網路內部信息傳遞方向來看，可以分為兩種類型：前饋型網路和反饋型網路。
單純前饋網路的結構與分層網路結構相同，前饋是因網路信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網路中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環路。因此這類網路很容易串聯起來建立多層前饋網路。
反饋型網路的結構與單層全互連結構網路相同。在反饋型網路中的所有節點都具有信息處理功能，而且每個節點既可以從外界接受輸入，同時又可以向外界輸出。
『叄』 什麼是神經網路
神經網路可以指向兩種，一個是生物神經網路，一個是人工神經網路。
生物神經網路：一般指生物的大腦神經元，細胞，觸點等組成的網路，用於產生生物的意識，幫助生物進行思考和行動。
人工神經網路（Artificial
Neural
Networks，簡寫為ANNs）也簡稱為神經網路（NNs）或稱作連接模型（Connection
Model），它是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
人工神經網路：是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。在工程與學術界也常直接簡稱為「神經網路」或類神經網路。
『肆』 深度學習與神經網路有什麼區別
深度學習與神經網路關系
2017-01-10
最近開始學習深度學習，基本上都是zouxy09博主的文章，寫的蠻好，很全面，也會根據自己的思路，做下刪減，細化。
五、Deep Learning的基本思想
假設我們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn => O，如果輸出O等於輸入I，即輸入I經過這個系統變化之後沒有任何的信息損失（呵呵，大牛說，這是不可能的。資訊理論中有個「信息逐層丟失」的說法（信息處理不等式），設處理a信息得到b，再對b處理得到c，那麼可以證明：a和c的互信息不會超過a和b的互信息。這表明信息處理不會增加信息，大部分處理會丟失信息。當然了，如果丟掉的是沒用的信息那多好啊），保持了不變，這意味著輸入I經過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。現在回到我們的主題Deep Learning，我們需要自動地學習特徵，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個系統S（有n層），我們通過調整系統中參數，使得它的輸出仍然是輸入I，那麼我們就可以自動地獲取得到輸入I的一系列層次特徵，即S1，…, Sn。
對於深度學習來說，其思想就是對堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實現對輸入信息進行分級表達了。
另外，前面是假設輸出嚴格地等於輸入，這個限制太嚴格，我們可以略微地放鬆這個限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個放鬆會導致另外一類不同的Deep Learning方法。上述就是Deep Learning的基本思想。
六、淺層學習（Shallow Learning）和深度學習（Deep Learning）
淺層學習是機器學習的第一次浪潮。
20世紀80年代末期，用於人工神經網路的反向傳播演算法（也叫Back Propagation演算法或者BP演算法）的發明，給機器學習帶來了希望，掀起了基於統計模型的機器學習熱潮。這個熱潮一直持續到今天。人們發現，利用BP演算法可以讓一個人工神經網路模型從大量訓練樣本中學習統計規律，從而對未知事件做預測。這種基於統計的機器學習方法比起過去基於人工規則的系統，在很多方面顯出優越性。這個時候的人工神經網路，雖也被稱作多層感知機（Multi-layer Perceptron），但實際是種只含有一層隱層節點的淺層模型。
20世紀90年代，各種各樣的淺層機器學習模型相繼被提出，例如支撐向量機（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。這些模型的結構基本上可以看成帶有一層隱層節點（如SVM、Boosting），或沒有隱層節點（如LR）。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。相比之下，由於理論分析的難度大，訓練方法又需要很多經驗和技巧，這個時期淺層人工神經網路反而相對沉寂。
深度學習是機器學習的第二次浪潮。
2006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton和他的學生RuslanSalakhutdinov在《科學》上發表了一篇文章，開啟了深度學習在學術界和工業界的浪潮。這篇文章有兩個主要觀點：1）多隱層的人工神經網路具有優異的特徵學習能力，學習得到的特徵對數據有更本質的刻畫，從而有利於可視化或分類；2）深度神經網路在訓練上的難度，可以通過「逐層初始化」（layer-wise pre-training）來有效克服，在這篇文章中，逐層初始化是通過無監督學習實現的。
當前多數分類、回歸等學習方法為淺層結構演算法，其局限性在於有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題其泛化能力受到一定製約。深度學習可通過學習一種深層非線性網路結構，實現復雜函數逼近，表徵輸入數據分布式表示，並展現了強大的從少數樣本集中學習數據集本質特徵的能力。（多層的好處是可以用較少的參數表示復雜的函數）
而為了克服神經網路訓練中的問題，DL採用了與神經網路很不同的訓練機制。傳統神經網路（這里作者主要指前向神經網路）中，採用的是back propagation的方式進行，簡單來講就是採用迭代的演算法來訓練整個網路，隨機設定初值，計算當前網路的輸出，然後根據當前輸出和label之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。而deep learning整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果採用back propagation的機制，對於一個deep network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient diffusion（梯度擴散）。這個問題我們接下來討論。
八、Deep learning訓練過程
8.1、傳統神經網路的訓練方法為什麼不能用在深度神經網路
BP演算法作為傳統訓練多層網路的典型演算法，實際上對僅含幾層網路，該訓練方法就已經很不理想。深度結構（涉及多個非線性處理單元層）非凸目標代價函數中普遍存在的局部最小是訓練困難的主要來源。
BP演算法存在的問題：
（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小；
（2）收斂到局部最小值：尤其是從遠離最優區域開始的時候（隨機值初始化會導致這種情況的發生）；
（3）一般，我們只能用有標簽的數據來訓練：但大部分的數據是沒標簽的，而大腦可以從沒有標簽的的數據中學習；
8.2、deep learning訓練過程
如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合（因為深度網路的神經元和參數太多了）。
2006年，hinton提出了在非監督數據上建立多層神經網路的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網路，二是調優，使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是：
1）首先逐層構建單層神經元，這樣每次都是訓練一個單層網路。
2）當所有層訓練完後，Hinton使用wake-sleep演算法進行調優。
將除最頂層的其它層間的權重變為雙向的，這樣最頂層仍然是一個單層神經網路，而其它層則變為了圖模型。向上的權重用於「認知」，向下的權重用於「生成」。然後使用Wake-Sleep演算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那麼所有人臉的圖像應該激活這個結點，並且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。Wake-Sleep演算法分為醒（wake）和睡（sleep）兩個部分。
1）wake階段：認知過程，通過外界的特徵和向上的權重（認知權重）產生每一層的抽象表示（結點狀態），並且使用梯度下降修改層間的下行權重（生成權重）。也就是「如果現實跟我想像的不一樣，改變我的權重使得我想像的東西就是這樣的」。
2）sleep階段：生成過程，通過頂層表示（醒時學得的概念）和向下權重，生成底層的狀態，同時修改層間向上的權重。也就是「如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念」。
deep learning訓練過程具體如下：
1）使用自下上升非監督學習（就是從底層開始，一層一層的往頂層訓練）：
採用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網路區別最大的部分（這個過程可以看作是feature learning過程）：
具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網路的隱層），由於模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特徵；在學習得到第n-1層後，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數；
2）自頂向下的監督學習（就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網路進行微調）：
基於第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網路的隨機初始化初值過程，由於DL的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功於第一步的feature learning過程。
『伍』 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系
一、計算方法不同
1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。
2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。
3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。
二、用途不同
1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。
2、BP神經網路：
（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；
（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；
（3）分類：把輸入向量所定義的合適方式進行分類；
（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。
3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。
聯系：
BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。
三、作用不同
1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。
2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。
3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。
(5)網路神經連接和非神經連接區別擴展閱讀：
1、BP神經網路優劣勢
BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。
①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。
②容易陷入局部極小值。
③網路層數、神經元個數的選擇沒有相應的理論指導。
④網路推廣能力有限。
2、人工神經網路的特點和優越性，主要表現在以下三個方面
①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。
②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。
③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。
『陸』 深度神經網路與傳統神經網路有什麼區別
從名字就可以看出來，一個字，深
目前深度網路已經達到幾千層甚至上萬的深度，隨之而來的的就是數以億計的模型參數
你所謂的傳統神經網路大概是指MLP，RBF這些深度在幾層的上古網路
『柒』 什麼叫神經網路
南搞小孩給出基本的概念: 一.一些基本常識和原理 [什麼叫神經網路?] 人的思維有邏輯性和直觀性兩種不同的基本方式。邏輯性的思維是指根據邏輯規則進行推理的過程；它先將信息化成概念，並用符號表示，然後，根據符號運算按串列模式進行邏輯推理；這一過程可以寫成串列的指令，讓計算機執行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點:1.信息是通過神經元上的興奮模式分布儲在網路上;2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。 人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。 [人工神經網路的工作原理] 人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。 所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。 如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。 南搞小孩一個小程序: 關於一個神經網路模擬程序的下載 人工神經網路實驗系統(BP網路) V1.0 Beta 作者:沈琦 http://emuch.net/html/200506/de24132.html 作者關於此程序的說明: 從輸出結果可以看到，前3條"學習"指令，使"輸出"神經元收斂到了值 0.515974。而後3條"學習"指令，其收斂到了值0.520051。再看看處理4和11的指令結果 P *Out1: 0.520051看到了嗎？ "大腦"識別出了4和11是屬於第二類的！怎麼樣?很神奇吧?再打show指令看看吧!"神經網路"已經形成了!你可以自己任意的設"模式"讓這個"大腦"學習分辯哦!只要樣本數據量充分(可含有誤差的樣本)，如果能夠在out數據上收斂地話，那它就能分辨地很准哦!有時不是絕對精確，因為它具有"模糊處理"的特性.看Process輸出的值接近哪個Learning的值就是"大腦"作出的"模糊性"判別! 南搞小孩神經網路研究社區: 人工神經網路論壇 http://www.youngfan.com/forum/index.php http://www.youngfan.com/nn/index.html(舊版,楓舞推薦) 國際神經網路學會(INNS)(英文) http://www.inns.org/ 歐洲神經網路學會(ENNS)(英文) http://www.snn.kun.nl/enns/ 亞太神經網路學會(APNNA)(英文) http://www.cse.cuhk.e.hk/~apnna 日本神經網路學會(JNNS)(日文) http://www.jnns.org 國際電氣工程師協會神經網路分會 http://www.ieee-nns.org/ 研學論壇神經網路 http://bbs.matwav.com/post/page?bid=8&sty=1&age=0 人工智慧研究者俱樂部 http://www.souwu.com/ 2nsoft人工神經網路中文站 http://211.156.161.210:8888/2nsoft/index.jsp =南搞小孩推薦部分書籍: 人工神經網路技術入門講稿(PDF) http://www.youngfan.com/nn/ann.pdf 神經網路FAQ(英文) http://www.youngfan.com/nn/FAQ/FAQ.html 數字神經網路系統(電子圖書) http://www.youngfan.com/nn/nnbook/director.htm 神經網路導論(英文) http://www.shef.ac.uk/psychology/gurney/notes/contents.html =南搞小孩還找到一份很有參考價值的講座 <前向網路的敏感性研究> http://www.youngfan.com/nn/mgx.ppt 是Powerpoint文件，比較大，如果網速不夠最好用滑鼠右鍵下載另存. 南搞小孩添言:很久之前，楓舞夢想智能機器人從自己手中誕生,SO在學專業的時候也有往這方面發展...考研的時候亦是朝著人工智慧的方向發展..但是很不幸的是楓舞考研失敗...SO 只好放棄這個美好的願望,為生活奔波.希望你能夠成為一個好的智能計算機工程師..楓舞已經努力的在給你提供條件資源哦~~
『捌』 神經網路具體是什麼
神經網路由大量的神經元相互連接而成。每個神經元接受線性組合的輸入後，最開始只是簡單的線性加權，後來給每個神經元加上了非線性的激活函數，從而進行非線性變換後輸出。每兩個神經元之間的連接代表加權值，稱之為權重（weight）。不同的權重和激活函數，則會導致神經網路不同的輸出。 舉個手寫識別的例子，給定一個未知數字，讓神經網路識別是什麼數字。此時的神經網路的輸入由一組被輸入圖像的像素所激活的輸入神經元所定義。在通過非線性激活函數進行非線性變換後，神經元被激活然後被傳遞到其他神經元。重復這一過程，直到最後一個輸出神經元被激活。從而識別當前數字是什麼字。 神經網路的每個神經元如下
基本wx + b的形式，其中 x1、x2表示輸入向量 w1、w2為權重，幾個輸入則意味著有幾個權重，即每個輸入都被賦予一個權重 b為偏置bias g(z) 為激活函數 a 為輸出 如果只是上面這樣一說，估計以前沒接觸過的十有八九又必定迷糊了。事實上，上述簡單模型可以追溯到20世紀50/60年代的感知器，可以把感知器理解為一個根據不同因素、以及各個因素的重要性程度而做決策的模型。 舉個例子，這周末北京有一草莓音樂節，那去不去呢？決定你是否去有二個因素，這二個因素可以對應二個輸入，分別用x1、x2表示。此外，這二個因素對做決策的影響程度不一樣，各自的影響程度用權重w1、w2表示。一般來說，音樂節的演唱嘉賓會非常影響你去不去，唱得好的前提下 即便沒人陪同都可忍受，但如果唱得不好還不如你上台唱呢。所以，我們可以如下表示： x1：是否有喜歡的演唱嘉賓。x1 = 1 你喜歡這些嘉賓，x1 = 0 你不喜歡這些嘉賓。嘉賓因素的權重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 沒人陪你同去。是否有人陪同的權重w2 = 3。 這樣，咱們的決策模型便建立起來了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函數，這里的b可以理解成 為更好達到目標而做調整的偏置項。 一開始為了簡單，人們把激活函數定義成一個線性函數，即對於結果做一個線性變化，比如一個簡單的線性激活函數是g(z) = z，輸出都是輸入的線性變換。後來實際應用中發現，線性激活函數太過局限，於是引入了非線性激活函數。
『玖』 全連接神經網路和傳統bp網的區別
?
一個是表示各層連接方式，一個表示訓練方式。沒有什麼可比性。
『拾』 神經網路與深度神經網路有什麼區別
神經網路可以指向兩種，一個是生物神經網路，一個是人工神經網路。
深度神經網路指的是微軟推出了一新款語音識別軟體，其工作原理是模仿人腦思考方式，從而使該軟體的語音識別速度更快，識別准確率也更高。