1. 簡要說明前饋神經網路的BP演算法學習過程，並指出其具有什麼缺點及其原因
計算步驟
1.確定最大誤差和最大學習次數。
2.計算當前輸入下的輸出。
3.判斷輸出誤差是否滿足要求，滿足則退出，不滿足則開始學習。
4.計算廣義誤差，連接權系數更新。
6.次數加1，繼續迭代計算直到滿足要求。
缺點：
1.計算速度慢（計算量大，學習演算法不成熟，不同的演算法針對不同的問題收斂才快些）
2.輸入信號與訓練信號相差加大時，可能導致結果完全錯誤（不同的區域可能有不同的極值）
2. 什麼是全連接神經網路，怎麼理解「全連接」
1、全連接神經網路解析：對n-1層和n層而言，n-1層的任意一個節點，都和第n層所有節點有連接。即第n層的每個節點在進行計算的時候，激活函數的輸入是n-1層所有節點的加權。
2、全連接的神經網路示意圖：
3、「全連接」是一種不錯的模式，但是網路很大的時候，訓練速度回很慢。部分連接就是認為的切斷某兩個節點直接的連接，這樣訓練時計算量大大減小。
3. RBF神經網路的缺點！
1.RBF 的泛化能力在多個方面都優於BP 網路, 但是在解決具有相同精度要求的問題時, BP網路的結構要比RBF 網路簡單。2. RBF 網路的逼近精度要明顯高於BP 網路,它幾乎能實現完全逼近, 而且設計起來極其方便, 網路可以自動增加神經元直到滿足精度要求為止。但是在訓練樣本增多時, RBF 網路的隱層神經元數遠遠高於前者, 使得RBF 網路的復雜度大增加, 結構過於龐大, 從而運算量也有所增加。3. RBF神經網路是一種性能優良的前饋型神經網路，RBF網路可以任意精度逼近任意的非線性函數，且具有全局逼近能力，從根本上解決了BP網路的局部最優問題，而且拓撲結構緊湊，結構參數可實現分離學習，收斂速度快。4. 他們的結構是完全不一樣的。BP是通過不斷的調整神經元的權值來逼近最小誤差的。其方法一般是梯度下降。RBF是一種前饋型的神經網路，也就是說他不是通過不停的調整權值來逼近最小誤差的，的激勵函數是一般是高斯函數和BP的S型函數不一樣，高斯函數是通過對輸入與函數中心點的距離來算權重的。5. bp神經網路學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，BP演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的。而rbf神經網路是種高效的前饋式網路，它具有其他前向網路所不具有的最佳逼近性能和全局最優特性，並且結構簡單，訓練速度快。
4. 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系
一、計算方法不同
1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。
2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。
3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。
二、用途不同
1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。
2、BP神經網路：
（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；
（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；
（3）分類：把輸入向量所定義的合適方式進行分類；
（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。
3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。
聯系：
BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。
三、作用不同
1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。
2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。
3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。
(4)全連接前饋神經網路有什麼缺點擴展閱讀：
1、BP神經網路優劣勢
BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。
①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。
②容易陷入局部極小值。
③網路層數、神經元個數的選擇沒有相應的理論指導。
④網路推廣能力有限。
2、人工神經網路的特點和優越性，主要表現在以下三個方面
①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。
②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。
③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。
5. 為什麼全連接神經網路在圖像識別中不如卷積神經網路
輸入數據是n*n的像素矩陣，再使用全連接神經網路，那麼參數的個數會是指數級的增長，需要訓練的數據太多。
而CNN的話，可以通過共享同一個參數，來提取特定方向上的特徵，所以訓練量將比全連接神經網路小了很多。
6. 神經網路優缺點，
首先來看一下神經網路的缺點：
1. 黑盒子
神經網路最可能被人知曉的缺點是它們的「黑盒子」性質（也就是說你不知道神經網路是如何以及為什麼會產生一定的輸出）。例如，當你將一張貓的圖像放入神經網路，預測結果顯示它是一輛汽車時，這讓人很難理解。而在某些領域，可解釋性非常重要。
很多銀行之所以不使用神經網路來預測一個人是否有信譽，是因為他們需要向客戶解釋為什麼他們沒有獲得貸款。像Quora這樣的網站也是如此。如果他們因為機器學習演算法而決定刪除用戶賬戶，他們需要向用戶解釋為什麼這樣做。
如果將機器學習運用與重要的商業決策時，你能想像一個大公司的首席執行官會在不明白為什麼應該完成的情況下做出數百萬美元的決定嗎？僅僅因為「計算機」說他需要這樣做？
2. 發展的可持續時間
雖然有像Keras這樣的庫，讓神經網路的開發變得相當簡單，但有時您需要更多地控制演算法的細節。您可能還會使用到Tensorflow，但是由於它相對復雜，開發需要的時間也更長。對於公司管理層來說，如果用簡單的演算法就可以更快地解決問題，則讓他們花高昂的費用和較長的時間去開發一些東西，顯然是不合適的。
3. 數據量
與傳統的機器學習演算法相比，神經網路通常需要更多的數據，至少需要數千數百萬個標記樣本。而如果使用其它演算法，許多機器學習問題可以用較少的數據很好地解決。
雖然在某些情況下，神經網路需要處理少量數據（大多數情況下它們不需要）。而像樸素貝葉斯這樣的簡單演算法也可以很好地處理少數數據。
4. 計算代價高昂
通常，神經網路比傳統演算法的計算代價更高。對於最先進的深度學習演算法，完成深度神經網路從頭到尾的完整訓練，可能需要幾周的時間。而大多數傳統的機器學習演算法則只需要少於幾分鍾到幾個小時或幾天的時間即可。
神經網路所需的計算能力很大程度上取決於數據的大小，同時也取決於網路的深度和復雜程度。
然後就是神經網路的優點：
ANN 有能力學習和構建非線性的復雜關系的模型，這非常重要，因為在現實生活中，許多輸入和輸出之間的關系是非線性的、復雜的。
ANN 可以推廣，在從初始化輸入及其關系學習之後，它也可以推斷出從未知數據之間的未知關系，從而使得模型能夠推廣並且預測未知數據。
與許多其他預測技術不同，ANN 不會對輸入變數施加任何限制（例如：如何分布）。此外，許多研究表明，ANN 可以更好地模擬異方差性，即具有高波動性和不穩定方差的數據，因為它具有學習數據中隱藏關系的能力，而不在數據中強加任何固定關系。這在數據波動非常大的金融時間序列預測中非常有用。
神經網路的發展主要為：啟蒙時期（1890-1969），低潮時期（1969-1982），復興時期（1982-1986），新時期（1986至今）
7. CNN、RNN、DNN的內部網路結構有什麼區別
從廣義上來說，NN(或是更美的DNN)確實可以認為包含了CNN、RNN這些具體的變種形式。在實際應用中，所謂的深度神經網路DNN，往往融合了多種已知的結構，包括卷積層或是LSTM單元。但是就題主的意思來看，這里的DNN應該特指全連接的神經元結構，並不包含卷積單元或是時間上的關聯。
因此，題主一定要將DNN、CNN、RNN等進行對比，也未嘗不可。其實，如果我們順著神經網路技術發展的脈絡，就很容易弄清這幾種網路結構發明的初衷，和他們之間本質的區別。神經網路技術起源於上世紀五、六十年代，當時叫感知機(perceptron)，擁有輸入層、輸出層和一個隱含層。輸入的特徵向量通過隱含層變換達到輸出層，在輸出層得到分類結果。
早期感知機的推動者是Rosenblatt。(扯一個不相關的：由於計算技術的落後，當時感知器傳輸函數是用線拉動變阻器改變電阻的方法機械實現的，腦補一下科學家們扯著密密麻麻的導線的樣子…)但是，Rosenblatt的單層感知機有一個嚴重得不能再嚴重的問題，即它對稍復雜一些的函數都無能為力(比如最為典型的「異或」操作)。
連異或都不能擬合，你還能指望這貨有什麼實際用途么。隨著數學的發展，這個缺點直到上世紀八十年代才被Rumelhart、Williams、Hinton、LeCun等人(反正就是一票大牛)發明的多層感知機(multilayer perceptron)克服。多層感知機，顧名思義，就是有多個隱含層的感知機。
神經網路模型的分類
人工神經網路的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網路連接的拓樸結構分類和按照網路內部的信息流向分類。
1 按照網路拓樸結構分類
網路的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網路結構分為兩大類：層次型結構和互聯型結構。
層次型結構的神經網路將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，並傳給中間各隱層神經元；隱層是神經網路的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最後一個隱層將信息傳遞給輸出層神經元經進一步處理後向外界輸出信息處理結果。
而互連型網路結構中，任意兩個節點之間都可能存在連接路徑，因此可以根據網路中節點的連接程度將互連型網路細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網路信息流向分類
從神經網路內部信息傳遞方向來看，可以分為兩種類型：前饋型網路和反饋型網路。
單純前饋網路的結構與分層網路結構相同，前饋是因網路信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網路中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環路。因此這類網路很容易串聯起來建立多層前饋網路。
反饋型網路的結構與單層全互連結構網路相同。在反饋型網路中的所有節點都具有信息處理功能，而且每個節點既可以從外界接受輸入，同時又可以向外界輸出。