❶ BP人工神經網路方法
（一）方法原理
人工神經網路是由大量的類似人腦神經元的簡單處理單元廣泛地相互連接而成的復雜的網路系統。理論和實踐表明，在信息處理方面，神經網路方法比傳統模式識別方法更具有優勢。人工神經元是神經網路的基本處理單元，其接收的信息為x1，x2，…，xn，而ωij表示第i個神經元到第j個神經元的連接強度或稱權重。神經元的輸入是接收信息X＝（x1，x2，…，xn）與權重W＝｛ωij｝的點積，將輸入與設定的某一閾值作比較，再經過某種神經元激活函數f的作用，便得到該神經元的輸出Oi。常見的激活函數為Sigmoid型。人工神經元的輸入與輸出的關系為
地球物理勘探概論
式中：xi為第i個輸入元素，即n維輸入矢量X的第i個分量；ωi為第i個輸入與處理單元間的互聯權重；θ為處理單元的內部閾值；y為處理單元的輸出。
常用的人工神經網路是BP網路，它由輸入層、隱含層和輸出層三部分組成。BP演算法是一種有監督的模式識別方法，包括學習和識別兩部分，其中學習過程又可分為正向傳播和反向傳播兩部分。正向傳播開始時，對所有的連接權值置隨機數作為初值，選取模式集的任一模式作為輸入，轉向隱含層處理，並在輸出層得到該模式對應的輸出值。每一層神經元狀態隻影響下一層神經元狀態。此時，輸出值一般與期望值存在較大的誤差，需要通過誤差反向傳遞過程，計算模式的各層神經元權值的變化量
（二）BP神經網路計算步驟
（1）初始化連接權值和閾值為一小的隨機值，即W（0）＝任意值，θ（0）＝任意值。
（2）輸入一個樣本X。
（3）正向傳播，計算實際輸出，即根據輸入樣本值、互聯權值和閾值，計算樣本的實際輸出。其中輸入層的輸出等於輸入樣本值，隱含層和輸出層的輸入為
地球物理勘探概論
輸出為
地球物理勘探概論
式中：f為閾值邏輯函數，一般取Sigmoid函數，即
地球物理勘探概論
式中：θj表示閾值或偏置；θ0的作用是調節Sigmoid函數的形狀。較小的θ0將使Sigmoid函數逼近於閾值邏輯單元的特徵，較大的θ0將導致Sigmoid函數變平緩，一般取θ0＝1。
（4）計算實際輸出與理想輸出的誤差
地球物理勘探概論
式中：tpk為理想輸出；Opk為實際輸出；p為樣本號；k為輸出節點號。
（5）誤差反向傳播，修改權值
地球物理勘探概論
式中：
地球物理勘探概論
地球物理勘探概論
（6）判斷收斂。若誤差小於給定值，則結束，否則轉向步驟（2）。
（三）塔北雅克拉地區BP神經網路預測實例
以塔北雅克拉地區S4井為已知樣本，取氧化還原電位，放射性元素Rn、Th、Tc、U、K和地震反射
S4井位於測區西南部5線25點，是區內唯一已知井。該井在5390.6m的侏羅系地層獲得40.6m厚的油氣層，在5482m深的震旦系地層中獲58m厚的油氣層。取S4井周圍9個點，即4～6線的23～25 點作為已知油氣的訓練樣本；由於區內沒有未見油的鑽井，只好根據地質資料分析，選取14～16線的55～57點作為非油氣的訓練樣本。BP網路學習迭代17174次，總誤差為0.0001，學習效果相當滿意。以學習後的網路進行識別，得出結果如圖6-2-4所示。
圖6-2-4 塔北雅克拉地區BP神經網路聚類結果
（據劉天佑等，1997）
由圖6-2-4可見，由預測值大於0.9可得5個大封閉圈遠景區，其中測區南部①號遠景區對應著已知油井S4井；②、③號油氣遠景區位於地震勘探所查明的托庫1、2號構造，該兩個構造位於沙雅隆起的東段，其西段即為1984年鑽遇高產油氣流的Sch2井，應是含油氣性好的遠景區；④、⑤號遠景區位於大澇壩構造，是yh油田的組成部分。
❷ 請問用MATLAB的BP神經網路進行遙感影像分類，怎麼進行樣本訓練啊謝謝！
基本是這個步驟。人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。附件是一個車牌識別的例子，可以參考。
網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理 ，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。它是涉及神經科學、思維科學、人工智慧、計算機科學等多個領域的交叉學科。
❸ BP神經網路(誤差反傳網路)
雖然每個人工神經元很簡單，但是只要把多個人工
神經元按一定方式連接起來就構成了一個能處理復雜信息的神經網路。採用BP演算法的多層前饋網路是目前應用最廣泛的神經網路，稱之為BP神經網路。它的最大功能就是能映射復雜的非線性函數關系。
對於已知的模型空間和數據空間，我們知道某個模型和他對應的數據，但是無法寫出它們之間的函數關系式，但是如果有大量的一一對應的模型和數據樣本集合，利用BP神經網路可以模擬(映射)它們之間的函數關系。
一個三層BP網路如圖8.11所示，分為輸入層、隱層、輸出層。它是最常用的BP網路。理論分析證明三層網路已經能夠表達任意復雜的連續函數關系了。只有在映射不連續函數時(如鋸齒波)才需要兩個隱層[8]。
圖8.11中，X=(x1，…，xi，…，xn)T為輸入向量，如加入x0=-1，可以為隱層神經元引入閥值;隱層輸出向量為:Y=(y1，…，yi，…，ym)T，如加入y0=-1，可以為輸出層神經元引入閥值;輸出層輸出向量為:O=(o1，…，oi，…，ol)T;輸入層到隱層之間的權值矩陣用V表示，V=(V1，…，Vj，…，Vl)T，其中列向量Vj表示隱層第j個神經元的權值向量;隱層到輸出層之間的權值矩陣用W表示，W=(W1，…，Wk，…，Wl)T，
其中列向量Wk表示輸出層第k個神經元的權值向量。
圖8.11 三層BP網路[8]
BP演算法的基本思想是:預先給定一一對應的輸入輸出樣本集。學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經過各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播。將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有神經元，獲得各層的誤差信號，用它們可以對各層的神經元的權值進行調整(關於如何修改權值參見韓立群著作[8])，循環不斷地利用輸入輸出樣本集進行權值調整，以使所有輸入樣本的輸出誤差都減小到滿意的精度。這個過程就稱為網路的學習訓練過程。當網路訓練完畢後，它相當於映射(表達)了輸入輸出樣本之間的函數關系。
在地球物理勘探中，正演過程可以表示為如下函數:
d=f(m) (8.31)
它的反函數為
m=f-1(d) (8.32)
如果能夠獲得這個反函數，那麼就解決了反演問題。一般來說，難以寫出這個反函數，但是我們可以用BP神經網路來映射這個反函數m=f-1(d)。對於地球物理反問題，如果把觀測數據當作輸入數據，模型參數當作輸出數據，事先在模型空間隨機產生大量樣本進行正演計算，獲得對應的觀測數據樣本，利用它們對BP網路進行訓練，則訓練好的網路就相當於是地球物理數據方程的反函數。可以用它進行反演，輸入觀測數據，網路就會輸出它所對應的模型。
BP神經網路在能夠進行反演之前需要進行學習訓練。訓練需要大量的樣本，產生這些樣本需要大量的正演計算，此外在學習訓練過程也需要大量的時間。但是BP神經網路一旦訓練完畢，在反演中的計算時間可以忽略。
要想使BP神經網路比較好地映射函數關系，需要有全面代表性的樣本，但是由於模型空間的無限性，難以獲得全面代表性的樣本集合。用這樣的樣本訓練出來的BP網路，只能反映樣本所在的較小范圍數據空間和較小范圍模型空間的函數關系。對於超出它們的觀測數據就無法正確反演。目前BP神經網路在一維反演有較多應用，在二維、三維反演應用較少，原因就是難以產生全面代表性的樣本空間。
❹ BP神經網路的工作原理
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。
如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。
❺ bp神經網路為什麼有兩個訓練集合
首先從名稱中可以看出，Bp神經網路可以分為兩個部分，bp和神經網路。bp是 Back Propagation 的簡寫 ，意思是反向傳播。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。其主要的特點是：信號是正向傳播的，而誤差是反向傳播的。舉一個例子，某廠商生產一種產品，投放到市場之後得到了消費者的反饋，根據消費者的反饋，廠商對產品進一步升級，優化，一直循環往復，直到實現最終目的——生產出讓消費者更滿意的產品。產品投放就是「信號前向傳播」，消費者的反饋就是「誤差反向傳播」。這就是BP神經網路的核心。
❻ BP人工神經網路
人工神經網路（artificialneuralnetwork，ANN）指由大量與自然神經系統相類似的神經元聯結而成的網路，是用工程技術手段模擬生物網路結構特徵和功能特徵的一類人工系統。神經網路不但具有處理數值數據的一般計算能力，而且還具有處理知識的思維、學習、記憶能力，它採用類似於「黑箱」的方法，通過學習和記憶，找出輸入、輸出變數之間的非線性關系（映射），在執行問題和求解時，將所獲取的數據輸入到已經訓練好的網路，依據網路學到的知識進行網路推理，得出合理的答案與結果。
岩土工程中的許多問題是非線性問題，變數之間的關系十分復雜，很難用確切的數學、力學模型來描述。工程現場實測數據的代表性與測點的位置、范圍和手段有關，有時很難滿足傳統統計方法所要求的統計條件和規律，加之岩土工程信息的復雜性和不確定性，因而運用神經網路方法實現岩土工程問題的求解是合適的。
BP神經網路模型是誤差反向傳播（BackPagation）網路模型的簡稱。它由輸入層、隱含層和輸出層組成。網路的學習過程就是對網路各層節點間連接權逐步修改的過程，這一過程由兩部分組成：正向傳播和反向傳播。正向傳播是輸入模式從輸入層經隱含層處理傳向輸出層；反向傳播是均方誤差信息從輸出層向輸入層傳播，將誤差信號沿原來的連接通路返回，通過修改各層神經元的權值，使得誤差信號最小。
BP神經網路模型在建立及應用過程中，主要存在的不足和建議有以下四個方面：
（1）對於神經網路，數據愈多，網路的訓練效果愈佳，也更能反映實際。但在實際操作中，由於條件的限制很難選取大量的樣本值進行訓練，樣本數量偏少。
（2）BP網路模型其計算速度較慢、無法表達預測量與其相關參數之間親疏關系。
（3）以定量數據為基礎建立模型，若能收集到充分資料，以定性指標（如基坑降水方式、基坑支護模式、施工工況等）和一些易獲取的定量指標作為輸入層，以評價等級作為輸出層，這樣建立的BP網路模型將更准確全面。
（4）BP人工神經網路系統具有非線性、智能的特點。較好地考慮了定性描述和定量計算、精確邏輯分析和非確定性推理等方面，但由於樣本不同，影響要素的權重不同，以及在根據先驗知識和前人的經驗總結對定性參數進行量化處理，必然會影響評價的客觀性和准確性。因此，在實際評價中只有根據不同的基坑施工工況、不同的周邊環境條件，應不同用戶的需求，選擇不同的分析指標，才能滿足復雜工況條件下地質環境評價的要求，取得較好的應用效果。
❼ BP神經網路方法
人工神經網路是近幾年來發展起來的新興學科，它是一種大規模並行分布處理的非線性系統，適用解決難以用數學模型描述的系統，逼近任何非線性的特性，具有很強的自適應、自學習、聯想記憶、高度容錯和並行處理能力，使得神經網路理論的應用已經滲透到了各個領域。近年來，人工神經網路在水質分析和評價中的應用越來越廣泛，並取得良好效果。在這些應用中，縱觀應用於模式識別的神經網路，BP網路是最有效、最活躍的方法之一。
BP網路是多層前向網路的權值學習採用誤差逆傳播學習的一種演算法（Error Back Propagation，簡稱BP）。在具體應用該網路時分為網路訓練及網路工作兩個階段。在網路訓練階段，根據給定的訓練模式，按照「模式的順傳播」→「誤差逆傳播」→「記憶訓練」→「學習收斂」4個過程進行網路權值的訓練。在網路的工作階段，根據訓練好的網路權值及給定的輸入向量，按照「模式順傳播」方式求得與輸入向量相對應的輸出向量的解答（閻平凡，2000）。
BP演算法是一種比較成熟的有指導的訓練方法，是一個單向傳播的多層前饋網路。它包含輸入層、隱含層、輸出層，如圖4-4所示。
圖4-4 地下水質量評價的BP神經網路模型
圖4-4給出了4層地下水水質評價的BP神經網路模型。同層節點之間不連接。輸入信號從輸入層節點，依次傳過各隱含層節點，然後傳到輸出層節點，如果在輸出層得不到期望輸出，則轉入反向傳播，將誤差信號沿原來通路返回，通過學習來修改各層神經元的權值，使誤差信號最小。每一層節點的輸出隻影響下一層節點的輸入。每個節點都對應著一個作用函數（f）和閾值（a），BP網路的基本處理單元量為非線性輸入-輸出的關系，輸入層節點閾值為0，且f（x）=x；而隱含層和輸出層的作用函數為非線性的Sigmoid型（它是連續可微的）函數，其表達式為
f（x）=1/（1+e-x） （4-55）
設有L個學習樣本（Xk，Ok）（k=1，2，…，l），其中Xk為輸入，Ok為期望輸出，Xk經網路傳播後得到的實際輸出為Yk，則Yk與要求的期望輸出Ok之間的均方誤差為
區域地下水功能可持續性評價理論與方法研究
式中：M為輸出層單元數；Yk，p為第k樣本對第p特性分量的實際輸出；Ok，p為第k樣本對第p特性分量的期望輸出。
樣本的總誤差為
區域地下水功能可持續性評價理論與方法研究
由梯度下降法修改網路的權值，使得E取得最小值，學習樣本對Wij的修正為
區域地下水功能可持續性評價理論與方法研究
式中：η為學習速率，可取0到1間的數值。
所有學習樣本對權值Wij的修正為
區域地下水功能可持續性評價理論與方法研究
通常為增加學習過程的穩定性，用下式對Wij再進行修正：
區域地下水功能可持續性評價理論與方法研究
式中：β為充量常量；Wij（t）為BP網路第t次迭代循環訓練後的連接權值；Wij（t-1）為BP網路第t-1次迭代循環訓練後的連接權值。
在BP網路學習的過程中，先調整輸出層與隱含層之間的連接權值，然後調整中間隱含層間的連接權值，最後調整隱含層與輸入層之間的連接權值。實現BP網路訓練學習程序流程，如圖4-5所示（倪深海等，2000）。
圖4-5 BP神經網路模型程序框圖
若將水質評價中的評價標准作為樣本輸入，評價級別作為網路輸出，BP網路通過不斷學習，歸納出評價標准與評價級別間復雜的內在對應關系，即可進行水質綜合評價。
BP網路對地下水質量綜合評價，其評價方法不需要過多的數理統計知識，也不需要對水質量監測數據進行復雜的預處理，操作簡便易行，評價結果切合實際。由於人工神經網路方法具有高度民主的非線性函數映射功能，使得地下水水質評價結果較准確（袁曾任，1999）。
BP網路可以任意逼近任何連續函數，但是它主要存在如下缺點：①從數學上看，它可歸結為一非線性的梯度優化問題，因此不可避免地存在局部極小問題；②學習演算法的收斂速度慢，通常需要上千次或更多。
神經網路具有學習、聯想和容錯功能，是地下水水質評價工作方法的改進，如何在現行的神經網路中進一步吸取模糊和灰色理論的某些優點，建立更適合水質評價的神經網路模型，使該模型既具有方法的先進性又具有現實的可行性，將是我們今後研究和探討的問題。
❽ 神經網路——BP演算法
對於初學者來說，了解了一個演算法的重要意義，往往會引起他對演算法本身的重視。BP(Back Propagation，後向傳播)演算法，具有非凡的歷史意義和重大的現實意義。
1969年,作為人工神經網路創始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一書,論證了簡單的線性感知器功能有限,不能解決如「異或」(XOR )這樣的基本問題,而且對多層網路也持悲觀態度。這些論點給神經網路研究以沉重的打擊,很多科學家紛紛離開這一領域,神經網路的研究走向長達10年的低潮時期。[1]
1974年哈佛大學的Paul Werbos發明BP演算法時，正值神經外網路低潮期，並未受到應有的重視。[2]
1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商這個NP完全問題的求解上獲得當時最好成績，引起了轟動[2]。然而,Hopfield的研究成果仍未能指出明斯基等人論點的錯誤所在,要推動神經網路研究的全面開展必須直接解除對感知器——多層網路演算法的疑慮。[1]
真正打破明斯基冰封魔咒的是，David Rumelhart等學者出版的《平行分布處理:認知的微觀結構探索》一書。書中完整地提出了BP演算法,系統地解決了多層網路中隱單元連接權的學習問題,並在數學上給出了完整的推導。這是神經網路發展史上的里程碑，BP演算法迅速走紅，掀起了神經網路的第二次高潮。[1,2]
因此，BP演算法的歷史意義：明確地否定了明斯基等人的錯誤觀點，對神經網路第二次高潮具有決定性意義。
這一點是說BP演算法在神經網路領域中的地位和意義。
BP演算法是迄今最成功的神經網路學習演算法，現實任務中使用神經網路時，大多是在使用BP演算法進行訓練[2],包括最近炙手可熱的深度學習概念下的卷積神經網路(CNNs)。
BP神經網路是這樣一種神經網路模型，它是由一個輸入層、一個輸出層和一個或多個隱層構成，它的激活函數採用sigmoid函數，採用BP演算法訓練的多層前饋神經網路。
BP演算法全稱叫作誤差反向傳播(error Back Propagation，或者也叫作誤差逆傳播)演算法。其演算法基本思想為：在2.1所述的前饋網路中，輸入信號經輸入層輸入，通過隱層計算由輸出層輸出，輸出值與標記值比較，若有誤差，將誤差反向由輸出層向輸入層傳播，在這個過程中，利用梯度下降演算法對神經元權值進行調整。
BP演算法中核心的數學工具就是微積分的 鏈式求導法則 。
BP演算法的缺點，首當其沖就是局部極小值問題。
BP演算法本質上是梯度下降，而它所要優化的目標函數又非常復雜，這使得BP演算法效率低下。
[1]、《BP演算法的哲學思考》，成素梅、郝中華著
[2]、《機器學習》，周志華著
[3]、 Deep Learning論文筆記之（四）CNN卷積神經網路推導和實現
2016-05-13 第一次發布
2016-06-04 較大幅度修改，完善推導過程，修改文章名
2016-07-23 修改了公式推導中的一個錯誤，修改了一個表述錯誤
❾ 什麼是BP神經網路
BP演算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經元之間的連接權矩陣做出處理，使誤差減小。經反復學習，最終使誤差減小到可接受的范圍。具體步驟如下：
1、從訓練集中取出某一樣本，把信息輸入網路中。
2、通過各節點間的連接情況正向逐層處理後，得到神經網路的實際輸出。
3、計算網路實際輸出與期望輸出的誤差。
4、將誤差逐層反向回傳至之前各層，並按一定原則將誤差信號載入到連接權值上，使整個神經網路的連接權值向誤差減小的方向轉化。
5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。
❿ 什麼是BP神經網路
BP網路是一種神經網路學習演算法。其由輸入層、中間層、輸出層組成的階層型神經網路，中間層可擴展為多層。相鄰層之間各神經元進行全連接，而每層各神經元之間無連接，網路按有教師示教的方式進行學習，當一對學習模式提供給網路後，各神經元獲得網路的輸入響應產生連接權值（Weight）。然後按減小希望輸出與實際輸出誤差的方向，從輸出層經各中間層逐層修正各連接權，回到輸入層。此過程反復交替進行，直至網路的全局誤差趨向給定的極小值，即完成學習的過程。
找個神經網路軟體，如NeuroSolutions或邁實神經網路軟體，邊操作邊學習，會更好的理解神經網路。