① 關於神經網路 需要學習python的哪些知識
最基礎的部分的話需要：線性代數，機器學習，微積分，優化等等。
幾乎所有操作都有矩陣運算，所以至少最基礎的線性代數需要掌握
建議從單一的感知機Perceptron出發，繼而認識到Decision Boundary(判別邊界),以及最簡單的一些「監督訓練」的概念等，有機器學習的基礎最好。就結果而言，諸如「過擬合」之類的概念，以及對應的解決方法比如L1 L2歸一，學習率等也都可以從單個感知機的概念開始入門。
從單層感知器推廣到普通的多層感知器MLP。然後推廣到簡單的神經網路（激活函數從階躍「軟化」為諸如tanh等類型的函數），然後引入特定類型的網路結構，比如最基本的全連接、前向傳播等等概念。進而學習訓練演算法，比如反向傳播，這需要微積分的知識（Chain rule）,以及非線性優化的最基礎部分，比如梯度下降法。
其次至少需要具備一些適用於研究的編程語言的技能，例如python，matlab，（C++也可行）等，哪怕不自己實現最簡單的神經網路而是用API，也是需要一定計算機能力才能應用之。
② 關於RBF神經網路的權重問題
很多時候都是用BP網路做成的，估計這個問題很難回答！
階躍信號不是某個時間點前都是零，時間點後都是1的時間序列嗎？一個輸入節點對應一個一維數組的輸入，數組先0後1.
④ 小菜求學 PID
- sptr->Integral * sptr->LastError //E[k－1]項
+ sptr->Derivative * sptr->PrevError; //E[k－2]項
//存儲誤差，用於下次計算
sptr->PrevError = sptr->LastError;
sptr->LastError = iError;
//返回增量值
return(iIncpid);
}
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
自動控制演算法的學習筆記 （PID控制）待續
2009-04-28 11:13
最近被逼無奈要搞ROBOCUP的路徑規劃，在控制上遇到這個經典的演算法，故總結了書上以及網上的資料......
1. PID調試步驟
沒有一種控制演算法比PID調節規律更有效、更方便的了。現在一些時髦點的調節器基本源自PID。甚至可以這樣說：PID調節器是其它控制調節演算法的基礎。
為什麼PID應用如此廣泛、又長久不衰？
因為PID解決了自動控制理論所要解決的最基本問題，既系統的穩定性、快速性和准確性。調節PID的參數，可實現在系統穩定的前提下，兼顧系統的帶載能力和抗擾能力，同時，在PID調節器中引入積分項，系統增加了一個零積點，使之成為一階或一階以上的系統，這樣系統階躍響應的穩態誤差就為零。
由於自動控制系統被控對象的千差萬別，PID的參數也必須隨之變化，以滿足系統的性能要求。這就給使用者帶來相當的麻煩，特別是對初學者。下面簡單介紹一下調試PID參數的一般步驟：
1．負反饋
自動控制理論也被稱為負反饋控制理論。首先檢查系統接線，確定系統的反饋為負反饋。例如電機調速系統，輸入信號為正，要求電機正轉時，反饋信號也為正（PID演算法時，誤差=輸入-反饋），同時電機轉速越高，反饋信號越大。其餘系統同此方法。
2．PID調試一般原則
a.在輸出不振盪時，增大比例增益P。
b.在輸出不振盪時，減小積分時間常數Ti。
c.在輸出不振盪時，增大微分時間常數Td。
3．一般步驟
a.確定比例增益P
確定比例增益P 時，首先去掉PID的積分項和微分項，一般是令Ti=0、Td=0（具體見PID的參數設定說明），使PID為純比例調節。輸入設定為系統允許的最大值的60%~70%，由0逐漸加大比例增益P，直至系統出現振盪；再反過來，從此時的比例增益P逐漸減小，直至系統振盪消失，記錄此時的比例增益P，設定PID的比例增益P為當前值的60%~70%。比例增益P調試完成。
b.確定積分時間常數Ti
比例增益P確定後，設定一個較大的積分時間常數Ti的初值，然後逐漸減小Ti，直至系統出現振盪，之後在反過來，逐漸加大Ti，直至系統振盪消失。記錄此時的Ti，設定PID的積分時間常數Ti為當前值的150%~180%。積分時間常數Ti調試完成。
c.確定積分時間常數Td
積分時間常數Td一般不用設定，為0即可。若要設定，與確定 P和Ti的方法相同，取不振盪時的30%。
d.系統空載、帶載聯調，再對PID參數進行微調，直至滿足要求。
2.PID控制簡介
目前工業自動化水平已成為衡量各行各業現代化水平的一個重要標志。同時，控制理論的發展也經歷了古典控制理論、現代控制理論和智能控制理論三個階段。智能控制的典型實例是模糊全自動洗衣機等。自動控制系統可分為開環控制系統和閉環控制系統。一個控制系統包括控制器﹑感測器﹑變送器﹑執行機構﹑輸入輸出介面。控制器的輸出經過輸出介面﹑執行機構﹐加到被控系統上﹔控制系統的被控量﹐經過感測器﹐變送器﹐通過輸入介面送到控制器。不同的控制系統﹐其感測器﹑變送器﹑執行機構是不一樣的。比如壓力控制系統要採用壓力感測器。電加熱控制系統的感測器是溫度感測器。目前，PID控制及其控制器或智能PID控制器（儀表）已經很多，產品已在工程實際中得到了廣泛的應用，有各種各樣的PID控制器產品，各大公司均開發了具有PID參數自整定功能的智能調節器(intelligent regulator)，其中PID控制器參數的自動調整是通過智能化調整或自校正、自適應演算法來實現。有利用PID控制實現的壓力、溫度、流量、液位控制器，能實現PID控制功能的可編程式控制制器(PLC)，還有可實現PID控制的PC系統等等。 可編程式控制制器(PLC) 是利用其閉環控制模塊來實現PID控制，而可編程式控制制器(PLC)可以直接與ControlNet相連，如Rockwell的PLC-5等。還有可以實現PID控制功能的控制器，如Rockwell 的Logix產品系列，它可以直接與ControlNet相連，利用網路來實現其遠程式控制制功能。
1、開環控制系統
開環控制系統(open-loop control system)是指被控對象的輸出(被控制量)對控制器(controller)的輸出沒有影響。在這種控制系統中，不依賴將被控量反送回來以形成任何閉環迴路。
2、閉環控制系統
閉環控制系統(closed-loop control system)的特點是系統被控對象的輸出(被控制量)會反送回來影響控制器的輸出，形成一個或多個閉環。閉環控制系統有正反饋和負反饋，若反饋信號與系統給定值信號相反，則稱為負反饋( Negative Feedback)，若極性相同，則稱為正反饋，一般閉環控制系統均採用負反饋，又稱負反饋控制系統。閉環控制系統的例子很多。比如人就是一個具有負反饋的閉環控制系統，眼睛便是感測器，充當反饋，人體系統能通過不斷的修正最後作出各種正確的動作。如果沒有眼睛，就沒有了反饋迴路，也就成了一個開環控制系統。另例，當一台真正的全自動洗衣機具有能連續檢查衣物是否洗凈，並在洗凈之後能自動切斷電源，它就是一個閉環控制系統。
3、階躍響應
階躍響應是指將一個階躍輸入（step function）加到系統上時，系統的輸出。穩態誤差是指系統的響應進入穩態後﹐系統的期望輸出與實際輸出之差。控制系統的性能可以用穩、准、快三個字來描述。穩是指系統的穩定性(stability)，一個系統要能正常工作，首先必須是穩定的，從階躍響應上看應該是收斂的﹔準是指控制系統的准確性、控制精度，通常用穩態誤差來(Steady-state error)描述，它表示系統輸出穩態值與期望值之差﹔快是指控制系統響應的快速性，通常用上升時間來定量描述。
4、PID控制的原理和特點
在工程實際中，應用最為廣泛的調節器控制規律為比例、積分、微分控制，簡稱PID控制，又稱PID調節。PID控制器問世至今已有近70年歷史，它以其結構簡單、穩定性好、工作可靠、調整方便而成為工業控制的主要技術之一。當被控對象的結構和參數不能完全掌握，或得不到精確的數學模型時，控制理論的其它技術難以採用時，系統控制器的結構和參數必須依靠經驗和現場調試來確定，這時應用PID控制技術最為方便。即當我們不完全了解一個系統和被控對象﹐或不能通過有效的測量手段來獲得系統參數時，最適合用PID控制技術。PID控制，實際中也有PI和PD控制。PID控制器就是根據系統的誤差，利用比例、積分、微分計算出控制量進行控制的。
比例（P）控制
比例控制是一種最簡單的控制方式。其控制器的輸出與輸入誤差信號成比例關系。當僅有比例控制時系統輸出存在穩態誤差（Steady-state error）。 比例調節作用：是按比例反應系統的偏差,系統一旦出現了偏差,比例調節立即產生調節作用用以減少偏差。比例作用大,可以加快調節,減少誤差,但是過大的比例,使系統的穩定性下降,甚至造成系統的不穩定。
積分（I）控制
在積分控制中，控制器的輸出與輸入誤差信號的積分成正比關系。對一個自動控制系統，如果在進入穩態後存在穩態誤差，則稱這個控制系統是有穩態誤差的或簡稱有差系統（System with Steady-state Error）。為了消除穩態誤差，在控制器中必須引入「積分項」。積分項對誤差取決於時間的積分，隨著時間的增加，積分項會增大。這樣，即便誤差很小，積分項也會隨著時間的增加而加大，它推動控制器的輸出增大使穩態誤差進一步減小，直到等於零。因此，比例+積分(PI)控制器，可以使系統在進入穩態後無穩態誤差。積分調節作用：是使系統消除穩態誤差,提高無差度。因為有誤差,積分調節就進行,直至無差,積分調節停止,積分調節輸出一常值。積分作用的強弱取決與積分時間常數Ti,Ti越小,積分作用就越強。反之Ti大則積分作用弱,加入積分調節可使系統穩定性下降,動態響應變慢。積分作用常與另兩種調節規律結合,組成PI調節器或PID調節器。
微分（D）控制
在微分控制中，控制器的輸出與輸入誤差信號的微分（即誤差的變化率）成正比關系。 自動控制系統在克服誤差的調節過程中可能會出現振盪甚至失穩。其原因是由於存在有較大慣性組件（環節）或有滯後(delay)組件，具有抑制誤差的作用，其變化總是落後於誤差的變化。解決的辦法是使抑制誤差的作用的變化「超前」，即在誤差接近零時，抑制誤差的作用就應該是零。這就是說，在控制器中僅引入「比例」項往往是不夠的，比例項的作用僅是放大誤差的幅值，而目前需要增加的是「微分項」，它能預測誤差變化的趨勢，這樣，具有比例+微分的控制器，就能夠提前使抑制誤差的控製作用等於零，甚至為負值，從而避免了被控量的嚴重超調。所以對有較大慣性或滯後的被控對象，比例+微分(PD)控制器能改善系統在調節過程中的動態特性。微分調節作用：微分作用反映系統偏差信號的變化率,具有預見性,能預見偏差變化的趨勢,因此能產生超前的控製作用,在偏差還沒有形成之前,已被微分調節作用消除。因此,可以改善系統的動態性能。在微分時間選擇合適情況下,可以減少超調,減少調節時間。微分作用對雜訊干擾有放大作用,因此過強的加微分調節,對系統抗干擾不利。此外,微分反應的是變化率,而當輸入沒有變化時,微分作用輸出為零。微分作用不能單獨使用,需要與另外兩種調節規律相結合,組成PD或PID控制器。
5、PID控制器的參數整定
PID控制器的參數整定是控制系統設計的核心內容。它是根據被控過程的特性確定PID控制器的比例系數、積分時間和微分時間的大小。PID控制器參數整定的方法很多，概括起來有兩大類：一是理論計算整定法。它主要是依據系統的數學模型，經過理論計算確定控制器參數。這種方法所得到的計算數據未必可以直接用，還必須通過工程實際進行調整和修改。二是工程整定方法，它主要依賴工程經驗，直接在控制系統的試驗中進行，且方法簡單、易於掌握，在工程實際中被廣泛採用。PID控制器參數的工程整定方法，主要有臨界比例法、反應曲線法和衰減法。三種方法各有其特點，其共同點都是通過試驗，然後按照工程經驗公式對控制器參數進行整定。但無論採用哪一種方法所得到的控制器參數，都需要在實際運行中進行最後調整與完善。現在一般採用的是臨界比例法。利用該方法進行 PID控制器參數的整定步驟如下：(1)首先預選擇一個足夠短的采樣周期讓系統工作﹔(2)僅加入比例控制環節，直到系統對輸入的階躍響應出現臨界振盪，記下這時的比例放大系數和臨界振盪周期﹔(3)在一定的控制度下通過公式計算得到PID控制器的參數。
3.PID控制器參數的工程整定,各種調節系統中PID參數經驗數據以下可參照：
溫度T: P=20~60%,T=180~600s,D=3-180s
壓力P: P=30~70%,T=24~180s,
液位L: P=20~80%,T=60~300s,
流量L: P=40~100%,T=6~60s。
4. PID常用口訣：
參數整定找最佳，從小到大順序查
先是比例後積分，最後再把微分加
曲線振盪很頻繁，比例度盤要放大
曲線漂浮繞大灣，比例度盤往小扳
曲線偏離回復慢，積分時間往下降
曲線波動周期長，積分時間再加長
曲線振盪頻率快，先把微分降下來
動差大來波動慢。微分時間應加長
理想曲線兩個波，前高後低4比1
一看二調多分析，調節質量不會低
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
很多兄弟姐妹來問關於PID控制器的情況，偶就結合自己的理解，盡可能淺顯的講述一下PID控制的概念和如何設計一個簡單的PID控制器的設計。其目的就是有興趣朋友們可以跟這個設計一個簡單的PID控制器
所謂的控制首先分有反饋控制和無反饋控制，我們當然討論的PID當然是有反饋控制了。所謂的有反饋控制無非是要根據被控量的情況參與運算來決定操縱量的大小或者方向，那麼到底如何根據被控兩來決定操縱量的大小呢，唉，這就有很多分類了，所謂的高級的控制方式也就是「高級」在這個節骨眼上，有什麼「自適應控制、模糊控制、預測控制、神經網路控制、專家智能控制」等等（至於到底這些控制方式有什麼優點，唉，我只用過PID，別的也說不清楚，去抄書的話也沒有說服力，關鍵是也懶的去抄。那位老弟如果要作論文，可以在這里發揮一下，資料到處都是）。但是就目前而言，在工業控制領域尤其是控制系統的底層，PID控制演算法仍然獨霸鰲頭，佔領著80％左右的市場份額，當然，這里所說的PID控制演算法不是俠義上的固定PID，現在不是講究多學科融合嗎？人們在PID控制規律中吸取了其他「高級」的控制規律的優點，出現了諸多的新穎的控制器如自校正PID、專家自適應PID、預估PID、模糊PID、神經網路PID、非線性 PID等新型PID控制器。至於所謂的變種的PID演算法如什麼「遇限削弱微分」微分先行，積分分離「bangbang+PID」等等，已經不算是什麼高級的控制方式了作控制器的廠商大多都會或多等等或少的採取一些，至於是神經網路PID,模糊PID，自適應PID是如何實現的，我所知道的就是利用對應的控制演算法，適時的調節PID的參數。還是舉個例子吧。傳統PID的演算法公式是：
⊿U(n)=Kp[e(n)-e(n-1)]+Kie(n)+Kd[e(n)-2e(n-1)+e(n-2)]
U(n)=⊿U(n)+U(n-1)
e(n) ,e(n-1), e(n-2)就是歷史上的三個設定值跟過程值之間的偏差了。
這是一個增量式的PID算式（如果有誰不明白什麼式增量是算式，呵呵，可能以後會提到，偶的寫作水平有限，不會組織內容，再說我是想到哪，寫道哪,呵呵，見涼）。
所謂的新型PID控制器，就是根據e(n)的不同，利用那些先進的控制規律來適當的調整Kp,Ki,Ke。至於怎麼調整，呵呵，這就太羅嗦了，也不是這篇內容所該介紹的，（關鍵是我也不太清楚，呵呵，見笑），需要這些功能的大俠應該是我的前輩，還請指教喲。
好了，現在正式介紹一下所謂的PID各個參數吧。
所謂的PID大家在大學期間都應該學過，就是比例（P）、積分（I）、微分（D）。
比例控制：就是對偏差進行控制，偏差一旦產生，控制器立即就發生作用即調節控制輸出，使被控量朝著減小偏差的方向變化，偏差減小的速度取決於比例系數Kp， Kp越大偏差減小的越快，但是很容易引起振盪，尤其是在遲滯環節比較大的情況下，Kp減小，發生振盪的可能性減小但是調節速度變慢。但單純的比例控制存在靜差不能消除的缺點。這里就需要積分控制。
積分控制：實質上就是對偏差累積進行控制，直至偏差為零。積分控製作用始終施加指向給定值的作用力，有利於消除靜差，其效果不僅與偏差大小有關，而且還與偏差持續的時間有關。簡單來說就是把偏差積累起來，一起算總帳。
微分控制：它能敏感出誤差的變化趨勢,可在誤差信號出現之前就起到修正誤差的作用,有利於提高輸出響應的快速性,減小被控量的超調和增加系統的穩定性。但微分作用很容易放大高頻雜訊,降低系統的信噪比,從而使系統抑制干擾的能力下降。因此，在實際應用中，應慎用微分控制，尤其是當你開始作實驗時，不防將微分控制項去掉，看看行不行，呵呵，不行啊？還是看看別的地方吧，肯定行的。
行了，這三個參數說明白了，再來說說怎麼確定這幾個參數的數值吧。這幾個參數的確定比較先進的方式是自整定，但是如果是開始涉及這部分還是先不要講了，按照經驗值吧。估計大家用來控制溫度比較多。大家按照這個規律來選吧。
Kp=100/P
Ki= kp*T/I
Kd= kp*D/T
分別介紹一下各個參數的意義：
T：計算周期，就是各多少時間計算一次
⊿U(n)=Kp[e(n)-e(n-1)]+Kie(n)+Kd[e(n)-2e(n-1)+e(n-2)],單位是秒。一般1秒或者0.5秒甚至5秒都行。
P:比例帶
I：積分時間
D：微分時間
P、I、D跟kp,ki,kd有什麼關系呢？
Kp=100/P,
Ki=kp*T/I
Kd=kp*D/T
然後就可以計算
⊿U(n)=Kp[e(n)-e(n-1)]+Kie(n)+Kd[e(n)-2e(n-1)+e(n-2)]
算出來⊿U(n)之後再怎麼辦呢？怎麼把這一個數據跟控制輸出聯系在一起呢?說道這里我們先說說PID控制方式大體都有那些？
其一為線形連續PID輸出，也就是說，PID運算的結果以模擬電壓，電流或者可控硅導通角的形式按比例輸出。
其二為時間－比例PID輸出，也就是說，事先定一個時間長度，T1，然後PID運算的結果就在控制周期內以ON－OFF的形式輸出出來，比如你控制一個爐子的溫度，用電熱絲來加熱，就可以控制電熱絲的一個控制周期內通電占整個控制周期的比例來實現，電路上可以用繼電器或者過零觸發的方式來切斷或者接通電熱絲供電。
起三為位置比例PID，PID運算的結果主要是對應於調節閥的閥門開度。
再回到前面，我們以第二種控制方式為例，計算出⊿U(n)後，一般首先將其歸一化，也就是說除以你所要控制的溫度的量程。
⊿U(n)0_1＝⊿U(n)/(hh-ll)
而時間比例PID輸出對應的是「位置式PID運算」的結果
所以呢，我們要講結果累積起來，
U(n)0_1＋＝⊿U(n)0_1
然後將次結果換算成對應於控制周期的占空比。來輸出
===========================================================================================
PID控制的原理和特點
⑤ 想要學習人工神經網路，需要什麼樣的基礎知識
人工神經網路理論網路網盤下載：
鏈接：https://pan..com/s/1Jcg4s2ETCrag2Vo-OA57Og
簡介：本書是人工神經網路理論的入門書籍。全書共分十章。第一章主要闡述人工神經網路理論的產生及發展歷史、理論特點和研究方向；第二章至第九章介紹人工神經網路理論中比較成熟且常用的幾種主要網路結構、演算法和應用途徑；第十章用較多篇幅介紹了人工神經網路理論在各個領域的應用實例。
⑥ 神經網路Hopfield模型
一、Hopfield模型概述
1982年，美國加州工學院J.Hopfield發表一篇對人工神經網路研究頗有影響的論文。他提出了一種具有相互連接的反饋型人工神經網路模型——Hopfield人工神經網路。
Hopfield人工神經網路是一種反饋網路(Recurrent Network)，又稱自聯想記憶網路。其目的是為了設計一個網路，存儲一組平衡點，使得當給網路一組初始值時，網路通過自行運行而最終收斂到所存儲的某個平衡點上。
Hopfield網路是單層對稱全反饋網路，根據其激活函數的選取不同，可分為離散型Hopfield網路(Discrete Hopfield Neural Network，簡稱 DHNN)和連續型 Hopfield 網路(Continue Hopfield Neural Network，簡稱CHNN)。離散型Hopfield網路的激活函數為二值型階躍函數，主要用於聯想記憶、模式分類、模式識別。這個軟體為離散型Hopfield網路的設計、應用。
二、Hopfield模型原理
離散型Hopfield網路的設計目的是使任意輸入矢量經過網路循環最終收斂到網路所記憶的某個樣本上。
正交化的權值設計
這一方法的基本思想和出發點是為了滿足下面4個要求：
1)保證系統在非同步工作時的穩定性，即它的權值是對稱的，滿足
wij=wji，i，j=1，2…，N；
2)保證所有要求記憶的穩定平衡點都能收斂到自己；
3)使偽穩定點的數目盡可能地少；
4)使穩定點的吸引力盡可能地大。
正交化權值的計算公式推導如下：
1)已知有P個需要存儲的穩定平衡點x1，x2…，xP-1，xP，xp∈RN，計算N×(P-1)階矩陣A∈RN×(P-1)：
A=(x1-xPx2-xP…xP-1-xP)T。
2)對A做奇異值分解
A=USVT，
U=(u1u2…uN)，
V=(υ1υ2…υP-1)，
中國礦產資源評價新技術與評價新模型
Σ=diαg(λ1，λ2，…，λK)，O為零矩陣。
K維空間為N維空間的子空間，它由K個獨立的基組成：
K=rαnk(A)，
設{u1u2…uK}為A的正交基，而{uK+1uK+2…uN}為N維空間的補充正交基。下面利用U矩陣來設計權值。
3)構造
中國礦產資源評價新技術與評價新模型
總的連接權矩陣為：
Wt=Wp-T·Wm，
其中，T為大於-1的參數，預設值為10。
Wp和Wm均滿足對稱條件，即
(wp)ij=(wp)ji，
(wm)ij=(wm)ji，
因而Wt中分量也滿足對稱條件。這就保證了系統在非同步時能夠收斂並且不會出現極限環。
4)網路的偏差構造為
bt=xP-Wt·xP。
下面推導記憶樣本能夠收斂到自己的有效性。
(1)對於輸入樣本中的任意目標矢量xp，p=1，2，…，P，因為(xp-xP)是A中的一個矢量，它屬於A的秩所定義的K個基空間的矢量，所以必存在系數α1，α2，…，αK，使
xp-xP=α1u1+α2u2+…+αKuK，
即
xp=α1u1+α2u2+…+αKuK+xP，
對於U中任意一個ui，有
中國礦產資源評價新技術與評價新模型
由正交性質可知，上式中
當i=j，
當i≠j，
對於輸入模式xi，其網路輸出為
yi=sgn(Wtxi+bt)
=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)
=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]
=sgn[(Wp-T·Wm)(xi-xP)+xP]
=sgn[Wt(xi-xP)+xP]
=sgn[(xi-xP)+xP]
=xi。
(2)對於輸入模式xP，其網路輸出為
yP=sgn(WtxP+bt)
=sgn(WtxP+xP-WtxP)
=sgn(xP)
=xP。
(3)如果輸入一個不是記憶樣本的x，網路輸出為
y=sgn(Wtx+bt)
=sgn[(Wp-T·Wm)(x-xP)+xP]
=sgn[Wt(x-xP)+xP]。
因為x不是已學習過的記憶樣本，x-xP不是A中的矢量，則必然有
Wt(x-xP)≠x-xP，
並且再設計過程中可以通過調節Wt=Wp-T·Wm中的參數T的大小來控制(x-xP)與xP的符號，以保證輸入矢量x與記憶樣本之間存在足夠的大小余額，從而使sgn(Wtx+bt)≠x，使x不能收斂到自身。
用輸入模式給出一組目標平衡點，函數HopfieldDesign( )可以設計出 Hopfield 網路的權值和偏差，保證網路對給定的目標矢量能收斂到穩定的平衡點。
設計好網路後，可以應用函數HopfieldSimu( )，對輸入矢量進行分類，這些輸入矢量將趨近目標平衡點，最終找到他們的目標矢量，作為對輸入矢量進行分類。
三、總體演算法
1.Hopfield網路權值W[N][N]、偏差b[N]設計總體演算法
應用正交化權值設計方法，設計Hopfield網路；
根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]；
使Hopfield網路的穩定輸出矢量與給定的目標矢量一致。
1)輸入P個輸入模式X=(x[1]，x[2]，…，x[P-1]，x[P])
輸入參數，包括T、h；
2)由X[N][P]構造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；
3)對A[N][P-1]作奇異值分解A=USVT；
4)求A[N][P-1]的秩rank；
5)由U=(u[1]，u[2]，…，u[K])構造Wp[N][N]；
6)由U=(u[K+1]，…，u[N])構造Wm[N][N]；
7)構造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；
8)構造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；
9)構造W[N][N](9～13)，
構造W1[N][N]=h*Wt[N][N]；
10)求W1[N][N]的特徵值矩陣Val[N][N](對角線元素為特徵值，其餘為0)，特徵向量矩陣Vec[N][N]；
11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；
12)求Vec[N][N]的逆Invec[N][N]；
13)構造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；
14)構造b[N]，(14～15)，
C1=exp(h)-1，
C2=-(exp(-T*h)-1)/T；
15)構造
中國礦產資源評價新技術與評價新模型
Uˊ——U的轉置；
16)輸出W[N][N]，b[N]；
17)結束。
2.Hopfield網路預測應用總體演算法
Hopfield網路由一層N個斜坡函數神經元組成。
應用正交化權值設計方法，設計Hopfield網路。
根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]。
初始輸出為X[N][P]，
計算X[N][P]=f(W[N][N]*X[N][P]+b[N])，
進行T次迭代，
返回最終輸出X[N][P]，可以看作初始輸出的分類。
3.斜坡函數
中國礦產資源評價新技術與評價新模型
輸出范圍[-1，1]。
四、數據流圖
Hopfield網數據流圖見附圖3。
五、調用函數說明
1.一般實矩陣奇異值分解
(1)功能
用豪斯荷爾德(Householder)變換及變形QR演算法對一般實矩陣進行奇異值分解。
(2)方法說明
設A為m×n的實矩陣，則存在一個m×m的列正交矩陣U和n×n的列正交矩陣V，使
中國礦產資源評價新技術與評價新模型
成立。其中
Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，
且σ0≥σ1≥…≥σp＞0，
上式稱為實矩陣A的奇異值分解式，σi(i=0，1，…，p)稱為A的奇異值。
奇異值分解分兩大步：
第一步：用豪斯荷爾德變換將A約化為雙對角線矩陣。即
中國礦產資源評價新技術與評價新模型
其中
中國礦產資源評價新技術與評價新模型
j具有如下形式：
中國礦產資源評價新技術與評價新模型
其中ρ為一個比例因子，以避免計算過程中的溢出現象與誤差的累積，Vj是一個列向量。即
Vj=(υ0，υ1，…，υn-1)，
則
中國礦產資源評價新技術與評價新模型
其中
中國礦產資源評價新技術與評價新模型
第二步：用變形的QR演算法進行迭代，計算所有的奇異值。即：用一系列的平面旋轉變換對雙對角線矩陣B逐步變換成對角矩陣。
在每一次的迭代中，用變換
中國礦產資源評價新技術與評價新模型
其中變換
在每次迭代時，經過初始化變換V01後，將在第0列的主對角線下方出現一個非0元素。在變換V01中，選擇位移植u的計算公式如下：
中國礦產資源評價新技術與評價新模型
最後還需要對奇異值按非遞增次序進行排列。
在上述變換過程中，若對於某個次對角線元素ej滿足
｜ej｜⩽ε(｜sj+1｜+｜sj｜)
則可以認為ej為0。
若對角線元素sj滿足
｜sj｜⩽ε(｜ej-1｜+｜ej｜)
則可以認為sj為0(即為0奇異值)。其中ε為給定的精度要求。
(3)調用說明
int bmuav(double*a，int m，int n，double*u，double*v，double eps，int ka)，
本函數返回一個整型標志值，若返回的標志值小於0，則表示出現了迭代60次還未求得某個奇異值的情況。此時，矩陣的分解式為UAVT；若返回的標志值大於0，則表示正常返回。
形參說明：
a——指向雙精度實型數組的指針，體積為m×n。存放m×n的實矩陣A；返回時，其對角線給出奇異值(以非遞增次序排列)，其餘元素為0；
m——整型變數，實矩陣A的行數；
n——整型變數，實矩陣A的列數；
u——指向雙精度實型數組的指針，體積為m×m。返回時存放左奇異向量U；
υ——指向雙精度實型數組的指針，體積為n×n。返回時存放右奇異向量VT；
esp——雙精度實型變數，給定的精度要求；
ka——整型變數，其值為max(m，n)+1。
2.求實對稱矩陣特徵值和特徵向量的雅可比過關法
(1)功能
用雅可比(Jacobi)方法求實對稱矩陣的全部特徵值與相應的特徵向量。
(2)方法說明
雅可比方法的基本思想如下。
設n階矩陣A為對稱矩陣。在n階對稱矩陣A的非對角線元素中選取一個絕對值最大的元素，設為apq。利用平面旋轉變換矩陣R0(p，q，θ)對A進行正交相似變換：
A1=R0(p，q，θ)TA，
其中R0(p，q，θ)的元素為
rpp=cosθ，rqq=cosθ，rpq=sinθ，
rqp=sinθ，rij=0，i，j≠p，q。
如果按下式確定角度θ，
中國礦產資源評價新技術與評價新模型
則對稱矩陣A經上述變換後，其非對角線元素的平方和將減少
綜上所述，用雅可比方法求n階對稱矩陣A的特徵值及相應特徵向量的步驟如下：
1)令S=In(In為單位矩陣)；
2)在A中選取非對角線元素中絕對值最大者，設為apq；
3)若｜apq｜＜ε，則迭代過程結束。此時對角線元素aii(i=0，1，…，n-1)即為特徵值λi，矩陣S的第i列為與λi相應的特徵向量。否則，繼續下一步；
4)計算平面旋轉矩陣的元素及其變換後的矩陣A1的元素。其計算公式如下
中國礦產資源評價新技術與評價新模型
5)S=S·R(p，q，θ)，轉(2)。
在選取非對角線上的絕對值最大的元素時用如下方法：
首先計算實對稱矩陣A的非對角線元素的平方和的平方根
中國礦產資源評價新技術與評價新模型
然後設置關口υ1=υ0/n，在非對角線元素中按行掃描選取第一個絕對值大於或等於υ1的元素αpq進行平面旋轉變換，直到所有非對角線元素的絕對值均小於υ1為止。再設關口υ2=υ1/n，重復這個過程。以此類推，這個過程一直作用到對於某個υk＜ε為止。
(3)調用說明
void cjcbj(double*a，int n，double*v，double eps)。
形參說明：
a——指向雙精度實型數組的指針，體積為n×n，存放n階實對稱矩陣A；返回時，其對角線存放n個特徵值；
n——整型變數，實矩陣A的階數；
υ——指向雙精度實型數組的指針，體積為n×n，返回特徵向量，其中第i列為與λi(即返回的αii，i=0，1，……，n-1)對應的特徵向量；
esp——雙精度實型變數。給定的精度要求。
3.矩陣求逆
(1)功能
用全選主元高斯-約當(Gauss-Jordan)消去法求n階實矩陣A的逆矩陣。
(2)方法說明
高斯-約當法(全選主元)求逆的步驟如下：
首先，對於k從0到n-1做如下幾步：
1)從第k行、第k列開始的右下角子陣中選取絕對值最大的元素，並記住此元素所在的行號和列號，再通過行交換和列交換將它交換到主元素位置上，這一步稱為全選主元；
2)
3)
4)αij-
5)-
最後，根據在全選主元過程中所記錄的行、列交換的信息進行恢復，恢復原則如下：在全選主元過程中，先交換的行、列後進行恢復；原來的行(列)交換用列(行)交換來恢復。
圖8-4 東昆侖—柴北緣地區基於HOPFIELD模型的銅礦分類結果圖
(3)調用說明
int brinv(double*a，int n)。
本函數返回一個整型標志位。若返回的標志位為0，則表示矩陣A奇異，還輸出信息「err**not inv」；若返回的標志位不為0，則表示正常返回。
形參說明：
a——指向雙精度實型數組的指針，體積為n×n。存放原矩陣A；返回時，存放其逆矩陣A-1；
n——整型變數，矩陣的階數。
六、實例
實例：柴北緣—東昆侖地區銅礦分類預測。
選取8種因素，分別是重砂異常存在標志、水化異常存在標志、化探異常峰值、地質圖熵值、Ms存在標志、Gs存在標志、Shdadlie到區的距離、構造線線密度。
構置原始變數，並根據原始數據構造預測模型。
HOPFIELD模型參數設置：訓練模式維數8，預測樣本個數774，參數個數8，迭代次數330。
結果分44類(圖8-4，表8-5)。
表8-5 原始數據表及分類結果（部分）
續表
⑦ 機器學習之神經網路入門
機器學習之神經網路入門
神經網路是由具有適應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。神經網路用途極其廣泛，本文採用神經網路演算法用於金融領域量化選股策略。
神經網路原理
神經網路中最基本的成分是神經元模型，在生物神經網路中，每個神經元與其他神經元相連，當它「興奮」時，就會向相連的神經元發送化學物質，從而改變這些神經元的電位；如果某神經元的電位超過了一個「閾值」，那麼它就會被激活，即「興奮」起來，向其他神經元發送化學物質。下圖為M-P神經元模型：
在這個模型中，神經元接收到來自n個其他神經元傳遞過來的輸入信號，這些輸入信號通過帶權重的連接進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然後通過「激活函數」處理以產生神經元的輸出。
理想中的激活函數是上圖中的(a)階躍函數，它將輸入值映射為輸出值「0」或「1」，顯然「1」代表神經元興奮，「0」代表神經元抑制，但由於其不連續，不光滑的性質，所以實際常用（b)Sigmoid函數作為激活函數。把許多個這樣的神經元按一定的層次結構連接起來，就得到了神經網路。
基於神經網路的量化選股策略
策略思想：選取一些常用技術指標作為訓練樣本特徵集，對於類別，如果未來20個工作日上漲幅度超過10%則標記為1，否則為-1，採用神經網路演算法進行訓練，預測結果為1且未持倉則買入，預測結果為-1且已持倉則賣出。
特徵因子選取：本文採用神經網路演算法解決有監督學習的分類問題，特徵因子選取了2015-01-05那天上證50指數成份股的總市值，OBV能量潮，市盈率，布林線，KDJ隨機指標，RSI相對強弱指標共6個指標。
數據標准化：數據標准化方法有很多，本文採用高斯預處理方法，即每個特徵因子減去它對應的均值再除以它的標准差((x-x.mean)/x.std)。
⑧ 如何簡單形象又有趣地講解神經網路是什麼
神經網路神奇的地方在於它的每一個組件非常簡單——把空間切一刀+某種激活函數(0-1階躍、sigmoid、max-pooling)，但是可以一層一層級聯。輸入向量連到許多神經元上，這些神經元的輸出又連到一堆神經元上，這一過程可以重復很多次。這和人腦中的神經元很相似：每一個神經元都有一些神經元作為其輸入，又是另一些神經元的輸入，數值向量就像是電信號，在不同神經元之間傳導，每一個神經元只有滿足了某種條件才會發射信號到下一層神經元。當然，人腦比神經網路模型復雜很多：人工神經網路一般不存在環狀結構；人腦神經元的電信號不僅有強弱，還有時間緩急之分，就像莫爾斯電碼，在人工神經網路里沒有這種復雜的信號模式。
⑨ 在搭建神經網路的時候，如何選擇合適的轉移函數（
一般來說，神經網路的激勵函數有以下幾種：階躍函數 ，准線性函數，雙曲正切函數，Sigmoid函數等等，其中sigmoid函數就是你所說的S型函數。以我看來，在你訓練神經網路時，激勵函數是不輕易換的，通常設置為S型函數。如果你的神經網路訓練效果不好，應從你所選擇的演算法上和你的數據上找原因。演算法上BP神經網路主要有自適應學習速率動量梯度下降反向傳播演算法(traingdx)，Levenberg-Marquardt反向傳播演算法(trainlm)等等，我列出的這兩種是最常用的，其中BP默認的是後一種。數據上，看看是不是有誤差數據，如果有及其剔除，否則也會影響預測或識別的效果。
⑩ 關於車速檢測的BP神經網路演算法程序
以往的汽車四輪轉向控制系統的設計，往往依據側向加速度較小時的車輛運動的線型兩軸模型進行線性控制器的設計。這樣在某些危險行駛狀態，例如緊急躲避障礙物、在路面摩擦力低的滑路面行駛，汽車四輪轉向控制系統將失去應有的控製作用，致使汽車的轉向安全性大大減低。文章提出在側向加速度大的情況下，利用神經網路理論來設計汽車四輪轉向控制系統。這樣的控制系統不依賴於車輛運動的線型模型，它不是基於模型的控制，而是基於知識的控制，保證了控制系統能適應車輛運動的非線性特性。 2 基於神經網路四輪轉向控制系統的設計 [IMG]image/040916guonew13-1.gif[/IMG] [IMG]image/040916guonew13-2.gif[/IMG] 四輪轉向控制系統的控制目的應為：(1)對沿行駛路線行駛的汽車車身姿勢進行控制，使汽車的側偏角β保持為零；(2)橫擺角速度λ或側向加速度。接近所期望的轉向響應特性。四輪轉向控制系統採用後輪主動式，即控制器主動控制後輪的轉角，通過控制後輪進行車輛運動控制。其控制系統如圖1所示。在設計過程中，參兩輪車的線性模型，選前輪轉向角6f、橫擺角速度／作為控制器的輸入量；同時考慮側向加速度α而造成的控制誤差的補償作用，把側向加速度。也作為輸入。圖1中車輛系統為通過神經網路辯識的非線性動態系統。設計包括兩部分內容：車輛動態模型離線辯識、後輪轉向角神經網路控制器的設計. 2．1 車輛動態模型離線辯識 車輛動態模型離線辯識採用多層神經網路誤差逆傳播學習演算法：BP神經網路法.BP神經網路是一種輸入輸出向量空間的非線性映射。其拓撲結構由3部分組成：輸入層、隱含層和輸出層。層與層之間各神經元實現全連接，而每層各神經元之間無連接。設計中採用具有雙隱含層的BP網路，通過離線訓練學到車輛動力系統的非線性特性。為使該網路能在車輛的各種工況下識別車輛運動，應使網路的學習模式對能覆蓋車輛的全部工況。由於採集實際車輛的運行數據是非常困難的，因此在離線訓練的過程中，採用四輪轉向車輛系統模型，並通過計算機模擬(圖2)向BP網路提供學習模式對，使BP網路進行離線訓練學習，對BP網路的連接權和閾值進行粗調節；然後通過該模式提取測試模式對，對網路進行測試；測試滿意後，再用實驗數據對網路作進一步離線訓練，從而對網路進行細調節。辯識系統中，輸入參數有第n時間步側偏角β(n)、橫擺角速度γ(n)、前輪轉向角(n)、後輪轉向角δ(n)、側向加速度α(n)5個參數；輸出有第，2+l時間步側偏角β(n+1)、橫擺角速度γ(2+1)(圖3)。訓練網路用的信號δf(n)是幅值分別為3．4和5．5的階躍信號和正弦信號。每層神經元數分別為5、12、10、2。兩隱層傳遞函數均為雙極性Sigmoid函數[IMG]image/040916guonew13-g1.gif[/IMG] 輸出層傳遞函數為線性函數。 [IMG]image/040916guonew13-3.gif[/IMG] 2．2 神經控制器的設計 為配合車輛動態模型一起工作，設計神經控制器。該控制器也是雙隱含層的BP神經網路各層神經元數分別為3、10、10、l。控制器的輸入為橫擺角速度／(，2)、前輪轉角δf(n)及與車速有關的參數側向加速度o(n)；輸出有後輪轉角δf(n)。兩隱含層的傳遞函數也為雙極性Sigmoid函數，輸出層的傳遞函數為 [IMG]image/040916guonew13-g2.gif[/IMG] 為使側偏最小， 引入性能目標函數[IMG]image/040916guonew13-g3.gif[/IMG]評價側偏角和後輪轉向角。每個神經元的權值和閾值可以通過控制器的學習過程得到。學習的目的是使目標函數值最小。訓練神經控制器時，在計算機上將車輛動態模型與神經控制器組成控制系統，同樣用四輪轉向控制的車輛模擬模型輸出的數據集進行訓練。但此時只修改神經控制器的權矩陣。 2．3 BP神經網路的MATLAB實現 設計過程中，可以採用MATLAB軟體中的神經網路工具箱來實現BP神經網路演算法。BP神經網路的學習過程由前向計算過程、誤差計算和誤差反向傳播過程組成。雙含隱層BP神經網路的MATLAB程序，由輸入部分、計算部分、輸出部分組成，其中輸入部分包括網路參數與訓練樣本數據的輸入、初始化權系、求輸入輸出模式各分量的平均值及標准差並作相應數據預處理、讀入測試集樣本數據並作相應數據預處理；計算部分包括正向計算、反向傳播、計算各層權矩陣的增量、自適應和動量項修改各層權矩陣；輸出部分包括顯示網路最終狀態及計算值與期望值之間的相對誤差、輸出測試集相應結果、顯示訓練，測試誤差曲線。 3 控制系統模擬 用神經網路車輛動態模型與神經控制器構成控制系統，進行模擬分析。其瞬態響應，如圖4中實線所示。圖中的虛線、雙點劃線分別表示2WS和線性控制4WS。 [IMG]image/040916guonew13-4.gif[/IMG] 4 結論 (1)因為神經控制網路能很好地適應汽車的非線性特性，故在大的前輪轉角下，神經網路控制系統的側偏角p比線性控制系統的車輛側偏角p更接近零，可獲得更滿意的控制效果。 (2)橫擺角速度丫響應在經過一段時間後收斂至穩態值，4WS比2WS收斂更快，相位滯後更小。