Ⅰ Hopfield紲炵粡緗戠粶
Hopfield紲炵粡緗戠粶(Hopfield Neural Network錛岀畝縐 HNN)錛屾槸緹庡浗鍔犲窞鐞嗗伐瀛﹂櫌鐗╃悊瀛﹀禜opfield鏁欐巿1982騫存彁鍑虹殑涓縐嶅弽棣堝瀷紲炵粡緗戠粶錛屼俊鍙蜂笉浣嗚兘鍚戝墠錛岃繕鑳藉悜鍚庝紶閫(杈撳嚭淇″彿鍙堝弽棣堝洖鏉ュ彉鎴愯緭鍏ヤ俊鍙楓傝屽墠闈㈡墍浠嬬粛鐨凚P緗戠粶鏄涓縐鍓嶉堢綉緇錛屼俊鍙峰彧鑳藉悜鍓嶄紶閫)銆備粬鍦℉opfield紲炵粡緗戠粶涓寮曞叆浜嗏滆兘閲忓嚱鏁扳濇傚康錛屼嬌緗戠粶鐨勮繍琛岀ǔ瀹氭х殑鍒ゆ柇鏈変簡鍙闈犱緷鎹銆侶opfield紲炵粡緗戠粶鐨勬潈鍊間笉鏄緇忚繃鍙嶅嶅︿範鑾峰緱鐨勶紝鑰屾槸鎸夌収涓瀹氳勫垯璁＄畻鍑烘潵鐨勶紝涓緇忕『瀹氬氨涓嶅啀鏀瑰彉錛岃孒opfield紲炵粡緗戠粶鐨勭姸鎬(杈撳叆銆佽緭鍑轟俊鍙)浼氬湪榪愯岃繃紼嬩腑涓嶆柇鏇存柊錛岀綉緇滄紨鍙樺埌紼蟲佹椂鍚勭炵粡鍏冪殑鐘舵佷究鏄闂棰樼殑瑙ｃ
1985騫達紝Hopfield鍜孴ank鐮斿埗浜嗙數瀛愮嚎璺鏉ユā鎷烪opfield緗戠粶錛岃緝濂藉湴瑙ｅ喅浜嗕紭鍖栫粍鍚堥棶棰樹腑钁楀悕鐨凾SP(鏃呰屽晢)闂棰橈紝鎵懼埌浜嗘渶浣寵В鐨勮繎浼艱В錛屼負紲炵粡緗戠粶鐨勫嶅叴寤虹珛浜嗕笉鍙紓ㄧ伃鐨勫姛鍔熾
瀵逛簬鍦扮悆鐗╃悊鍙嶆紨榪欑嶆渶浼樺寲闂棰橈紝鍙浠ュ緢鏂逛究鍦扮敤Hopfield緗戠粶鏉ュ疄鐜般傚弽婕旂殑鐩鏍囧嚱鏁扮瓑浜嶩opfield緗戠粶鐨勨滆兘閲忓嚱鏁扳濓紝緗戠粶鐨勭姸鎬(杈撳叆銆佽緭鍑轟俊鍙)灝辨槸妯″瀷鐨勫弬鏁幫紝緗戠粶婕斿彉鍒扮ǔ鎬佹椂鍚勭炵粡鍏冪殑杈撳叆杈撳嚭鍊間究鏄鍙嶆紨闂棰樼殑瑙ｃ
Hopfield紲炵粡緗戠粶鍒嗕負紱繪暎鍨嬪拰榪炵畫鍨嬩袱縐嶇綉緇滄ā鍨嬶紝鍒嗗埆璁頒負DHNN(Discrete Hopfield Neural Network)鍜孋HNN(Continues Hopfield Neural Network)銆
鍦ㄥ墠棣堝瀷緗戠粶涓鏃犺烘槸紱繪暎鐨勮繕鏄榪炵畫鐨勶紝涓鑸鍧囦笉鑰冭檻杈撳叆涓庤緭鍑轟箣闂村湪鏃墮棿涓婄殑婊炲悗鎬э紝鑰屽彧琛ㄨ揪涓よ呬箣闂寸殑鏄犲皠鍏崇郴銆備絾鍦ㄨ繛緇璈opfield紲炵粡緗戠粶涓錛岃冭檻浜嗚緭鍑轟笌杈撳叆涔嬮棿鐨勫歡榪熷洜緔狅紝鍥犳ら渶瑕佺敤寰鍒嗘柟紼鎴栧樊鍒嗘柟紼嬫潵鎻忚堪緗戠粶鐨勫姩鎬佹暟瀛︽ā鍨嬨
8.5.4.1 紱繪暎Hopfield紲炵粡緗戠粶
紱繪暎Hopfield紲炵粡緗戠粶鐨鎷撴墤緇撴瀯濡傚浘8.12鎵紺恆傝繖鏄涓縐嶅崟灞傚叏鍙嶉堢綉緇滐紝鍏辨湁n涓紲炵粡鍏冦傚浘8.12鐨勭壒鐐規槸浠繪剰涓涓紲炵粡鍏冪殑杈撳嚭xi鍙鑳芥槸0鎴1錛屽潎閫氳繃榪炴帴鏉僿ij鍙嶉堣嚦鎵鏈夌炵粡鍏僯浣滀負瀹冪殑杈撳叆xj銆備篃灝辨槸璇達紝姣忎釜紲炵粡鍏冮兘閫氳繃榪炴帴鏉冩帴鏀舵墍鏈夊叾浠栫炵粡鍏冭緭鍑哄弽棣堢殑淇℃伅錛岃繖鏍鋒瘡涓涓紲炵粡鍏冪殑杈撳嚭閮藉彈鍏朵粬鎵鏈夌炵粡鍏冭緭鍑虹殑鎺у埗錛屼粠鑰屾瘡涓紲炵粡鍏冪殑杈撳嚭鐩鎬簰鍒剁害銆傛瘡涓紲炵粡鍏冨潎璁句竴涓闃鍊Ti錛屼互鍙嶆槧瀵硅緭鍏ュ櫔澹扮殑鎺у埗銆
鍥8.12 紱繪暎Hopfield紲炵粡緗戠粶鐨勬嫇鎵戠粨鏋[8]
8.5.4.1.1 緗戠粶鐨勭姸鎬
紱繪暎Hopfield紲炵粡緗戠粶浠繪剰涓涓紲炵粡鍏冪殑杈撳嚭xj縐頒負緗戠粶鐨勭姸鎬侊紝瀹冨彧鑳芥槸0鎴1銆傚彉鍖栬勫緥鐢變笅寮忚勫畾:
xj=f(netj) j=1錛2錛屸︼紝n銆銆(8.33)
f( )涓鴻漿縐誨嚱鏁幫紝紱繪暎 Hopfield紲炵粡緗戠粶鐨勮漿縐誨嚱鏁板父鐢絎﹀彿鍑芥暟琛ㄧず:
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
鍏朵腑netj涓哄噣杈撳叆:
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
瀵圭繪暎Hopfield紲炵粡緗戠粶錛屼竴鑸鏈
wij=0錛寃ij=wji (8.36)
榪欒存槑紲炵粡鍏冩病鏈夎嚜鍙嶉堬紝涓や釜紲炵粡鍏冪殑鐩鎬簰鎺у埗鏉冨肩浉鍚屻
紱繪暎Hopfield紲炵粡緗戠粶紼沖畾鏃訛紝姣忎釜紲炵粡鍏冪殑鐘舵侀兘涓嶅啀鏀瑰彉銆傛ゆ椂鐨勭ǔ瀹氱姸鎬佸氨鏄緗戠粶鐨勮緭鍑猴紝璁頒負
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
8.5.4.1.2 緗戠粶鐨勫紓姝ュ伐浣滄柟寮
瀹冩槸涓縐嶄覆琛屾柟寮忥紝緗戠粶榪愯屾椂姣忔″彧鏀瑰彉涓涓紲炵粡鍏冪殑鐘舵侊紝鍏朵粬紲炵粡鍏冪殑鐘舵佷繚鎸佷笉鍙樸
8.5.4.1.3 緗戠粶鐨勫悓姝ュ伐浣滄柟寮
瀹冩槸涓縐嶅苟琛屽悓姝ュ伐浣滄柟寮忥紝鎵鏈夌炵粡鍏冨悓鏃惰皟鏁寸姸鎬併
8.5.4.1.4 緗戠粶鐨勫惛寮曞瓙
緗戠粶杈懼埌紼沖畾鐘舵佹椂鐨勮緭鍑篨錛岀О涓虹綉緇滅殑鍚稿紩瀛愩
8.5.4.1.5 緗戠粶鐨勮兘閲忓嚱鏁
緗戠粶鐨勮兘閲忓嚱鏁板畾涔変負
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
浠ヤ笂鏄鐭╅樀褰㈠紡錛岃冭檻鏃犺嚜鍙嶉堢殑鍏蜂綋灞曞紑褰㈠紡涓
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
褰撶綉緇滄敹鏁涘埌紼沖畾鐘舵佹椂錛屾湁
螖E(t)=E(t+1)-E(t)=0 (8.40)
鎴栬呰:
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
鐞嗚鴻瘉鏄庝簡濡備笅涓や釜瀹氱悊[8]:
瀹氱悊1.瀵逛簬DHNN錛岃嫢鎸夊紓姝ユ柟寮忚皟鏁寸綉緇滅姸鎬侊紝涓旇繛鎺ユ潈鐭╅樀W涓哄圭О闃碉紝鍒欏逛換鎰忓垵濮嬬姸鎬侊紝緗戠粶閮借兘鏈緇堟敹鏁涘埌涓涓鍚稿紩瀛愩
瀹氱悊2.瀵逛簬DHNN錛岃嫢鎸夊悓姝ユ柟寮忚皟鏁寸綉緇滅姸鎬侊紝涓旇繛鎺ユ潈鐭╅樀W涓洪潪璐熷畾瀵圭О闃碉紝鍒欏逛換鎰忓垵濮嬬姸鎬侊紝緗戠粶閮借兘鏈緇堟敹鏁涘埌涓涓鍚稿紩瀛愩
8.5.4.1.6 鍒╃敤紱繪暎Hopfield紲炵粡緗戠粶榪涜屽弽婕
鍦ㄥ湴鐞冪墿鐞嗙嚎鎬у弽婕斾腑錛岃炬湁濡備笅鐩鏍囧嚱鏁:
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
瀵規瘮寮(8.38)鍜屽紡(8.42)鍙戠幇瀹冧滑鍦ㄥ艦寮忎笂鏈夊緢澶氱浉浼間箣澶勩傜帇瀹舵槧鐨勩婂湴鐞冪墿鐞嗗弽婕旂悊璁恆嬩竴涔︿腑錛岀洿鎺ョ敤寮(8.42)鍜屽紡(8.38)綾繪瘮錛屽叕寮忔樉寰楀嶆潅銆傛湰涔﹁劇珛涓涓鏂扮殑鐩鏍囧嚱鏁ϕ錛屽叕寮忓皢浼氬彉寰楃畝媧佸緱澶:
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
鍐嶅規瘮寮(8.38)鍜屽紡(8.43)錛屽彂鐜板畠浠瀹屽叏涓鏍鳳紝鍙瑕佽:
X(t)=m錛學=GTG錛孴=GTd (8.44)
娉ㄦ剰:寮(8.43)鐨勭洰鏍囧嚱鏁ϕ鐨勬瀬澶у艱В灝辨槸鍘熸潵鐩鏍囧嚱鏁跋嗘瀬灝忓肩殑瑙ｏ紝瀹冧滑鏄鍚岃В鐨勩
濡傛灉寰呭弽婕旂殑妯″瀷鍙傛暟鏄紱繪暎鐨0鎴1鍊礆紝閭ｄ箞鍙浠ョ洿鎺ュ簲鐢ㄧ繪暎Hopfield紲炵粡緗戠粶榪涜屽弽婕斻備絾鏄涓鑸瀹冧滑閮芥槸榪炵畫鐨勬暟鍊礆紝鎵浠ヨ繕瑕佸皢妯″瀷鍙傛暟琛ㄧず涓轟簩榪涘埗[1]:
鍦扮悆鐗╃悊鍙嶆紨鏁欑▼
鍏朵腑:Bij=0鎴1涓浜岃繘鍒舵暟;D鍜孶涓烘暣鏁幫紝鍙栧喅浜庢ā鍨嬪弬鏁扮殑澶у皬鍜岀簿搴︺傝繖鏍風琲涓妯″瀷鍙傛暟灝辯敤Bij琛ㄧず涓轟簡浜岃繘鍒舵暟銆傚皢寮(8.45)浠ｅ叆鐩鏍囧嚱鏁板紡(8.43)鍚庡啀涓庣繪暎Hopfield紲炵粡緗戠粶鐨勮兘閲忓嚱鏁拌繘琛屽規瘮錛岀『絝嬫柊鐨勭瓑浠峰叧緋誨悗錛屽氨鍙浠ヨ繘琛屽弽婕斾簡銆
榪欎釜鏂扮殑絳変環鍏崇郴寮忓彲浠ュ弬瑙佺帇瀹舵槧鐨勩婂湴鐞冪墿鐞嗗弽婕旂悊璁恆[1]涓涔︺
鍙嶆紨鐨勮繃紼嬪ぇ鑷村備笅:
(1)鏍規嵁妯″瀷鍙傛暟鐨勫ぇ灝忚寖鍥村拰綺懼害紜瀹欴鍜孶錛屽皢鍒濆嬭緭鍏ユā鍨嬪弬鏁板彉涓轟簩榪涘埗鏁般傝劇珛涓涓鎷熷悎綺懼害鏍囧噯錛屽傜浉瀵瑰潎鏂瑰樊蔚錛岃懼畾涓涓鏈澶ц凱浠ｆ℃暟N(鎵鏈夌炵粡鍏冪殑杈撳嚭閮戒慨鏀逛竴嬈＄О涓轟竴嬈¤凱浠)銆
(2)鍒╃敤鏁版嵁鏂圭▼鐨凣鐭╅樀(鍦ㄤ竴鑸鎯呭喌涓嬮渶鐢鍋忓兼暟鐭╅樀鑾峰緱)璁＄畻緗戠粶鐨勬潈鍊煎拰闃鍊箋
(3)灝嗕簩榪涘埗鍒濆嬫ā鍨嬪弬鏁拌緭鍏ョ綉緇滃苟榪愯岀綉緇溿
(4)鎶婃瘡嬈¤凱浠ｇ綉緇滆緭鍑哄煎彉涓鍗佽繘鍒妯″瀷鍙傛暟錛岃繘琛屾ｆ紨璁＄畻銆傚傛灉鎷熷悎婊¤凍綺懼害蔚錛屽垯鍋滄㈢綉緇滆繍琛屽苟杈撳嚭鍙嶆紨緇撴灉銆傚惁鍒欓噸澶(2)~(4)姝ョ洿鍒版弧瓚崇簿搴︽垨杈懼埌鏈澶氳凱浠ｆ℃暟N涓烘銆
鍦ㄤ竴鑸鎯呭喌涓嬶紝鍦扮悆鐗╃悊鏁版嵁鏂圭▼鐨凣鐭╅樀鏄鏃犳硶鐢ㄨВ鏋愬紡鍐欏嚭鐨勶紝闇瑕佺敤鍋忓兼暟鐭╅樀鑾峰緱錛屽畠鏄渚濊禆浜庤緭鍏ュ弬鏁扮殑錛屽洜姝ょ綉緇滅殑姣忔¤凱浠ｉ兘瑕侀噸鏂拌＄畻鍋忓兼暟鐭╅樀銆傝繖涓璁＄畻閲忔槸寰堝ぇ鐨勩傚洜姝や粬鐨勫弽婕旇繃紼嬪拰鏈灝忎簩涔樻硶鐩鎬技銆傛ゅ栵紝鐢℉opfield紲炵粡緗戠粶榪涜屽弽婕斿悓鏍鋒湁鍙鑳介櫡鍏ュ矓閮ㄦ瀬鍊肩偣(鍚稿紩瀛)銆傚洜姝ゅ悓鏍峰彈鍒濆嬫ā鍨嬬殑褰卞搷錛岄渶瑕佸敖閲忚╁垵濮嬫ā鍨嬫帴榪戠湡瀹炴ā鍨嬨
8.5.4.2 榪炵畫Hopfield紲炵粡緗戠粶(CHNN)[8]
1984騫達紝Hopfield鎶婄繪暎Hopfield紲炵粡緗戠粶鍙戝睍涓鴻繛緇璈opfield紲炵粡緗戠粶銆備絾鎵鏈夌炵粡鍏冮兘鍚屾ュ伐浣滐紝鍚勮緭鍏ヨ緭鍑洪噺涓洪殢鏃墮棿鍙樺寲鐨勮繛緇鐨妯℃嫙閲錛岃繖灝變嬌寰桟HNN姣擠HNN鍦ㄤ俊鎮澶勭悊鐨勫苟琛屾с佸疄鏃舵ф柟闈㈡洿鎺ヨ繎瀹為檯鐨勭敓鐗╃炵粡緗戠粶宸ヤ綔鏈虹悊銆傚洜姝ゅ埄鐢–HNN榪涜屽湴鐞冪墿鐞嗗弽婕旀洿鍔犳柟渚褲
CHNN鍙浠ョ敤甯哥郴鏁板井鍒嗘柟紼嬫潵鎻忚堪錛屼絾鐢ㄦā鎷熺數瀛愮嚎璺鏉ユ弿榪幫紝鍒欐洿鍔犲艦璞＄洿瑙傦紝鏄撲簬鐞嗚В銆傚浘8.13涓鴻繛緇璈opfield紲炵粡緗戠粶鐨勬嫇鎵戠粨鏋[8]銆
鍥8.13 榪炵畫Hopfield紲炵粡緗戠粶鐨勬嫇鎵戠粨鏋[8]
鍥8.13涓姣忎釜紲炵粡鍏冪敤涓涓榪愮畻鏀懼ぇ鍣妯℃嫙錛岀炵粡鍏冪殑杈撳叆杈撳嚭鐢ㄦ斁澶у櫒鐨勮緭鍏ヨ緭鍑虹數鍘嬭〃紺猴紝榪炴帴鏉冪敤鐢靛琛ㄧず銆傛瘡涓鏀懼ぇ鍣ㄦ湁涓涓姝ｅ悜杈撳嚭鍜屼竴涓鍙嶅悜杈撳嚭錛屽垎鍒琛ㄧず鍏村嬪拰鎶戝埗銆傛瘡涓紲炵粡鍏冭繕鏈変竴涓鐢ㄤ簬璁劇疆嬋媧鐢靛鉤鐨勫栫晫杈撳叆鍋忕疆鐢墊祦浣滀負闃鍊箋
榪欓噷鐢變簬綃囧箙鍏崇郴涓嶅啀緔榪般傛劅鍏磋叮鐨勮昏呭彲浠ュ弬鑰冨叾浠栨枃鐚銆
Ⅱ 人工神經網路，人工神經網路是什麼意思
一、 人工神經網路的概念
人工神經網路（Artificial Neural Network，ANN）簡稱神經網路(NN)，是基於生物學中神經網路的基本原理，在理解和抽象了人腦結構和外界刺激響應機制後，以網路拓撲知識為理論基礎，模擬人腦的神經系統對復雜信息的處理機制的一種數學模型。該模型以並行分布的處理能力、高容錯性、智能化和自學習等能力為特徵，將信息的加工和存儲結合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的復雜網路，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現的系統。
神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激活函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重（weight），神經網路就是通過這種方式來模擬人類的記憶。網路的輸出則取決於網路的結構、網路的連接方式、權重和激活函數。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。神經網路的構築理念是受到生物的神經網路運作啟發而產生的。人工神經網路則是把對生物神經網路的認識與數學統計模型相結合，藉助數學統計工具來實現。另一方面在人工智慧學的人工感知領域，我們通過數學統計學的方法，使神經網路能夠具備類似於人的決定能力和簡單的判斷能力，這種方法是對傳統邏輯學演算的進一步延伸。
人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。
神經網路，是一種應用類似於大腦神經突觸連接結構進行信息處理的數學模型，它是在人類對自身大腦組織結合和思維機制的認識理解基礎之上模擬出來的，它是根植於神經科學、數學、思維科學、人工智慧、統計學、物理學、計算機科學以及工程科學的一門技術。
二、 人工神經網路的發展
神經網路的發展有悠久的歷史。其發展過程大致可以概括為如下4個階段。
1. 第一階段----啟蒙時期
(1)、M-P神經網路模型：20世紀40年代，人們就開始了對神經網路的研究。1943 年，美國心理學家麥克洛奇（Mcculloch）和數學家皮茲（Pitts）提出了M-P模型，此模型比較簡單，但是意義重大。在模型中，通過把神經元看作個功能邏輯器件來實現演算法，從此開創了神經網路模型的理論研究。
(2)、Hebb規則：1949 年，心理學家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學），他在書中提出了突觸連接強度可變的假設。這個假設認為學習過程最終發生在神經元之間的突觸部位，突觸的連接強度隨之突觸前後神經元的活動而變化。這一假設發展成為後來神經網路中非常著名的Hebb規則。這一法則告訴人們，神經元之間突觸的聯系強度是可變的，這種可變性是學習和記憶的基礎。Hebb法則為構造有學習功能的神經網路模型奠定了基礎。
(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎，提出了感知器（Perceptron）模型。感知器模型具有現代神經網路的基本原則，並且它的結構非常符合神經生理學。這是一個具有連續可調權值矢量的MP神經網路模型，經過訓練可以達到對一定的輸入矢量模式進行分類和識別的目的，它雖然比較簡單，卻是第一個真正意義上的神經網路。Rosenblatt 證明了兩層感知器能夠對輸入進行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經網路模型包含了一些現代神經計算機的基本原理，從而形成神經網路方法和技術的重大突破。
(4)、ADALINE網路模型： 1959年，美國著名工程師威德羅（B.Widrow）和霍夫（M.Hoff）等人提出了自適應線性元件(Adaptive linear element，簡稱Adaline)和Widrow-Hoff學習規則（又稱最小均方差演算法或稱δ規則）的神經網路訓練方法，並將其應用於實際工程，成為第一個用於解決實際問題的人工神經網路，促進了神經網路的研究應用和發展。ADALINE網路模型是一種連續取值的自適應線性神經元網路模型，可以用於自適應系統。
2. 第二階段----低潮時期
人工智慧的創始人之一Minsky和Papert對以感知器為代表的網路系統的功能及局限性從數學上做了深入研究，於1969年發表了轟動一時《Perceptrons》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題，如簡單的線性感知器不可能實現「異或」的邏輯關系等。這一論斷給當時人工神經元網路的研究帶來沉重的打擊。開始了神經網路發展史上長達10年的低潮期。
(1)、自組織神經網路SOM模型：1972年，芬蘭的KohonenT.教授，提出了自組織神經網路SOM(Self-Organizing feature map)。後來的神經網路主要是根據KohonenT.的工作來實現的。SOM網路是一類無導師學習網路，主要用於模式識別﹑語音識別及分類問題。它採用一種「勝者為王」的競爭學習演算法，與先前提出的感知器有很大的不同，同時它的學習訓練方式是無指導訓練，是一種自組織網路。這種學習訓練方式往往是在不知道有哪些分類類型存在時，用作提取分類信息的一種訓練。
(2)、自適應共振理論ART：1976年，美國Grossberg教授提出了著名的自適應共振理論ART(Adaptive Resonance Theory)，其學習過程具有自組織和自穩定的特徵。
3. 第三階段----復興時期
(1)、Hopfield模型：1982年，美國物理學家霍普菲爾德（Hopfield）提出了一種離散神經網路，即離散Hopfield網路，從而有力地推動了神經網路的研究。在網路中，它首次將李雅普諾夫（Lyapunov）函數引入其中，後來的研究學者也將Lyapunov函數稱為能量函數。證明了網路的穩定性。1984年，Hopfield 又提出了一種連續神經網路，將網路中神經元的激活函數由離散型改為連續型。1985 年，Hopfield和Tank利用Hopfield神經網路解決了著名的旅行推銷商問題（Travelling Salesman Problem）。Hopfield神經網路是一組非線性微分方程。Hopfield的模型不僅對人工神經網路信息存儲和提取功能進行了非線性數學概括，提出了動力方程和學習方程，還對網路演算法提供了重要公式和參數，使人工神經網路的構造和學習有了理論指導，在Hopfield模型的影響下，大量學者又激發起研究神經網路的熱情，積極投身於這一學術領域中。因為Hopfield 神經網路在眾多方面具有巨大潛力，所以人們對神經網路的研究十分地重視，更多的人開始了研究神經網路，極大地推動了神經網路的發展。
(2)、Boltzmann機模型：1983年，Kirkpatrick等人認識到模擬退火演算法可用於NP完全組合優化問題的求解，這種模擬高溫物體退火過程來找尋全局最優解的方法最早由Metropli等人1953年提出的。1984年，Hinton與年輕學者Sejnowski等合作提出了大規模並行網路學習機，並明確提出隱單元的概念，這種學習機後來被稱為Boltzmann機。
Hinton和Sejnowsky利用統計物理學的感念和方法，首次提出的多層網路的學習演算法，稱為Boltzmann 機模型。
(3)、BP神經網路模型：1986年，儒默哈特（D.E.Ru melhart）等人在多層神經網路模型的基礎上，提出了多層神經網路權值修正的反向傳播學習演算法----BP演算法（Error Back-Propagation），解決了多層前向神經網路的學習問題，證明了多層神經網路具有很強的學習能力，它可以完成許多學習任務，解決許多實際問題。
(4)、並行分布處理理論：1986年，由Rumelhart和McCkekkand主編的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，該書中，他們建立了並行分布處理理論，主要致力於認知的微觀研究，同時對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播演算法即BP演算法進行了詳盡的分析，解決了長期以來沒有權值調整有效演算法的難題。可以求解感知機所不能解決的問題，回答了《Perceptrons》一書中關於神經網路局限性的問題，從實踐上證實了人工神經網路有很強的運算能力。
(5)、細胞神經網路模型：1988年，Chua和Yang提出了細胞神經網路（CNN）模型，它是一個細胞自動機特性的大規模非線性計算機模擬系統。Kosko建立了雙向聯想存儲模型（BAM），它具有非監督學習能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初產生了很大的影響，他建立了一種神經網路系統理論。
(7)、1988年，Linsker對感知機網路提出了新的自組織理論，並在Shanon資訊理論的基礎上形成了最大互信息理論，從而點燃了基於NN的信息應用理論的光芒。
(8)、1988年，Broomhead和Lowe用徑向基函數(Radialbasis function, RBF)提出分層網路的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。
(9)、1991年，Haken把協同引入神經網路，在他的理論框架中，他認為，認知過程是自發的，並斷言模式識別過程即是模式形成過程。
(10)、1994年，廖曉昕關於細胞神經網路的數學理論與基礎的提出，帶來了這個領域新的進展。通過拓廣神經網路的激活函數類，給出了更一般的時滯細胞神經網路(DCNN)、Hopfield神經網路（HNN）、雙向聯想記憶網路（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量機(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。
經過多年的發展，已有上百種的神經網路模型被提出。
Ⅲ 哪些神經網路可以用在圖像特徵提取上
BP神經網路、離散Hopfield網路、LVQ神經網路等等都可以。
1.BP（Back Propagation）神經網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hidden layer)和輸出層(output layer)。
2.Hopfiled神經網路是一種遞歸神經網路，由約翰·霍普菲爾德在1982年發明。Hopfield網路是一種結合存儲系統和二元系統的神經網路。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。Hopfiled網路也提供了模擬人類記憶的模型。
3.LVQ神經網路由三層組成，即輸入層、隱含層和輸出層，網路在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個輸出層神經元與隱含層神經元的不同組相連接。隱含層和輸出層神經元之間的連接權值固定為1。輸入層和隱含層神經元間連接的權值建立參考矢量的分量（對每個隱含神經元指定一個參考矢量）。在網路訓練過程中，這些權值被修改。隱含層神經元（又稱為Kohnen神經元）和輸出神經元都具有二進制輸出值。當某個輸入模式被送至網路時，參考矢量最接近輸入模式的隱含神經元因獲得激發而贏得競爭，因而允許它產生一個「1」，而其它隱含層神經元都被迫產生「0」。與包含獲勝神經元的隱含層神經元組相連接的輸出神經元也發出「1」，而其它輸出神經元均發出「0」。產生「1」的輸出神經元給出輸入模式的類，由此可見，每個輸出神經元被用於表示不同的類。
Ⅳ 神經網路Hopfield模型
一、Hopfield模型概述
1982年，美國加州工學院J.Hopfield發表一篇對人工神經網路研究頗有影響的論文。他提出了一種具有相互連接的反饋型人工神經網路模型——Hopfield人工神經網路。
Hopfield人工神經網路是一種反饋網路(Recurrent Network)，又稱自聯想記憶網路。其目的是為了設計一個網路，存儲一組平衡點，使得當給網路一組初始值時，網路通過自行運行而最終收斂到所存儲的某個平衡點上。
Hopfield網路是單層對稱全反饋網路，根據其激活函數的選取不同，可分為離散型Hopfield網路(Discrete Hopfield Neural Network，簡稱 DHNN)和連續型 Hopfield 網路(Continue Hopfield Neural Network，簡稱CHNN)。離散型Hopfield網路的激活函數為二值型階躍函數，主要用於聯想記憶、模式分類、模式識別。這個軟體為離散型Hopfield網路的設計、應用。
二、Hopfield模型原理
離散型Hopfield網路的設計目的是使任意輸入矢量經過網路循環最終收斂到網路所記憶的某個樣本上。
正交化的權值設計
這一方法的基本思想和出發點是為了滿足下面4個要求：
1)保證系統在非同步工作時的穩定性，即它的權值是對稱的，滿足
wij=wji，i，j=1，2…，N；
2)保證所有要求記憶的穩定平衡點都能收斂到自己；
3)使偽穩定點的數目盡可能地少；
4)使穩定點的吸引力盡可能地大。
正交化權值的計算公式推導如下：
1)已知有P個需要存儲的穩定平衡點x1，x2…，xP-1，xP，xp∈RN，計算N×(P-1)階矩陣A∈RN×(P-1)：
A=(x1-xPx2-xP…xP-1-xP)T。
2)對A做奇異值分解
A=USVT，
U=(u1u2…uN)，
V=(υ1υ2…υP-1)，
中國礦產資源評價新技術與評價新模型
Σ=diαg(λ1，λ2，…，λK)，O為零矩陣。
K維空間為N維空間的子空間，它由K個獨立的基組成：
K=rαnk(A)，
設{u1u2…uK}為A的正交基，而{uK+1uK+2…uN}為N維空間的補充正交基。下面利用U矩陣來設計權值。
3)構造
中國礦產資源評價新技術與評價新模型
總的連接權矩陣為：
Wt=Wp-T·Wm，
其中，T為大於-1的參數，預設值為10。
Wp和Wm均滿足對稱條件，即
(wp)ij=(wp)ji，
(wm)ij=(wm)ji，
因而Wt中分量也滿足對稱條件。這就保證了系統在非同步時能夠收斂並且不會出現極限環。
4)網路的偏差構造為
bt=xP-Wt·xP。
下面推導記憶樣本能夠收斂到自己的有效性。
(1)對於輸入樣本中的任意目標矢量xp，p=1，2，…，P，因為(xp-xP)是A中的一個矢量，它屬於A的秩所定義的K個基空間的矢量，所以必存在系數α1，α2，…，αK，使
xp-xP=α1u1+α2u2+…+αKuK，
即
xp=α1u1+α2u2+…+αKuK+xP，
對於U中任意一個ui，有
中國礦產資源評價新技術與評價新模型
由正交性質可知，上式中
當i=j，
當i≠j，
對於輸入模式xi，其網路輸出為
yi=sgn(Wtxi+bt)
=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)
=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]
=sgn[(Wp-T·Wm)(xi-xP)+xP]
=sgn[Wt(xi-xP)+xP]
=sgn[(xi-xP)+xP]
=xi。
(2)對於輸入模式xP，其網路輸出為
yP=sgn(WtxP+bt)
=sgn(WtxP+xP-WtxP)
=sgn(xP)
=xP。
(3)如果輸入一個不是記憶樣本的x，網路輸出為
y=sgn(Wtx+bt)
=sgn[(Wp-T·Wm)(x-xP)+xP]
=sgn[Wt(x-xP)+xP]。
因為x不是已學習過的記憶樣本，x-xP不是A中的矢量，則必然有
Wt(x-xP)≠x-xP，
並且再設計過程中可以通過調節Wt=Wp-T·Wm中的參數T的大小來控制(x-xP)與xP的符號，以保證輸入矢量x與記憶樣本之間存在足夠的大小余額，從而使sgn(Wtx+bt)≠x，使x不能收斂到自身。
用輸入模式給出一組目標平衡點，函數HopfieldDesign( )可以設計出 Hopfield 網路的權值和偏差，保證網路對給定的目標矢量能收斂到穩定的平衡點。
設計好網路後，可以應用函數HopfieldSimu( )，對輸入矢量進行分類，這些輸入矢量將趨近目標平衡點，最終找到他們的目標矢量，作為對輸入矢量進行分類。
三、總體演算法
1.Hopfield網路權值W[N][N]、偏差b[N]設計總體演算法
應用正交化權值設計方法，設計Hopfield網路；
根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]；
使Hopfield網路的穩定輸出矢量與給定的目標矢量一致。
1)輸入P個輸入模式X=(x[1]，x[2]，…，x[P-1]，x[P])
輸入參數，包括T、h；
2)由X[N][P]構造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；
3)對A[N][P-1]作奇異值分解A=USVT；
4)求A[N][P-1]的秩rank；
5)由U=(u[1]，u[2]，…，u[K])構造Wp[N][N]；
6)由U=(u[K+1]，…，u[N])構造Wm[N][N]；
7)構造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；
8)構造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；
9)構造W[N][N](9～13)，
構造W1[N][N]=h*Wt[N][N]；
10)求W1[N][N]的特徵值矩陣Val[N][N](對角線元素為特徵值，其餘為0)，特徵向量矩陣Vec[N][N]；
11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；
12)求Vec[N][N]的逆Invec[N][N]；
13)構造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；
14)構造b[N]，(14～15)，
C1=exp(h)-1，
C2=-(exp(-T*h)-1)/T；
15)構造
中國礦產資源評價新技術與評價新模型
Uˊ——U的轉置；
16)輸出W[N][N]，b[N]；
17)結束。
2.Hopfield網路預測應用總體演算法
Hopfield網路由一層N個斜坡函數神經元組成。
應用正交化權值設計方法，設計Hopfield網路。
根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]。
初始輸出為X[N][P]，
計算X[N][P]=f(W[N][N]*X[N][P]+b[N])，
進行T次迭代，
返回最終輸出X[N][P]，可以看作初始輸出的分類。
3.斜坡函數
中國礦產資源評價新技術與評價新模型
輸出范圍[-1，1]。
四、數據流圖
Hopfield網數據流圖見附圖3。
五、調用函數說明
1.一般實矩陣奇異值分解
(1)功能
用豪斯荷爾德(Householder)變換及變形QR演算法對一般實矩陣進行奇異值分解。
(2)方法說明
設A為m×n的實矩陣，則存在一個m×m的列正交矩陣U和n×n的列正交矩陣V，使
中國礦產資源評價新技術與評價新模型
成立。其中
Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，
且σ0≥σ1≥…≥σp＞0，
上式稱為實矩陣A的奇異值分解式，σi(i=0，1，…，p)稱為A的奇異值。
奇異值分解分兩大步：
第一步：用豪斯荷爾德變換將A約化為雙對角線矩陣。即
中國礦產資源評價新技術與評價新模型
其中
中國礦產資源評價新技術與評價新模型
j具有如下形式：
中國礦產資源評價新技術與評價新模型
其中ρ為一個比例因子，以避免計算過程中的溢出現象與誤差的累積，Vj是一個列向量。即
Vj=(υ0，υ1，…，υn-1)，
則
中國礦產資源評價新技術與評價新模型
其中
中國礦產資源評價新技術與評價新模型
第二步：用變形的QR演算法進行迭代，計算所有的奇異值。即：用一系列的平面旋轉變換對雙對角線矩陣B逐步變換成對角矩陣。
在每一次的迭代中，用變換
中國礦產資源評價新技術與評價新模型
其中變換
在每次迭代時，經過初始化變換V01後，將在第0列的主對角線下方出現一個非0元素。在變換V01中，選擇位移植u的計算公式如下：
中國礦產資源評價新技術與評價新模型
最後還需要對奇異值按非遞增次序進行排列。
在上述變換過程中，若對於某個次對角線元素ej滿足
｜ej｜⩽ε(｜sj+1｜+｜sj｜)
則可以認為ej為0。
若對角線元素sj滿足
｜sj｜⩽ε(｜ej-1｜+｜ej｜)
則可以認為sj為0(即為0奇異值)。其中ε為給定的精度要求。
(3)調用說明
int bmuav(double*a，int m，int n，double*u，double*v，double eps，int ka)，
本函數返回一個整型標志值，若返回的標志值小於0，則表示出現了迭代60次還未求得某個奇異值的情況。此時，矩陣的分解式為UAVT；若返回的標志值大於0，則表示正常返回。
形參說明：
a——指向雙精度實型數組的指針，體積為m×n。存放m×n的實矩陣A；返回時，其對角線給出奇異值(以非遞增次序排列)，其餘元素為0；
m——整型變數，實矩陣A的行數；
n——整型變數，實矩陣A的列數；
u——指向雙精度實型數組的指針，體積為m×m。返回時存放左奇異向量U；
υ——指向雙精度實型數組的指針，體積為n×n。返回時存放右奇異向量VT；
esp——雙精度實型變數，給定的精度要求；
ka——整型變數，其值為max(m，n)+1。
2.求實對稱矩陣特徵值和特徵向量的雅可比過關法
(1)功能
用雅可比(Jacobi)方法求實對稱矩陣的全部特徵值與相應的特徵向量。
(2)方法說明
雅可比方法的基本思想如下。
設n階矩陣A為對稱矩陣。在n階對稱矩陣A的非對角線元素中選取一個絕對值最大的元素，設為apq。利用平面旋轉變換矩陣R0(p，q，θ)對A進行正交相似變換：
A1=R0(p，q，θ)TA，
其中R0(p，q，θ)的元素為
rpp=cosθ，rqq=cosθ，rpq=sinθ，
rqp=sinθ，rij=0，i，j≠p，q。
如果按下式確定角度θ，
中國礦產資源評價新技術與評價新模型
則對稱矩陣A經上述變換後，其非對角線元素的平方和將減少
綜上所述，用雅可比方法求n階對稱矩陣A的特徵值及相應特徵向量的步驟如下：
1)令S=In(In為單位矩陣)；
2)在A中選取非對角線元素中絕對值最大者，設為apq；
3)若｜apq｜＜ε，則迭代過程結束。此時對角線元素aii(i=0，1，…，n-1)即為特徵值λi，矩陣S的第i列為與λi相應的特徵向量。否則，繼續下一步；
4)計算平面旋轉矩陣的元素及其變換後的矩陣A1的元素。其計算公式如下
中國礦產資源評價新技術與評價新模型
5)S=S·R(p，q，θ)，轉(2)。
在選取非對角線上的絕對值最大的元素時用如下方法：
首先計算實對稱矩陣A的非對角線元素的平方和的平方根
中國礦產資源評價新技術與評價新模型
然後設置關口υ1=υ0/n，在非對角線元素中按行掃描選取第一個絕對值大於或等於υ1的元素αpq進行平面旋轉變換，直到所有非對角線元素的絕對值均小於υ1為止。再設關口υ2=υ1/n，重復這個過程。以此類推，這個過程一直作用到對於某個υk＜ε為止。
(3)調用說明
void cjcbj(double*a，int n，double*v，double eps)。
形參說明：
a——指向雙精度實型數組的指針，體積為n×n，存放n階實對稱矩陣A；返回時，其對角線存放n個特徵值；
n——整型變數，實矩陣A的階數；
υ——指向雙精度實型數組的指針，體積為n×n，返回特徵向量，其中第i列為與λi(即返回的αii，i=0，1，……，n-1)對應的特徵向量；
esp——雙精度實型變數。給定的精度要求。
3.矩陣求逆
(1)功能
用全選主元高斯-約當(Gauss-Jordan)消去法求n階實矩陣A的逆矩陣。
(2)方法說明
高斯-約當法(全選主元)求逆的步驟如下：
首先，對於k從0到n-1做如下幾步：
1)從第k行、第k列開始的右下角子陣中選取絕對值最大的元素，並記住此元素所在的行號和列號，再通過行交換和列交換將它交換到主元素位置上，這一步稱為全選主元；
2)
3)
4)αij-
5)-
最後，根據在全選主元過程中所記錄的行、列交換的信息進行恢復，恢復原則如下：在全選主元過程中，先交換的行、列後進行恢復；原來的行(列)交換用列(行)交換來恢復。
圖8-4 東昆侖—柴北緣地區基於HOPFIELD模型的銅礦分類結果圖
(3)調用說明
int brinv(double*a，int n)。
本函數返回一個整型標志位。若返回的標志位為0，則表示矩陣A奇異，還輸出信息「err**not inv」；若返回的標志位不為0，則表示正常返回。
形參說明：
a——指向雙精度實型數組的指針，體積為n×n。存放原矩陣A；返回時，存放其逆矩陣A-1；
n——整型變數，矩陣的階數。
六、實例
實例：柴北緣—東昆侖地區銅礦分類預測。
選取8種因素，分別是重砂異常存在標志、水化異常存在標志、化探異常峰值、地質圖熵值、Ms存在標志、Gs存在標志、Shdadlie到區的距離、構造線線密度。
構置原始變數，並根據原始數據構造預測模型。
HOPFIELD模型參數設置：訓練模式維數8，預測樣本個數774，參數個數8，迭代次數330。
結果分44類(圖8-4，表8-5)。
表8-5 原始數據表及分類結果（部分）
續表