一種互聯網宏觀流量異常檢測方法(2007-11-7 10:37) 摘要：網路流量異常指網路中流量不規則地顯著變化。網路短暫擁塞、分布式拒絕服務攻擊、大范圍掃描等本地事件或者網路路由異常等全局事件都能夠引起網路的異常。網路異常的檢測和分析對於網路安全應急響應部門非常重要，但是宏觀流量異常檢測需要從大量高維的富含雜訊的數據中提取和解釋異常模式，因此變得很困難。文章提出一種分析網路異常的通用方法，該方法運用主成分分析手段將高維空間劃分為對應正常和異常網路行為的子空間，並將流量向量影射在正常子空間中，使用基於距離的度量來檢測宏觀網路流量異常事件。公共互聯網正在社會生活的各個領域發揮著越來越重要的作用，與此同時，由互聯網的開放性和應用系統的復雜性所帶來的安全風險也隨之增多。2006年，國家計算機網路應急技術處理協調中心(CNCERT/CC)共接收26 476件非掃描類網路安全事件報告，與2005年相比增加2倍，超過2003—2005年3年的總和。2006年，CNCERT/CC利用部署的863-917網路安全監測平台，抽樣監測發現中國大陸地區約4.5萬個IP地址的主機被植入木馬，與2005年同期相比增加1倍；約有1千多萬個IP地址的主機被植入僵屍程序，被境外約1.6萬個主機進行控制。黑客利用木馬、僵屍網路等技術操縱數萬甚至上百萬台被入侵的計算機，釋放惡意代碼、發送垃圾郵件，並實施分布式拒絕服務攻擊，這對包括骨幹網在內的整個互聯網網路帶來嚴重的威脅。由數萬台機器同時發起的分布式拒絕服務攻擊能夠在短時間內耗盡城域網甚至骨幹網的帶寬，從而造成局部的互聯網崩潰。由於政府、金融、證券、能源、海關等重要信息系統的諸多業務依賴互聯網開展，互聯網骨幹網路的崩潰不僅會帶來巨額的商業損失，還會嚴重威脅國家安全。據不完全統計，2001年7月19日爆發的紅色代碼蠕蟲病毒造成的損失估計超過20億美元；2001年9月18日爆發的Nimda蠕蟲病毒造成的經濟損失超過26億美元；2003年1月爆發的SQL Slammer蠕蟲病毒造成經濟損失超過12億美元。針對目前互聯網宏觀網路安全需求，本文研究並提出一種宏觀網路流量異常檢測方法，能夠在骨幹網路層面對流量異常進行分析，在大規模安全事件爆發時進行快速有效的監測，從而為網路防禦贏得時間。1 網路流量異常檢測研究現狀在骨幹網路層面進行宏觀網路流量異常檢測時，巨大流量的實時處理和未知攻擊的檢測給傳統入侵檢測技術帶來了很大的挑戰。在流量異常檢測方面，國內外的學術機構和企業不斷探討並提出了多種檢測方法[1]。經典的流量監測方法是基於閾值基線的檢測方法，這種方法通過對歷史數據的分析建立正常的參考基線范圍，一旦超出此范圍就判斷為異常，它的特點是簡單、計算復雜度小，適用於實時檢測，然而它作為一種實用的檢測手段時，需要結合網路流量的特點進行修正和改進。另一種常用的方法是基於統計的檢測，如一般似然比(GLR)檢測方法[2]，它考慮兩個相鄰的時間窗口以及由這兩個窗口構成的合並窗口，每個窗口都用自回歸模型擬合，並計算各窗口序列殘差的聯合似然比，然後與某個預先設定的閾值T 進行比較，當超過閾值T 時，則窗口邊界被認定為異常點。這種檢測方法對於流量的突變檢測比較有效，但是由於它的閾值不是自動選取，並且當異常持續長度超過窗口長度時，該方法將出現部分失效。統計學模型在流量異常檢測中具有廣闊的研究前景，不同的統計學建模方式能夠產生不同的檢測方法。最近有許多學者研究了基於變換域進行流量異常檢測的方法[3]，基於變換域的方法通常將時域的流量信號變換到頻域或者小波域，然後依據變換後的空間特徵進行異常監測。P. Barford等人[4]將小波分析理論運用於流量異常檢測，並給出了基於其理論的4類異常結果，但該方法的計算過於復雜，不適於在高速骨幹網上進行實時檢測。Lakhina等人[5-6]利用主成分分析方法(PCA)，將源和目標之間的數據流高維結構空間進行PCA分解，歸結到3個主成分上，以3個新的復合變數來重構網路流的特徵，並以此發展出一套檢測方法。此外還有一些其他的監測方法[7]，例如基於Markov模型的網路狀態轉換概率檢測方法，將每種類型的事件定義為系統狀態，通過過程轉換模型來描述所預測的正常的網路特徵，當到來的流量特徵與期望特徵產生偏差時進行報警。又如LERAD檢測[8]，它是基於網路安全特徵的檢測，這種方法通過學習得到流量屬性之間的正常的關聯規則，然後建立正常的規則集，在實際檢測中對流量進行規則匹配，對違反規則的流量進行告警。這種方法能夠對發生異常的地址進行定位，並對異常的程度進行量化。但學習需要大量正常模式下的純凈數據，這在實際的網路中並不容易實現。隨著宏觀網路異常流量檢測成為網路安全的技術熱點，一些廠商紛紛推出了電信級的異常流量檢測產品，如Arbor公司的Peakflow、GenieNRM公司的GenieNTG 2100、NetScout公司的nGenius等。國外一些研究機構在政府資助下，開始部署宏觀網路異常監測的項目，並取得了較好的成績，如美國研究機構CERT建立了SiLK和AirCERT項目，澳大利亞啟動了NMAC流量監測系統等項目。針對宏觀網路異常流量監測的需要，CNCERT/CC部署運行863-917網路安全監測平台，採用分布式的架構，能夠通過多點對骨幹網路實現流量監測，通過分析協議、地址、埠、包長、流量、時序等信息，達到對中國互聯網宏觀運行狀態的監測。本文基於863-917網路安全監測平台獲取流量信息，構成監測矩陣，矩陣的行向量由源地址數量、目的地址數量、傳輸控制協議(TCP)位元組數、TCP報文數、數據報協議(UDP)位元組數、UDP報文數、其他流量位元組數、其他流量報文書、WEB流量位元組數、WEB流量報文數、TOP10個源IP占總位元組比例、TOP10個源IP占總報文數比例、TOP10個目的IP占總位元組數比例、TOP10個目的IP占總報文數比例14個部分組成，系統每5分鍾產生一個行向量，觀測窗口為6小時，從而形成了一個72×14的數量矩陣。由於在這14個觀測向量之間存在著一定的相關性，這使得利用較少的變數反映原來變數的信息成為可能。本項目採用了主成份分析法對觀測數據進行數據降維和特徵提取，下面對該演算法的工作原理進行介紹。 2 主成分分析技術主成分分析是一種坐標變換的方法，將給定數據集的點映射到一個新軸上面，這些新軸稱為主成分。主成分在代數學上是p 個隨機變數X 1, X 2……X p 的一系列的線性組合，在幾何學中這些現線性組合代表選取一個新的坐標系，它是以X 1,X 2……X p 為坐標軸的原來坐標系旋轉得到。新坐標軸代表數據變異性最大的方向，並且提供對於協方差結果的一個較為簡單但更精練的刻畫。主成分只是依賴於X 1,X 2……X p 的協方差矩陣，它是通過一組變數的幾個線性組合來解釋這些變數的協方差結構，通常用於高維數據的解釋和數據的壓縮。通常p 個成分能夠完全地再現全系統的變異性，但是大部分的變異性常常能夠只用少量k 個主成分就能夠說明，在這種情況下，這k 個主成分中所包含的信息和那p 個原變數做包含的幾乎一樣多，於是可以使用k 個主成分來代替原來p 個初始的變數，並且由對p 個變數的n 次測量結果所組成的原始數據集合，能夠被壓縮成為對於k 個主成分的n 次測量結果進行分析。運用主成分分析的方法常常能夠揭示出一些先前不曾預料的關系，因而能夠對於數據給出一些不同尋常的解釋。當使用零均值的數據進行處理時，每一個主成分指向了變化最大的方向。主軸以變化量的大小為序，一個主成分捕捉到在一個軸向上最大變化的方向，另一個主成分捕捉到在正交方向上的另一個變化。設隨機向量X '=[X 1,X 1……X p ]有協方差矩陣∑,其特徵值λ1≥λ2……λp≥0。考慮線性組合：Y1 =a 1 'X =a 11X 1+a 12X 2……a 1pX pY2 =a 2 'X =a 21X 1+a 22X 2……a 2pX p……Yp =a p'X =a p 1X 1+a p 2X 2……a p pX p從而得到：Var (Yi )=a i' ∑a i ,(i =1,2……p )Cov (Yi ,Yk )=a i '∑a k ,(i ,k =1,2……p )主成分就是那些不相關的Y 的線性組合，它們能夠使得方差盡可能大。第一主成分是有最大方差的線性組合，也即它能夠使得Var (Yi )=a i' ∑a i 最大化。我們只是關注有單位長度的系數向量，因此我們定義：第1主成分＝線性組合a 1'X，在a1'a 1=1時，它能夠使得Var (a1 'X )最大；第2主成分＝線性組合a 2 'X，在a2'a 2=1和Cov(a 1 'X,a 2 'X )=0時，它能夠使得Var (a 2 'X )最大；第i 個主成分＝線性組合a i'X，在a1'a 1=1和Cov(a i'X,a k'X )=0(k<i )時，它能夠使得Var (a i'X )最大。由此可知主成分都是不相關的，它們的方差等於協方差矩陣的特徵值。總方差中屬於第k個主成分(被第k個主成分所解釋)的比例為：如果總方差相當大的部分歸屬於第1個、第2個或者前幾個成分，而p較大的時候，那麼前幾個主成分就能夠取代原來的p個變數來對於原有的數據矩陣進行解釋，而且信息損失不多。在本項目中，對於一個包含14個特徵的矩陣進行主成分分析可知，特徵的最大變化基本上能夠被2到3個主成分捕捉到，這種主成分變化曲線的陡降特性構成了劃分正常子空間和異常子空間的基礎。3 異常檢測演算法本項目的異常流量檢測過程分為3個階段：建模階段、檢測階段和評估階段。下面對每個階段的演算法進行詳細的介紹。3.1 建模階段本項目採用滑動時間窗口建模，將當前時刻前的72個樣本作為建模空間，這72個樣本的數據構成了一個數據矩陣X。在試驗中，矩陣的行向量由14個元素構成。主成份分為正常主成分和異常主成份，它們分別代表了網路中的正常流量和異常流量，二者的區別主要體現在變化趨勢上。正常主成份隨時間的變化較為平緩，呈現出明顯的周期性；異常主成份隨時間的變化幅度較大，呈現出較強的突發性。根據采樣數據，判斷正常主成分的演算法是：依據主成分和采樣數據計算出第一主成分變數，求第一主成分變數這72個數值的均值μ1和方差σ1，找出第一主成分變數中偏離均值最大的元素，判斷其偏離均值的程度是否超過了3σ1。如果第一主成分變數的最大偏離超過了閾值，取第一主成份為正常主成分，其他主成份均為異常主成分，取主成份轉換矩陣U =[L 1]；如果最大偏離未超過閾值，轉入判斷第下一主成分，最後取得U =[L 1……L i -1]。第一主成份具有較強的周期性，隨後的主成份的周期性漸弱，突發性漸強，這也體現了網路中正常流量和異常流量的差別。在得到主成份轉換矩陣U後，針對每一個采樣數據Sk =xk 1,xk 2……xk p )，將其主成份投影到p維空間進行重建，重建後的向量為：Tk =UU T (Sk -X )T計算該采樣數據重建前與重建後向量之間的歐氏距離，稱之為殘差：dk =||Sk -Tk ||根據采樣數據，我們分別計算72次采樣數據的殘差，然後求其均值μd 和標准差σd 。轉換矩陣U、殘差均值μd 、殘差標准差σd 是我們構造的網路流量模型，也是進行流量異常檢測的前提條件。 3.2 檢測階段在通過建模得到網路流量模型後，對於新的觀測向量N,(n 1,n 2……np )，採用與建模階段類似的分析方法，將其中心化：Nd =N -X然後將中心化後的向量投影到p維空間重建，並計算殘差：Td =UUTNdTd =||Nd -Td ||如果該觀測值正常，則重建前與重建後向量應該非常相似，計算出的殘差d 應該很小；如果觀測值代表的流量與建模時發生了明顯變化，則計算出的殘差值會較大。本項目利用如下演算法對殘差進行量化：3.3 評估階段評估階段的任務是根據當前觀測向量的量化值q (d )，判斷網路流量是否正常。根據經驗，如果|q (d )|<5，網路基本正常；如果5≤|q (d )|<10，網路輕度異常；如果10≤|q (d )|，網路重度異常。4 實驗結果分析利用863-917網路安全監測平台，對北京電信骨幹網流量進行持續監測，我們提取6小時的觀測數據，由於篇幅所限，我們給出圖1—4的時間序列曲線。由圖1—4可知單獨利用任何一個曲線都難以判定異常，而利用本演算法可以容易地標定異常發生的時間。本演算法計算結果如圖5所示，異常發生時間在圖5中標出。我們利用863-917平台的回溯功能對於異常發生時間進行進一步的分析，發現在標出的異常時刻，一個大規模的僵屍網路對網外的3個IP地址發起了大規模的拒絕服務攻擊。 5 結束語本文提出一種基於主成分分析的方法來劃分子空間，分析和發現網路中的異常事件。本方法能夠准確快速地標定異常發生的時間點，從而幫助網路安全應急響應部門及時發現宏觀網路的流量異常狀況，為迅速解決網路異常贏得時間。試驗表明，我們採用的14個特徵構成的分析矩陣具有較好的識別准確率和分析效率，我們接下來將會繼續尋找更具有代表性的特徵來構成數據矩陣，並研究更好的特徵矩陣構造方法來進一步提高此方法的識別率，並將本方法推廣到短時分析中。6 參考文獻[1] XU K, ZHANG Z L, BHATTACHARYYA S. Profiling Internet backbone traffic: Behavior models and applications [C]// Proceedings of ACM SIGCOMM, Aug 22- 25, 2005, Philadelphia, PA, USA. New York, NY,USA:ACM,2005:169-180.[2] HAWKINS D M, QQUI P, KANG C W. The change point model for statistical process control [J]. Journal of Quality Technology,2003, 35(4).[3] THOTTAN M, JI C. Anomaly detection in IP networks [J]. IEEE Transactions on Signal Processing, 2003, 51 )8):2191-2204.[4] BARFORD P, KLINE J, PLONKA D, et al. A signal analysis of network traffic anomalies [C]//Proceedings of ACM SIGCOMM Intemet Measurement Workshop (IMW 2002), Nov 6-8, 2002, Marseilles, France. New York, NY,USA:ACM, 2002:71-82.[5] LAKHINA A, CROVELLA M, DIOT C. Mining anomalies using traffic feature distributions [C]// Proceedings of SIGCOMM, Aug 22-25, 2005, Philadelphia, PA, USA. New York, NY,USA: ACM, 2005: 217-228.[6] LAKHINA A, CROVELLA M, DIOT C. Diagnosing network-wide traffic anomalies [C]// Proceedings of ACM SIGCOMM, Aug 30 - Sep 3, 2004, Portland, OR, USA. New York, NY,USA: ACM, 2004: 219-230.[7] SCHWELLER R, GUPTA A, PARSONS E, et al. Reversible sketches for efficient and accurate change detection over network data streams [C]//Proceedings of ACM SIGCOMM Internet Measurement Conference (IMC』04), Oct 25-27, 2004, Taormina, Sicily, Italy. New York, NY,USA: ACM, 2004:207-212.[8] MAHONEY M V, CHAN P K. Learning rules for anomaly detection of hostile network traffic [C]// Proceedings of International Conference on Data Mining (ICDM』03), Nov 19-22, Melbourne, FL, USA . Los Alamitos, CA, USA: IEEE Computer Society, 2003:601-604.
『貳』 網路異常如何修復網路故障修復方法
一、修復IP 的操作 如果日常使用時出現斷網的問題該怎麼辦呢？這可能是硬體、網路的問題或者是由於軟體的IP 設置問題引起的。如果不是網路問題的話，那麼可能就是你的設置問題，你可以先按上小節說的把應安裝的協議服務都裝齊，如果還不能解決，可以試著自己修復I P 。 方法如下：進入「本地連接 狀態」的設置對話框中，單擊「支持」選項標簽，然後單擊「修復」按鈕即可完成修復IP 的操作 二、ipconfig 命令的應用 很多時候可以通過輸入一些命令檢測網路，例如查看I P 地址、看看網路是否正常工作等等。 （1 ）單擊打開「開始」→「程序」→「附件」→「命令提示符」命令，或者直接在「運行」對話框中輸入「c m d 」命令。在「命令提示符」對話框中，輸入命令：i p c o n f i g 如果一切正常的話可以看見你的IP和子網掩碼以及默認網關信息。 如果看不見或者看見的是不可以應用的IP地址，說明是IP 出了問題。 小技巧：你也可以在C:\Documents and Settings\（你的用戶名如Kitty）\Favorites里直接編輯修改。 （2）如果是IP 出了問題，先釋放這個不可以應用的IP 地址，方法是輸入：ipconfig/release。這個命令將釋放現有IP （3）如果要讓系統重新分配IP 地址，那麼可以輸入命令：ipconfig/renew 三、Ping 命令的應用 Ping 語句一般是用來顯示網路連接的成功已否，以及別人的計算機是否工作等等。 單擊「開始」→「運行」，在空方框里輸入例如：Ping 192.168.1.1 – t，如果屏幕出現提示信息，表明網路是連通的；如果出現「Request time out」（請求返回超時），或「Bad IP Address」（錯誤IP 地址），說明網路有問題，必須一步一步檢查。 四、route print 命令的應用 route print 命令可以用來檢測網關是否正確。 打開網路中的所以機器，在其中的一台客戶機的「命令提示符」對話框中鍵入route print 命令，按回車鍵後顯示對話框。如果正確，會顯示網關的信息，如果是錯誤，會顯示出下圖的信息。 文章總結： 利用Windows 系統自帶的網路管理和維護工具，可以輕松地實現強大的管理功能。當然在應用這些工具的過程中必須要清楚工具的使用對象和實現的功能。做到靈活有效地應用這些工具。 已有很多想學電腦知識的朋友加入了我們！想和大家一起學電腦知識的朋友，請關注電腦知識網的官方空間！ 朋友，我們期待你的加入!
『叄』 用MATLAB進行人工神經網路建模,有多個輸入因素的情況下,如何分析哪個因素對輸出的
你說的是主成分分析吧，主成分分析建議使用spss軟體，裡面有很直接的主成分分析演算法，不需要編程，直接使用就可以了，或者你確實需要使用matlab來做的話，請使用princomp函數，這個函數用來進行主成分分析，具體調用格式你可以doc princomp看看，有很詳細的例子，祝好。
『肆』 神經網路BP模型
一、BP模型概述
誤差逆傳播(Error Back-Propagation)神經網路模型簡稱為BP(Back-Propagation)網路模型。
Pall Werbas博士於1974年在他的博士論文中提出了誤差逆傳播學習演算法。完整提出並被廣泛接受誤差逆傳播學習演算法的是以Rumelhart和McCelland為首的科學家小組。他們在1986年出版「Parallel Distributed Processing，Explorations in the Microstructure of Cognition」(《並行分布信息處理》)一書中，對誤差逆傳播學習演算法進行了詳盡的分析與介紹，並對這一演算法的潛在能力進行了深入探討。
BP網路是一種具有3層或3層以上的階層型神經網路。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。網路按有教師示教的方式進行學習，當一對學習模式提供給網路後，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網路的輸入響應。在這之後，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最後回到輸入層，故得名「誤差逆傳播學習演算法」。隨著這種誤差逆傳播修正的不斷進行，網路對輸入模式響應的正確率也不斷提高。
BP網路主要應用於以下幾個方面：
1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網路逼近一個函數；
2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；
3)分類：把輸入模式以所定義的合適方式進行分類；
4)數據壓縮：減少輸出矢量的維數以便於傳輸或存儲。
在人工神經網路的實際應用中，80%～90%的人工神經網路模型採用BP網路或它的變化形式，它也是前向網路的核心部分，體現了人工神經網路最精華的部分。
二、BP模型原理
下面以三層BP網路為例，說明學習和應用的原理。
1.數據定義
P對學習模式(xp，dp)，p=1，2，…，P；
輸入模式矩陣X[N][P]=(x1，x2，…，xP)；
目標模式矩陣d[M][P]=(d1，d2，…，dP)。
三層BP網路結構
輸入層神經元節點數S0=N，i=1，2，…，S0；
隱含層神經元節點數S1，j=1，2，…，S1；
神經元激活函數f1[S1]；
權值矩陣W1[S1][S0]；
偏差向量b1[S1]。
輸出層神經元節點數S2=M，k=1，2，…，S2；
神經元激活函數f2[S2]；
權值矩陣W2[S2][S1]；
偏差向量b2[S2]。
學習參數
目標誤差ϵ；
初始權更新值Δ0；
最大權更新值Δmax；
權更新值增大倍數η+；
權更新值減小倍數η-。
2.誤差函數定義
對第p個輸入模式的誤差的計算公式為
中國礦產資源評價新技術與評價新模型
y2kp為BP網的計算輸出。
3.BP網路學習公式推導
BP網路學習公式推導的指導思想是，對網路的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網路輸出誤差精度達到目標精度要求，學習結束。
各層輸出計算公式
輸入層
y0i=xi，i=1，2，…，S0；
隱含層
中國礦產資源評價新技術與評價新模型
y1j=f1(z1j)，
j=1，2，…，S1；
輸出層
中國礦產資源評價新技術與評價新模型
y2k=f2(z2k)，
k=1，2，…，S2。
輸出節點的誤差公式
中國礦產資源評價新技術與評價新模型
對輸出層節點的梯度公式推導
中國礦產資源評價新技術與評價新模型
E是多個y2m的函數，但只有一個y2k與wkj有關，各y2m間相互獨立。
其中
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
設輸出層節點誤差為
δ2k=(dk-y2k)·f2′(z2k)，
則
中國礦產資源評價新技術與評價新模型
同理可得
中國礦產資源評價新技術與評價新模型
對隱含層節點的梯度公式推導
中國礦產資源評價新技術與評價新模型
E是多個y2k的函數，針對某一個w1ji，對應一個y1j，它與所有的y2k有關。因此，上式只存在對k的求和，其中
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
設隱含層節點誤差為
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
同理可得
中國礦產資源評價新技術與評價新模型
4.採用彈性BP演算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb
1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文「A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm」中，提出Resilient Backpropagation演算法——彈性BP演算法(RPROP)。這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。
權改變的大小僅僅由權專門的「更新值」
中國礦產資源評價新技術與評價新模型
其中
權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。
中國礦產資源評價新技術與評價新模型
RPROP演算法是根據局部梯度信息實現權步的直接修改。對於每個權，我們引入它的
各自的更新值
於在誤差函數E上的局部梯度信息，按照以下的學習規則更新
中國礦產資源評價新技術與評價新模型
其中0＜η-＜1＜η+。
在每個時刻，如果目標函數的梯度改變它的符號，它表示最後的更新太大，更新值
為了減少自由地可調參數的數目，增大倍數因子η+和減小倍數因子η–被設置到固定值
η+=1.2，
η-=0.5，
這兩個值在大量的實踐中得到了很好的效果。
RPROP演算法採用了兩個參數：初始權更新值Δ0和最大權更新值Δmax
當學習開始時，所有的更新值被設置為初始值Δ0，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ0=0.1(默認設置)。
為了使權不至於變得太大，設置最大權更新值限制Δmax，默認上界設置為
Δmax=50.0。
在很多實驗中，發現通過設置最大權更新值Δmax到相當小的值，例如
Δmax=1.0。
我們可能達到誤差減小的平滑性能。
5.計算修正權值W、偏差b
第t次學習，權值W、偏差b的的修正公式
W(t)=W(t-1)+ΔW(t)，
b(t)=b(t-1)+Δb(t)，
其中，t為學習次數。
6.BP網路學習成功結束條件每次學習累積誤差平方和
中國礦產資源評價新技術與評價新模型
每次學習平均誤差
中國礦產資源評價新技術與評價新模型
當平均誤差MSE＜ε，BP網路學習成功結束。
7.BP網路應用預測
在應用BP網路時，提供網路輸入給輸入層，應用給定的BP網路及BP網路學習得到的權值W、偏差b，網路輸入經過從輸入層經各隱含層向輸出層的「順傳播」過程，計算出BP網的預測輸出。
8.神經元激活函數f
線性函數
f(x)=x，
f′(x)=1，
f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。
一般用於輸出層，可使網路輸出任何值。
S型函數S(x)
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。
f′(x)=f(x)[1-f(x)]，
f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，
一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。
在用於模式識別時，可用於輸出層，產生逼近於0或1的二值輸出。
雙曲正切S型函數
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。
f′(x)=1-f(x)·f(x)，
f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。
一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。
階梯函數
類型1
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
f′(x)=0。
類型2
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。
f′(x)=0。
斜坡函數
類型1
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。
中國礦產資源評價新技術與評價新模型
f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
類型2
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。
中國礦產資源評價新技術與評價新模型
f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
三、總體演算法
1.三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體演算法
(1)輸入參數X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；
(2)計算輸入模式X[N][P]各個變數的最大值，最小值矩陣 Xmax[N]，Xmin[N]；
(3)隱含層的權值W1，偏差b1初始化。
情形1：隱含層激活函數f( )都是雙曲正切S型函數
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9))輸出W1[S1][S0]，b1[S1]。
情形2：隱含層激活函數f( )都是S型函數
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9)輸出W1[S1][S0]，b1[S1]。
情形3：隱含層激活函數f( )為其他函數的情形
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9)輸出W1[S1][S0]，b1[S1]。
(4)輸出層的權值W2，偏差b2初始化
1)產生[-1，1]之間均勻分布的S2×S1維隨機數矩陣W2[S2][S1]；
2)產生[-1，1]之間均勻分布的S2×1維隨機數矩陣b2[S2]；
3)輸出W2[S2][S1]，b2[S2]。
2.應用彈性BP演算法(RPROP)學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b總體演算法
函數：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)
(1)輸入參數
P對模式(xp，dp)，p=1，2，…，P；
三層BP網路結構；
學習參數。
(2)學習初始化
1)
2)各層W，b的梯度值
(3)由輸入模式X求第一次學習各層輸出y0，y1，y2及第一次學習平均誤差MSE
(4)進入學習循環
epoch=1
(5)判斷每次學習誤差是否達到目標誤差要求
如果MSE＜ϵ，
則，跳出epoch循環，
轉到(12)。
(6)保存第epoch-1次學習產生的各層W，b的梯度值
(7)求第epoch次學習各層W，b的梯度值
1)求各層誤差反向傳播值δ；
2)求第p次各層W，b的梯度值
3)求p=1，2，…，P次模式產生的W，b的梯度值
(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值
(9)求各層W，b的更新
1)求權更新值Δij更新；
2)求W，b的權更新值
3)求第epoch次學習修正後的各層W，b。
(10)用修正後各層W、b，由X求第epoch次學習各層輸出y0，y1，y2及第epoch次學習誤差MSE
(11)epoch=epoch+1，
如果epoch≤MAX_EPOCH，轉到(5)；
否則，轉到(12)。
(12)輸出處理
1)如果MSE＜ε，
則學習達到目標誤差要求，輸出W1，b1，W2，b2。
2)如果MSE≥ε，
則學習沒有達到目標誤差要求，再次學習。
(13)結束
3.三層BP網路(含輸入層，隱含層，輸出層)預測總體演算法
首先應用Train3lBP_RPROP( )學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b，然後應用三層BP網路(含輸入層，隱含層，輸出層)預測。
函數：Simu3lBP( )。
1)輸入參數：
P個需預測的輸入數據向量xp，p=1，2，…，P；
三層BP網路結構；
學習得到的各層權值W、偏差b。
2)計算P個需預測的輸入數據向量xp(p=1，2，…，P)的網路輸出 y2[S2][P]，輸出預測結果y2[S2][P]。
四、總體演算法流程圖
BP網路總體演算法流程圖見附圖2。
五、數據流圖
BP網數據流圖見附圖1。
六、實例
實例一 全國銅礦化探異常數據BP 模型分類
1.全國銅礦化探異常數據准備
在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。
2.模型數據准備
根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。這7類分別是岩漿岩型銅礦、斑岩型銅礦、矽卡岩型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。
3.測試數據准備
全國化探數據作為測試數據集。
4.BP網路結構
隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。
表8-1 模型數據表
續表
5.計算結果圖
如圖8-2、圖8-3。
圖8-2
圖8-3 全國銅礦礦床類型BP模型分類示意圖
實例二 全國金礦礦石量品位數據BP 模型分類
1.模型數據准備
根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠岩型金礦、與中酸性浸入岩有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。
2.測試數據准備
模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。
3.BP網路結構
輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。
表8-2 模型數據
4.計算結果
結果見表8-3、8-4。
表8-3 訓練學習結果
表8-4 預測結果(部分)
續表
『伍』 神經網路建模問題
首先將輸入數據存為矩陣，然後找Matlab與神經網路的書，構建起來就行了。
『陸』 數據分析建模步驟有哪些
1、分類和聚類
分類演算法是極其常用的數據挖掘方法之一，其核心思想是找出目標數據項的共同特徵，並按照分類規則將數據項劃分為不同的類別。聚類演算法則是把一組數據按照相似性和差異性分為若干類別，使得同一類別數據間的相似性盡可能大，不同類別數據的相似性盡可能小。分類和聚類的目的都是將數據項進行歸類，但二者具有顯著的區別。分類是有監督的學習，即這些類別是已知的，通過對已知分類的數據進行訓練和學習，找到這些不同類的特徵，再對未分類的數據進行分類。而聚類則是無監督的學習，不需要對數據進行訓練和學習。常見的分類演算法有決策樹分類演算法、貝葉斯分類演算法等;聚類演算法則包括系統聚類，K-means均值聚類等。
2、回歸分析
回歸分析是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法，其主要研究的問題包括數據序列的趨勢特徵、數據序列的預測以及數據間的相關關系等。按照模型自變數的多少，回歸演算法可以分為一元回歸分析和多元回歸分析;按照自變數和因變數間的關系，又可分為線性回歸和非線性回歸分析。
3、神經網路
神經網路演算法是在現代神經生物學研究的基礎上發展起來的一種模擬人腦信息處理機制的網路系統，不但具備一般計算能力，還具有處理知識的思維、學習和記憶能力。它是一種基於導師的學習演算法，可以模擬復雜系統的輸入和輸出，同時具有非常強的非線性映射能力。基於神經網路的挖掘過程由數據准備、規則提取、規則應用和預測評估四個階段組成，在數據挖掘中，經常利用神經網路演算法進行預測工作。
4、關聯分析
關聯分析是在交易數據、關系數據或其他信息載體中，查找存在於項目集合或對象集合之間的關聯、相關性或因果結構，即描述資料庫中不同數據項之間所存在關系的規則。例如，一項數據發生變化，另一項也跟隨發生變化，則這兩個數據項之間可能存在某種關聯。關聯分析是一個很有用的數據挖掘模型，能夠幫助企業輸出很多有用的產品組合推薦、優惠促銷組合，能夠找到的潛在客戶，真正的把數據挖掘落到實處。4市場營銷大數據挖掘在精準營銷領域的應用可分為兩大類，包括離線應用和在線應用。其中，離線應用主要是基於客戶畫像進行數據挖掘，進行不同目的針對性營銷活動，包括潛在客戶挖掘、流失客戶挽留、制定精細化營銷媒介等。而在線應用則是基於實時數據挖掘結果，進行精準化的廣告推送和市場營銷，具體包括DMP，DSP和程序化購買等應用。
『柒』 如何解決不能繪制網路模型，報錯protobuf
publicbooleandoDecode(IoSessionsession,IoBufferin,ProtocolDecoderOutputout)throwsException{log.info("in.remaining:"+in.remaining());if(in.remaining()>0){//有數據時，讀取前8位元組判斷消息長度byte[]sizeBytes=newbyte[8];in.mark();//標記當前位置，以便reset//因為我的前數據包的長度是保存在第4-8位元組中，in.get(sizeBytes,0,8);//讀取4位元組//DataTypeChangeHelper是自己寫的一個byte[]轉int的一個工具類intsize=(int)DataTypeUtil.bytesToInt(sizeBytes,4);log.info("size:"+size);in.reset();if(size>in.remaining()){//如果消息內容不夠，則重置，相當於不讀取sizereturnfalse;//父類接收新數據，以拼湊成完整數據}else{byte[]bytes=newbyte[size];in.get(bytes,0,size);//把位元組轉換為Java對象的工具類PackageDatapack=packetComponent.getDataFromBuffer(IoBuffer.wrap(bytes));out.write(pack);if(in.remaining()>0){//如果讀取內容後還粘了包，就讓父類再重讀一次，進行下一次解析returntrue;}}}returnfalse;//處理成功，讓父類進行接收下個包}getter();Setter();}二、實現編解碼工廠和解碼器我們還需要一個編解碼工廠，用來為編解碼過濾器提供編碼器和解碼器，解碼器此處我們用不到，但是也必須提供，所以可以提供一個空的實現。/****編解碼工廠**/{privateProtocolEncoderencoder=null;privateProtocolDecoderdecoder=null;publicMyCodecFcatory(ProtocolEncoderencoder,ProtocolDecoderdecoder){this.encoder=encoder;this.decoder=decoder;}@(IoSessionsession)throwsException{returnthis.encoder;}@(IoSessionsession)throwsException{returnthis.decoder;}}/****編碼器：不做任何操作，數據已是約定好的格式，按原格式編碼**/{@Overridepublicvoidencode(IoSessionsession,Objectmessage,ProtocolEncoderOutputout)throwsException{//TODODonothing}}三、配置編解碼過濾器下面就可以配置編解碼過濾器了：需要注意的是：在doDecode中通過out.write(pack)把數據輸出後，官方的說明文檔中說接下來會繼續執行後面的過濾器，然後是IoHandle。如果你是只用了一個編解碼過濾器的話，這可能完全沒問題，但是如果使用了兩個編解碼過濾器（可能很少有人會這樣做，但本人由於前期使用了另外一個自定義的編解碼過濾器，後來想加上這個可累加的解碼器，為了圖省事就在原過濾器的前面新增加了一個編解碼過濾器，後來數據流就不走我原來的編解碼過濾器了，out.write()之後直接到了IoHandle裡面，搞了我好久，無奈最後把兩個編解碼過濾器合二為一啦，其中原因我還沒時間去搞個清楚，為防止大家和我犯同一個錯誤，特此提醒！）
『捌』 vv5網路異常怎麼辦
vv5網路異常檢查原因，檢查車輛的wifi，移動網路開關是否打開，檢查車輛網路信號是否正常，若無信號請嘗試移動到信號較好的地方，可以嘗試重啟一下車輛，刷新網路連接，可能是沒有充值繳費，可以查詢一下繳費情況，可以嘗試恢復出廠設置，重新設置網路。
網路介紹
一般用來對管道系統，交通系統，通訊系統來建模，有時特指計算機網路Computer Network，或特別指有其中的互聯網Internet由有關聯的個體組成的系統，如，人際網路，交通網路，政治網路。有時用的帶箭頭的連線表示從一個節點到另一個節點存在某種順序關系。
在節點或連線旁標出的數值，稱為點權或線權，有時不標任何數。用數學定義，網路是一種圖，一般認為它專指加權圖。物理定義，網路是從某種相同類型的實際問題中抽象出來的模型。習慣上就稱其為什麼類型網路，如開關網路，運輸網路，通信網路，計劃網路等。