Ⅰ 大數據時代網路安全進入產業爆發期
大數據時代網路安全進入產業爆發期
2017年中國雲市場競爭中，「1分中標」、「1元中標」案例已經不新鮮，在競爭白熱化的雲計算市場中，第一部網路安全相關法律的出台，再次攪動業界神經，安全成為各大雲服務廠商標榜的核心競爭力。以近日菜鳥和順豐的爭議為例，數據安全、雲市場爭奪都被成為各執一詞的緣由。
21世紀經濟報道記者近日采訪包括阿里雲在內的雲服務公司以及網路安全領域的創業者和專家，解讀雲服務市場的安全競爭。其中阿里雲總裁胡曉明一一回應跟阿里雲相關的競爭和安全問題。他表示，「根本不存在（阿里雲）與騰訊雲爭奪順豐一事，另外如果阿里雲做侵犯用戶隱私的事情，那應該倒閉。」
阿里雲回應「不安全」
6月1日，《網路安全法》實施第一天，順豐和菜鳥陷入數據之爭，在數據資源方面互不讓步，雙方皆以保護用戶數據隱私安全的名義指責對方。捲入這場「羅生門」的，還有順豐和菜鳥各執一詞的「雲市場」爭奪，即騰訊雲和阿里雲的的雲服務市場競爭。
在這場風波中，關於安全的討論爭議也很多。
近日，胡曉明在上海接受21世紀經濟報道記者采訪時回應菜鳥順豐之爭。「順豐早就是我們的客戶了，我也沒有提要跟順豐進一步加大雲計算的合作，我們都沒有找過對方。」胡曉明說。
他表示，一方面不存在與騰訊雲爭奪順豐一事，另外一方面從技術角度也不可能實現通過用戶IP地址獲取用戶核心數據的可能。
在接受采訪的一個小時時間里，胡曉明約有一半時間在談安全、回應與安全相關的質疑。據介紹，阿里雲平台上承載了大概37%的中國網站業務，阿里雲平均每天承受的攻擊是16億次。
據胡曉明介紹，阿里雲有嚴格的內部審計制度。阿里雲工程師進行任何運維管理操作時，都會有內部審計和實時違規預警。所有工程師都需要雙因素認證來完成操作人的身份驗證。此外，還通過定期的安全掃描和模擬滲透，來確保數據安全的內部控制有效、完整性。
「為什麼我們今天特別歡迎網路安全法的正式實施？就像交通法規定的紅綠燈一樣，交通規則越嚴格越好。」阿里雲的另一位負責人補充說，這個也是整個雲計算產業發展的前提。
網路安全產業爆發期
從5月份的勒索病毒事件，再到6月的菜鳥順豐事件，疊加《網路安全法》的落地，網路安全的概念被熱炒到了新高度。
法律對於網路運營者的管理責任作了較為明確的規定，《網路安全法》規定了網路安全等級保護制度，而網路運營者則應根據網路安全等級保護制度的要求，履行安全保護義務，保障網路免受干擾、破壞或入侵，防止數據泄露或被竊取或篡改。
6月13日，21世紀經濟報道記者在2017中國網路安全大會采訪十餘家參會網路安全公司，其中瑞星安全的一位負責人告訴21世紀經濟報道記者，近期咨詢業務的客戶明顯增加，行業向好。
北京另一家做雲安全服務的創業公司人士表示，國外的網路安全市場相對成熟，中國相當於剛剛做完基礎設施建設，對安全的需求正處於爆發的上升期，產業也在爆發期。他們公司2015年創立，現在基本能做到盈虧平衡，比較難得。
據介紹，他們的客戶主要是政府的政務雲平台和金融機構，客戶的安全意識還是比較強的，特別是《網路安全法》出台後，對一些網路數據管理運營平台擔負的責任進一步清晰，大家也不得不重視起來。
某信息安全眾包服務電商平台的CEO陳新龍表示，網路安全元年，應該從2017年《網路安全法》的實施開始。
根據國家互聯網應急中心數據顯示，2016年1月至11月，中國境內被篡改網站數量總數達到62894個，其中被篡改政府網站數量達到1483個。已收集到的信息系統安全漏洞達9756個，其中高危漏洞3764個，佔比為38.6%。
又一份IDC 報告數據顯示，截至 2014 年底，中國信息安全投資的比例依然不足 1%，和美國（3.6%）及日本（6%）等成熟市場差距明顯，中國網路安全市場還有很大的釋放空間。
陳新龍告訴21世紀經濟報道記者，2017年他所創立的安全服務平台，新入駐的網路安全廠商增長迅速。
此前，工信部電子科學技術情報研究所總工程師尹麗波在接受21世紀經濟報道記者采訪時也表示，目前政府的意識很強，包括工信部和網信辦，這些年都在對政府部門在做安全培訓和檢查，提升網路安全意識，普及網路安全技能和知識。在保護安全方面，大部分政府部門都已經行動起來。但企業這塊還有很大的空間，特別是中小企業，信息化程度很低，更別說網路安全措施。所以海量的中小企業，可能會是將來網路安全產業的巨大目標群體。
Ⅱ 大數據與雲計算,信息網路安全
大數據技術是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用於大數據的技術，包括大規模並行處理（MPP）資料庫，數據挖掘電網，分布式文件系統，分布式資料庫，雲計算平台，互聯網，和可擴展的存儲系統。
大數據的應用：大數據是信息產業持續高速增長的新引擎，幾乎各個行業都會逐步引入大數據技術，尤其是那些將要實現互聯網信息化轉型的傳統企業。面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。在硬體與集成設備領域，大數據將對晶元、存儲產業產生重要影響，還將催生一體化數據存儲處理伺服器、內存計算等市場。在軟體與服務領域，大數據將引發數據快速處理分析、數據挖掘技術和軟體產品的發展。
2.雲計算是基於互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。雲是網路、互聯網的一種比喻說法。過去在圖中往往用雲來表示電信網，後來也用來表示互聯網和底層基礎設施的抽象。
雲計算的主要應用：雲物聯，「物聯網就是物物相連的互聯網」。這有兩層意思：第一，物聯網的核心和基礎仍然是互聯網，是在互聯網基礎上的延伸和擴展的網路；第二，其用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通信。
如果你的基礎不是很好，再加上網路安全形勢的嚴峻，國家政策對網路安全的偏向，個人建議可以選擇網路安全方向，希望可以幫到您，謝謝！
Ⅲ 大數據與大規模網路安全感知技術初探
大數據與大規模網路安全感知技術初探
快速發展的互聯網技術不斷地改變人們的生活方式，然而，多層面的安全威脅和安全風險也不斷出現。對於一個大型網路，在網路安全層面，除了訪問控制、入侵檢測、身份識別等基礎技術手段，需要安全運維和管理人員能夠及時感知網路中的異常事件與整體安全態勢。對於安全運維人員來說，如何從成千上萬的安全事件和日誌中找到最有價值、最需要處理和解決的安全問題，從而保障網路的安全狀態，是他們最關心也是最需要解決的問題。與此同時，對於安全管理者和高層管理者而言，如何描述當前網路安全的整體狀況，如何預測和判斷風險發展的趨勢，如何指導下一步安全建設與規劃，則是一道持久的難題。
隨著大數據技術的成熟、應用與推廣，網路安全態勢感知技術有了新的發展方向，大數據技術特有的海量存儲、並行計算、高效查詢等特點，為大規模網路安全態勢感知的關鍵技術創造了突破的機遇。本文將對大規模網路環境下的安全態勢感知、大數據技術在安全感知方面的促進做一些探討。
對於一個大規模的網路而言，面臨的風險也是巨大的，可分為廣度風險和深度風險。從廣度上講，以中國移動的CMNET網路為例，所轄IP地址超過3000萬個，提供對外服務的網站數千個，規模大、節點類型豐富多樣，伴隨其中的安全問題隨網路節點數量的增加呈指數級上升。從深度上講，下一代移動互聯網安全威脅主要表現在傳統攻擊依然存在且手段多樣、APT（高級持續性威脅）攻擊逐漸增多且造成的損失不斷增大。而攻擊者的工具和手段呈現平台化、集成化和自動化的特點，具有更強的隱蔽性、更長的攻擊與潛伏時間、更加明確和特定的攻擊目標。以上造成了下一代安全威脅具有更強的殺傷能力與逃避能力。結合廣度風險與深度風險來看，大規模網路所引發的安全保障的復雜度激增，主要面臨的問題包括：安全數據量巨大；安全事件被割裂，從而難以感知；安全的整體狀況無法描述。
網路安全感知能力具體可分為資產感知、脆弱性感知、安全事件感知和異常行為感知4個方面。資產感知是指自動化快速發現和收集大規模網路資產的分布情況、更新情況、屬性等信息；脆弱性感知則包括3個層面的脆弱性感知能力：不可見、可見、可利用；安全事件感知是指能夠確定安全事件發生的時間、地點、人物、起因、經過和結果；異常行為感知是指通過異常行為判定風險，以彌補對不可見脆弱性、未知安全事件發現的不足，主要面向的是感知未知的攻擊。
一個相對完整的網路安全感知的能力模型與架構設計如下圖所示：
隨著Hadoop、NoSQL等技術的興起，BigData大數據的應用逐漸增多和成熟，而大數據自身擁有Velocity快速處理、Volume大數據量存儲、Variety支持多類數據格式三大特性。大數據的這些天生特性，恰巧可以用於大規模網路的安全感知。首先，多類數據格式可以使網路安全感知獲取更多類型的日誌數據，包括網路與安全設備的日誌、網路運行情況信息、業務與應用的日誌記錄等；其次，大數據量存儲與快速處理為高速網路流量的深度安全分析提供了技術支持，可以為高智能模型演算法提供計算資源；最後，在異常行為的識別過程中，核心是對正常業務行為與異常攻擊行為之間的未識別行為進行離群度分析，大數據使得在分析過程中採用更小的匹配顆粒與更長的匹配時間成為可能。
中國移動自2010年起在雲計算和大數據方面就開始了積極探索。中國移動的「大雲」系統目前已實現了分布式海量數據倉庫、分布式計算框架、雲存儲系統、彈性計算系統、並行數據挖掘工具等關鍵功能。在「大雲」系統的基礎上，中國移動的網路安全感知也具備了一定的技術積累，進行了大規模網路安全感知和防禦體系的技術研究，在利用雲平台進行脆弱性發現方面的智能型任務調度演算法、主機和網路異常行為發現模式等關鍵技術上均有突破，在安全運維中取得了一些顯著的效果。
大數據的出現，擴展了計算和存儲資源，提供了基礎平台和大數據量處理的技術支撐，為安全態勢的分析、預測創造了無限可能。
Ⅳ 大數據帶來解決網路安全新機遇
大數據帶來解決網路安全新機遇_數據分析師考試
2015年中國互聯網大會近日在北京召開，網路安全成為討論熱點，在專家看來，傳統防禦手段已經失效。
普華永道發布的調查報告指出，2014年全球所有行業監測到的網路攻擊共有4280萬次，比上一年增長了48%。有專家分析，隨著大數據時代的到來，解決網路安全問題變得越來越難。
360公司總裁齊向東認為，以前的互聯網安全，企業面臨的是只是操作系統的安全問題，用軟體就能夠解決。但是進入萬物互聯的時代以後，包括智能攝像機、路由器、汽車，甚至隨身穿戴、智能醫療設備等，都趨於智能化、網路化，解決這些智能硬體的安全問題，無法用上網安全的解決方案完成。
齊向東透露了一組數據：2011年到2014年，國內互聯網公開的安全事故已經造成了累計11.3億用戶的信息泄露。95%的網站能夠被黑，40%網站存在後門，70%網站存在漏洞。」
隨著大數據、雲服務的普及，物聯網成為攻擊對象，網路安全威脅如「細胞分裂」般擴散。在新一代技術革命的浪潮下，信息資源已經成為基礎性社會資源，融入到了社會生活的各個領域，顛覆性地改變著人類的生活方式和生產方式。
齊向東表示，「在個人網路安全領域，360已擁有超過12億的用戶，這就相當於12億個安全大數據的「探測器」，分布在互聯網每一個節點上。每一個用戶在使用產品的同時，這些終端設備都可以實時感知各種威脅和攻擊，匯集到雲端。」
以上是小編為大家分享的關於大數據帶來解決網路安全新機遇的相關內容，更多信息可以關注環球青藤分享更多干貨
Ⅳ 大數據網路安全的建議是什麼
大數據網路安全的建議是什麼？鑒於大數據資源在國家安全中的戰略價值，除加強基礎軟硬體設施建設、網路攻擊監控、防護等方面外，對國內大數據服務和大數據應用提出以下建議。
對重要的大數據應用或服務進行國家網路安全審查。重要的大數據應用程序或服務涉及國民經濟、人民生活和政府治理應該被包括在國家網路安全審查的范圍,並明確安全評估規范應盡快制定確保這些大數據平台有嚴格的和可靠的安全措施,防止受到攻擊和受到敵對勢力。
合理限制敏感和重要部門使用社交網路工具。政府部門、中央企業和重要信息系統單位應避免或限制使用社交網路工具作為日常辦公的通訊工具，將辦公移動終端和個人移動終端分開使用，防止重要保密信息的泄露。
大數據網路安全的建議是什麼？敏感和重要的部門應該謹慎使用第三方雲計算服務。雲計算服務是大數據的主要載體。越來越多的政府部門、企事業單位在第三方雲計算平台上建立了電子政務和企業業務系統。然而，由於缺乏安全意識、安全專業知識和安全措施，第三方雲計算平台本身的安全往往得不到保障。因此，政府、中央企業和重要信息系統單位應謹慎使用第三方雲服務，避免使用公共雲服務。同時，國家應盡快出台雲服務安全評估和測試的相關規范和標准。
嚴格規范和限制境外機構數據跨境流動。在中國提供大數據應用或服務的海外機構應接受更嚴格的網路安全審計，以確保其數據存儲在國內伺服器上，並嚴格限制數據跨境流動。
大數據網路安全的建議有哪些?大數據工程師可以這樣解決，在攜程信用卡信息泄露、小米社區用戶信息泄露、OpenSSL“心臟出血”漏洞等事件中，大量用戶信息數據被盜，可以點擊本站的其他文章進行學習。
Ⅵ 大數據環境下的網路安全分析
大數據環境下的網路安全分析
「大數據」一詞常被誤解。事實上，使用頻率太高反而使它幾乎沒有什麼意義了。大數據確實存儲並處理大量的數據集合，但其特性體現遠不止於此。
在著手解決大數據問題時，將其看作是一種觀念而不是特定的規模或技術非常有益。就其最簡單的表現來說，大數據現象由三個大趨勢的交集所推動：包含寶貴信息的大量數據、廉價的計算資源、幾乎免費的分析工具。
大數據架構和平台算是新事物，而且還在以一種非凡的速度不斷發展著。商業和開源的開發團隊幾乎每月都在發布其平台的新功能。當今的大數據集群將會與將來我們看到的數據集群有極大不同。適應這種新困難的安全工具也將發生變化。在採用大數據的生命周期中，業界仍處於早期階段，但公司越早開始應對大數據的安全問題，任務就越容易。如果安全成為大數據集群發展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關鍵的生產環境中。
如今，有很多特別重視不同數據類型（例如，地理位置數據）的大數據管理系統。這些系統使用多種不同的查詢模式、不同的數據存儲模式、不同的任務管理和協調、不同的資源管理工具。雖然大數據常被描述為「反關系型」的，但這個概念還無法抓住大數據的本質。為了避免性能問題，大數據確實拋棄了許多關系型資料庫的核心功能，卻也沒犯什麼錯誤：有些大數據環境提供關系型結構、業務連續性和結構化查詢處理。
由於傳統的定義無法抓住大數據的本質，我們不妨根據組成大數據環境的關鍵要素思考一下大數據。這些關鍵要素使用了許多分布式的數據存儲和管理節點。這些要素存儲多個數據副本，在多個節點之間將數據變成「碎片」。這意味著在單一節點發生故障時，數據查詢將會轉向處理資源可用的數據。正是這種能夠彼此協作的分布式數據節點集群，可以解決數據管理和數據查詢問題，才使得大數據如此不同。
節點的鬆散聯系帶來了許多性能優勢，但也帶來了獨特的安全挑戰。大數據資料庫並不使用集中化的「圍牆花園」模式（與「完全開放」的互聯網相對而言，它指的是一個控制用戶對網頁內容或相關服務進行訪問的環境），內部的資料庫並不隱藏自己而使其它應用程序無法訪問。在這兒沒有「內部的」概念，而大數據並不依賴數據訪問的集中點。大數據將其架構暴露給使用它的應用程序，而客戶端在操作過程中與許多不同的節點進行通信。
規模、實時性和分布式處理：大數據的本質特徵（使大數據解決超過以前數據管理系統的數據管理和處理需求，例如，在容量、實時性、分布式架構和並行處理等方面）使得保障這些系統的安全更為困難。大數據集群具有開放性和自我組織性，並可以使用戶與多個數據節點同時通信。驗證哪些數據節點和哪些客戶應當訪問信息是很困難的。別忘了，大數據的本質屬性意味著新節點自動連接到集群中，共享數據和查詢結果，解決客戶任務。
嵌入式安全：在涉及大數據的瘋狂競賽中，大部分的開發資源都用於改善大數據的可升級、易用性和分析功能上。只有很少的功能用於增加安全功能。但是，你希望得到嵌入到大數據平台中的安全功能。你希望開發人員在設計和部署階段能夠支持所需要的功能。你希望安全功能就像大數據集群一樣可升級、高性能、自組織。問題是，開源系統或多數商業系統一般都不包括安全產品。而且許多安全產品無法嵌入到Hadoop或其它的非關系型資料庫中。多數系統提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構建安全策略。
應用程序：面向大數據集群的大多數應用都是Web應用。它們利用基於Web的技術和無狀態的基於REST的API。雖然全面討論大數據安全的這個問題超出了本文的范圍，但基於Web的應用程序和API給這些大數據集群帶來了一種最重大的威脅。在遭受攻擊或破壞後，它們可以提供對大數據集群中所存儲數據的無限制訪問。應用程序安全、用戶訪問管理及授權控制非常重要，與重點保障大數據集群安全的安全措施一樣都不可或缺。
數據安全：存儲在大數據集群中的數據基本上都保存在文件中。每一個客戶端應用都可以維持其自己的包含數據的設計，但這種數據是存儲在大量節點上的。存儲在集群中的數據易於遭受正常文件容易感染的所有威脅，因而需要對這些文件進行保護，避免遭受非法的查看和復制。
Ⅶ 大數據安全問題及應對思路研究
大數據安全問題及應對思路研究
隨著互聯網、物聯網、雲計算等技術的快速發展，全球數據量出現爆炸式增長。與此同時，雲計算為這些海量的多樣化數據提供了存儲和運算平台，分布式計算等數據挖掘技術又使得大數據分析規律、研判趨勢的能力大大增強。在大數據不斷向各個行業滲透、深刻影響國家的政治、經濟、民生和國防的同時，其安全問題也將對個人隱私、社會穩定和國家安全帶來巨大的潛在威脅，如何應對面臨巨大挑戰。
一、大數據安全關鍵問題
隨著數字化進程不斷深入，大數據逐步滲透至金融、汽車、製造、醫療等各個傳統行業，甚至到社會生活的每個角落，大數據安全問題影響也日益增大。
（一）國家數據資源大量流失。互聯網海量數據的跨境流動，加劇了大數據作為國家戰略資源的大量流失，全世界的各類海量數據正在不斷匯總到美國，短期內還看不到轉變的跡象。隨著未來大數據的廣泛應用，涉及國家安全的政府和公用事業領域的大量數據資源也將進一步開放，但目前由於相關配套法律法規和監管機制尚不健全，極有可能造成國家關鍵數據資源的流失。
（二）大數據環境下用戶隱私安全威脅嚴重。隨著大數據挖掘分析技術的不斷發展，個人隱私保護和數據安全變得非常緊迫。一是大數據環境下人們對個人信息的控制權明顯下降，導致個人數據能夠被廣泛、詳實的收集和分析。二是大數據被應用於攻擊手段，黑客可最大限度地收集更多有用信息，為發起攻擊做准備，大數據分析讓黑客的攻擊更精準。三是隨著大數據技術發展，更多信息可以用於個人身份識別，個人身份識別信息的范圍界定困難，隱私保護的數據范圍變得模糊。四是以往建立在「目的明確、事先同意、使用限制」等原則之上的個人信息保護制度，在大數據場景下變得越來越難以操作。
（三）基於大數據挖掘技術的國家安全威脅日益嚴重。大數據時代美國情報機構已搶佔先機，美國通過遍布在全球的國安局監聽機構如地面衛星站、國內監聽站、海外監聽站等採集各種信息，對採集到的海量數據進行快速預處理、解密還原、分析比對、深度挖掘，並生成相關情報，供上層決策。2013年6月底，美中情局前雇員斯諾登爆料，美國情報機關通過思科路由器對中國內地移動運營商、中國教育和科研計算機網等骨幹網路實施長達4年之久的長期監控，以獲取網內海量簡訊數據和流量數據。
（四）基礎設施安全防護能力不足引發數據資產失控。一是基礎通信網路關鍵產品缺乏自主可控，成為大數據安全缺口。我國運營企業網路中，國外廠商設備的現網存量很大，國外產品存在原生性後門等隱患，一旦被遠程利用，大量數據信息存在被竊取的安全風險。二是我國大數據安全保障體系不健全，防禦手段能力建設處於起步階段，尚未建立起針對境外網路數據和流量的監測分析機制，對棱鏡監聽等深層次、復雜、高隱蔽性的安全威脅難以有效防禦、發現和處置。
二、國外大數據安全相關舉措及我國應對思路
目前世界各國均通過出台國家戰略、促進數據融合與開放、加大資金投入等推動大數據應用。相比之下，各國在涉及大數據安全方面的保障舉措則起剛剛起步，主要集中在通過立法加強對隱私數據的保護。德國在2009年對《聯邦數據保護法》進行修改並生效，約束范圍包括互聯網等電子通信領域，旨在防止因個人信息泄露導致的侵犯隱私行為；印度在2012年批准國家數據共享和開放政策的同時，通過擬定非共享數據清單以保護涉及國家安全、公民隱私、商業秘密和知識產權等數據信息；美國在2014年5月發布《大數據：把握機遇，守護價值》白皮書表示，在大數據發揮正面價值的同時，應該警惕大數據應用對隱私、公平等長遠價值帶來的負面影響，建議推進消費者隱私法案、通過全國數據泄露立法、修訂電子通信隱私法案等。
我國在布局、鼓勵和推動大數據發展應用的同時，也應提早謀劃、積極應對大數據帶來的安全挑戰，從戰略制定、法律法規、基礎設施防護等方面應對大數據安全問題。
（一）將大數據資源保護上升為國家戰略，建立分級分類安全管理機制。一是把數據資源視為國家戰略資源，將大數據資源保護納入到國家網路空間安全戰略框架中，構建大數據環境下的信息安全體系，提高應急處置能力和安全防範能力，提升服務能力和運作效率。二是通過國家層面的戰略布局，明確大數據資源保護的整體規劃和近遠期重點工作。三是對國內大數據資源按實施分級分類安全保護思路，保障數據安全、可靠，積極開展大數據安全風險評估工作，針對不同級別大數據特點加強安全防範。五是盡快制定不同級別的大數據採集、存儲、備份、遷移、處理和發布等關鍵環節的安全規范和標准，配套完善相應的監管措施。
（二）完善法律法規，加大個人信息保護監管力度。一是積極推動個人信息保護法律的立法工作，探索通過技術標准、行業自律等手段解決法律出台前的個人信息保護問題。加快《網路安全法》的出台，在《網路安全法》中對電信和互聯網行業用戶信息保護作出明確法律界定，為相關工作開展提供法律依據。二是加強對個人隱私保護的行政監管，同時要加大對侵害個人隱私行為的打擊力度，建立對個人隱私保護的測評機制，推動大數據行業的自律和監督。
（三）加強國家信息基礎設施保護，提升大數據安全保障與防範能力。一是促進技術研究和創新，通過加大財政支持力度，激勵關系國家安全和穩定的政府和國有企事業單位採用安全可控的產品，提升我國基礎設施關鍵設備的安全可控水平。二是加強大數據信息安全系統建設，針對大數據的收集、處理、分析、挖掘等過程設計與配置相應的安全產品，並組成統一的、可管控的安全系統，推動建立國家級、企業級的網路個人信息保護態勢感知、監控預警、測評認證平台。三是充分利用大數據技術應對網路攻擊，通過大數據處理技術實現對網路異常行為的識別和分析，基於大數據分析的智能驅動型安全模型，把被動的事後分析變成主動的事前防禦；基於大數據的網路攻擊追蹤，實現對網路攻擊行為的溯源。
以上是小編為大家分享的關於大數據安全問題及應對思路研究的相關內容，更多信息可以關注環球青藤分享更多干貨
Ⅷ 信息與網路安全需要大數據安全分析
信息與網路安全需要大數據安全分析
毫無疑問，我們已經進入了大數據（Big Data）時代。人類的生產生活每天都在產生大量的數據，並且產生的速度越來越快。根據IDC和EMC的聯合調查，到2020年全球數據總量將達到40ZB。2013年，Gartner將大數據列為未來信息架構發展的10大趨勢之首。Gartner預測將在2011年到2016年間累計創造2320億美元的產值。
大數據早就存在，只是一直沒有足夠的基礎實施和技術來對這些數據進行有價值的挖據。隨著存儲成本的不斷下降、以及分析技術的不斷進步，尤其是雲計算的出現，不少公司已經發現了大數據的巨大價值：它們能揭示其他手段所看不到的新變化趨勢，包括需求、供給和顧客習慣等等。比如，銀行可以以此對自己的客戶有更深入的了解，提供更有個性的定製化服務；銀行和保險公司可以發現詐騙和騙保；零售企業更精確探知顧客需求變化，為不同的細分客戶群體提供更有針對性的選擇；制葯企業可以以此為依據開發新葯，詳細追蹤葯物療效，並監測潛在的副作用；安全公司則可以識別更具隱蔽性的攻擊、入侵和違規。
當前網路與信息安全領域，正在面臨著多種挑戰。一方面，企業和組織安全體系架構的日趨復雜，各種類型的安全數據越來越多，傳統的分析能力明顯力不從心；另一方面，新型威脅的興起，內控與合規的深入，傳統的分析方法存在諸多缺陷，越來越需要分析更多的安全信息、並且要更加快速的做出判定和響應。信息安全也面臨大數據帶來的挑戰。安全數據的大數據化
安全數據的大數據化主要體現在以下三個方面：
1） 數據量越來越大：網路已經從千兆邁向了萬兆，網路安全設備要分析的數據包數據量急劇上升。同時，隨著NGFW的出現，安全網關要進行應用層協議的分析，分析的數據量更是大增。與此同時，隨著安全防禦的縱深化，安全監測的內容不斷細化，除了傳統的攻擊監測，還出現了合規監測、應用監測、用戶行為監測、性能檢測、事務監測，等等，這些都意味著要監測和分析比以往更多的數據。此外，隨著APT等新型威脅的興起，全包捕獲技術逐步應用，海量數據處理問題也日益凸顯。
2） 速度越來越快：對於網路設備而言，包處理和轉發的速度需要更快；對於安管平台、事件分析平台而言，數據源的事件發送速率（EPS，Event per Second，事件數每秒）越來越快。
3） 種類越來越多：除了數據包、日誌、資產數據，安全要素信息還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業務信息、外部情報信息等。
安全數據的大數據化，自然引發人們思考如何將大數據技術應用於安全領域。
傳統的安全分析面臨挑戰
安全數據的數量、速度、種類的迅速膨脹，不僅帶來了海量異構數據的融合、存儲和管理的問題，甚至動搖了傳統的安全分析方法。
當前絕大多數安全分析工具和方法都是針對小數據量設計的，在面對大數據量時難以為繼。新的攻擊手段層出不窮，需要檢測的數據越來越多，現有的分析技術不堪重負。面對天量的安全要素信息，我們如何才能更加迅捷地感知網路安全態勢？
傳統的分析方法大都採用基於規則和特徵的分析引擎，必須要有規則庫和特徵庫才能工作，而規則和特徵只能對已知的攻擊和威脅進行描述，無法識別未知的攻擊，或者是尚未被描述成規則的攻擊和威脅。面對未知攻擊和復雜攻擊如APT等，需要更有效的分析方法和技術！如何做到知所未知？
面對天量安全數據，傳統的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了諸多瓶頸，主要表現在以下幾方面：
——高速海量安全數據的採集和存儲變得困難
——異構數據的存儲和管理變得困難
——威脅數據源較小，導致系統判斷能力有限
——對歷史數據的檢測能力很弱
——安全事件的調查效率太低
——安全系統相互獨立，無有效手段協同工作
——分析的方法較少
——對於趨勢性的東西預測較難，對早期預警的能力比較差
——系統交互能力有限，數據展示效果有待提高
從上世紀80年代入侵檢測技術的誕生和確立以來，安全分析已經發展了很長的時間。當前，信息與網路安全分析存在兩個基本的發展趨勢：情境感知的安全分析與智能化的安全分析。
Gartner在2010年的一份報告中指出，「未來的信息安全將是情境感知的和自適應的」。所謂情境感知，就是利用更多的相關性要素信息的綜合研判來提升安全決策的能力，包括資產感知、位置感知、拓撲感知、應用感知、身份感知、內容感知，等等。情境感知極大地擴展了安全分析的縱深，納入了更多的安全要素信息，拉升了分析的空間和時間范圍，也必然對傳統的安全分析方法提出了挑戰。
同樣是在2010年，Gartner的另一份報告指出，要「為企業安全智能的興起做好准備」。在這份報告中，Gartner提出了安全智能的概念，強調必須將過去分散的安全信息進行集成與關聯，獨立的分析方法和工具進行整合形成交互，從而實現智能化的安全分析與決策。而信息的集成、技術的整合必然導致安全要素信息的迅猛增長，智能的分析必然要求將機器學習、數據挖據等技術應用於安全分析，並且要更快更好地的進行安全決策。
信息與網路安全需要大數據安全分析
安全數據的大數據化，以及傳統安全分析所面臨的挑戰和發展趨勢，都指向了同一個技術——大數據分析。正如Gartner在2011年明確指出，「信息安全正在變成一個大數據分析問題」。
於是，業界出現了將大數據分析技術應用於信息安全的技術——大數據安全分析（Big Data Security Analysis，簡稱BDSA），也有人稱做針對安全的大數據分析（Big Data Analysis for Security）。
藉助大數據安全分析技術，能夠更好地解決天量安全要素信息的採集、存儲的問題，藉助基於大數據分析技術的機器學習和數據挖據演算法，能夠更加智能地洞悉信息與網路安全的態勢，更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。
Ⅸ 如何利用大數據來處理網路安全攻擊
「大數據」已經成為時下最火熱的IT行業詞彙，各行各業的大數據解決方案層出不窮。究竟什麼是大數據、大數據給信息安全帶來哪些挑戰和機遇、為什麼網路安全需要大數據，以及怎樣把大數據思想應用於網路安全技術，本文給出解答。
一切都源於APT
APT（Advanced Persistent Threat）攻擊是一類特定的攻擊，為了獲取某個組織甚至是國家的重要信息，有針對性的進行的一系列攻擊行為的整個過程。APT攻擊利用了多種攻擊手段，包括各種最先進的手段和社會工程學方法，一步一步的獲取進入組織內部的許可權。APT往往利用組織內部的人員作為攻擊跳板。有時候，攻擊者會針對被攻擊對象編寫專門的攻擊程序，而非使用一些通用的攻擊代碼。此外，APT攻擊具有持續性，甚至長達數年。這種持續體現在攻擊者不斷嘗試各種攻擊手段，以及在滲透到網路內部後長期蟄伏，不斷收集各種信息，直到收集到重要情報。更加危險的是，這些新型的攻擊和威脅主要就針對國家重要的基礎設施和單位進行，包括能源、電力、金融、國防等關繫到國計民生，或者是國家核心利益的網路基礎設施。
現有技術為什麼失靈
先看兩個典型APT攻擊案例，分析一下盲點在哪裡：
1、 RSA SecureID竊取攻擊
1) 攻擊者給RSA的母公司EMC的4名員工發送了兩組惡意郵件。郵件標題為「2011 Recruitment Plan」，寄件人是[email protected]，正文很簡單，寫著「I forward this file to you for review. Please open and view it.」;裡面有個EXCEL附件名為「2011 Recruitment plan.xls」；
2) 很不幸，其中一位員工對此郵件感到興趣，並將其從垃圾郵件中取出來閱讀，殊不知此電子表格其實含有當時最新的Adobe Flash的0day漏洞(CVE-2011-0609)。這個Excel打開後啥也沒有，除了在一個表單的第一個格子裡面有個「X」(叉)。而這個叉實際上就是內嵌的一個Flash；
3) 該主機被植入臭名昭著的Poison Ivy遠端控制工具，並開始自BotNet的C&C伺服器(位於 good.mincesur.com)下載指令進行任務；
4) 首批受害的使用者並非「位高權重」人物，緊接著相關聯的人士包括IT與非IT等伺服器管理員相繼被黑；
5) RSA發現開發用伺服器(Staging server)遭入侵，攻擊方隨即進行撤離，加密並壓縮所有資料(都是rar格式)，並以FTP傳送至遠端主機，又迅速再次搬離該主機，清除任何蹤跡；
6) 在拿到了SecurID的信息後，攻擊者就開始對使用SecurID的公司(例如上述防務公司等)進行攻擊了。
2、 震網攻擊
遭遇超級工廠病毒攻擊的核電站計算機系統實際上是與外界物理隔離的，理論上不會遭遇外界攻擊。堅固的堡壘只有從內部才能被攻破，超級工廠病毒也正充分的利用了這一點。超級工廠病毒的攻擊者並沒有廣泛的去傳播病毒，而是針對核電站相關工作人員的家用電腦、個人電腦等能夠接觸到互聯網的計算機發起感染攻擊，以此 為第一道攻擊跳板，進一步感染相關人員的U盤，病毒以U盤為橋梁進入「堡壘」內部，隨即潛伏下來。病毒很有耐心的逐步擴散，利用多種漏洞，包括當時的一個 0day漏洞，一點一點的進行破壞。這是一次十分成功的APT攻擊，而其最為恐怖的地方就在於極為巧妙的控制了攻擊范圍，攻擊十分精準。
以上兩個典型的APT攻擊案例中可以看出，對於APT攻擊，現代安全防禦手段有三個主要盲點：
1、0day漏洞與遠程加密通信
支撐現代網路安全技術的理論基礎最重要的就是特徵匹配，廣泛應用於各類主流網路安全產品，如殺毒、入侵檢測/防禦、漏洞掃描、深度包檢測。Oday漏洞和遠程加密通信都意味著沒有特徵，或者說還沒來得及積累特徵，這是基於特徵匹配的邊界防護技術難以應對的。
2、長期持續性的攻擊
現代網路安全產品把實時性作為衡量系統能力的一項重要指標，追求的目標就是精準的識別威脅，並實時的阻斷。而對於APT這種Salami式的攻擊，則是基於實時時間點的檢測技術難以應對的。
3、內網攻擊
任何防禦體系都會做安全域劃分，內網通常被劃成信任域，信任域內部的通信不被監控，成為了盲點。需要做接入側的安全方案加固，但不在本文討論范圍。
大數據怎麼解決問題
大數據可總結為基於分布式計算的數據挖掘，可以跟傳統數據處理模式對比去理解大數據：
1、數據采樣——>全集原始數據（Raw Data）
2、小數據+大演算法——>大數據+小演算法+上下文關聯+知識積累
3、基於模型的演算法——>機械窮舉（不帶假設條件）
4、精確性+實時性——>過程中的預測
使用大數據思想，可對現代網路安全技術做如下改進：
1、特定協議報文分析——>全流量原始數據抓取（Raw Data）
2、實時數據+復雜模型演算法——>長期全流量數據+多種簡單挖掘演算法+上下文關聯+知識積累
3、實時性+自動化——>過程中的預警+人工調查
通過傳統安全防禦措施很難檢測高級持續性攻擊，企業必須先確定日常網路中各用戶、業務系統的正常行為模型是什麼，才能盡早確定企業的網路和數據是否受到了攻擊。而安全廠商可利用大數據技術對事件的模式、攻擊的模式、時間、空間、行為上的特徵進行處理，總結抽象出來一些模型，變成大數據安全工具。為了精準地描述威脅特徵，建模的過程可能耗費幾個月甚至幾年時間，企業需要耗費大量人力、物力、財力成本，才能達到目的。但可以通過整合大數據處理資源，協調大數據處理和分析機制，共享資料庫之間的關鍵模型數據，加快對高級可持續攻擊的建模進程，消除和控制高級可持續攻擊的危害。
Ⅹ 大數據信息安全分析
大數據信息安全分析
企業和其他組織一直在充滿敵意的信息安全環境中運行，在這個環境中，計算和存儲資源成為攻擊者使用入侵系統進行惡意攻擊的目標。其中，個人機密信息被竊取，然後被放在地下市場出售，而國家支持的攻擊導致大量數據泄露。在這種情況下，一個企業需要部署大數據安全性分析工具
來保護有價值的公司資源。
信息安全的很大一部分工作是監控和分析伺服器、網路和其他設備上的數據。如今大數據分析方面的進步也已經應用於安防監控中，並且它們可被用於實現更廣泛和更深入的分析。它們與傳統的信息安全分析存在顯著的差異，本文將從兩個方面分別介紹大數據安全分析的新的特點，以及企業在選擇大數據分析技術時需要考慮的關鍵因素。
大數據安全分析的特徵
在許多方面，大數據安全分析是[安全信息和事件管理security information and event management ，SIEM)及相關技術的延伸。雖然只是在分析的數據量和數據類型方面存在量的差異，但對從安全設備和應用程序提取到的信息類型來說，卻導致了質的差異。
大數據安全分析工具通常包括兩種功能類別：SIEM，以及性能和可用性監控(PAM)。SIEM工具通常包括日誌管理、事件管理和行為分析，以及資料庫和應用程序監控。而PAM工具專注於運行管理。然而，大數據分析工具比純粹地將SIEM和PAM工具放在一起要擁有更多的功能;它們的目的是實時地收集、整合和分析大規模的數據，這需要一些額外的功能。
與SIEM一樣，大數據分析工具具有在網路上准確發現設備的能力。在一些情況下，一個配置管理資料庫可以補充和提高自動收集到的數據的質量。此外，大數據分析工具還必須能夠與LDAP或ActiveDirectory伺服器，以及其他的第三方安全工具進行集成。對事件響應工作流程的支持對於SIEM工具可能並不是非常重要，但是當日誌和其他來源的安全事件數據的的數據量非常大時，這項功能就必不可少了。
大數據信息安全分析與其他領域的安全分析的區別主要表現在五個主要特徵。
主要特性1：可擴展性
大數據分析其中的一個主要特點是可伸縮性。這些平台必須擁有實時或接近實時的數據收集能力。網路流通是一個不間斷的數據包流，數據分析的速度必須要和數據獲取的速度一樣快。 該分析工具不可能讓網路流通暫停來趕上積壓的需要分析的數據包。
大數據的安全分析不只是用一種無狀態的方式檢查數據包或進行深度數據包分析，對這個問題的理解是非常重要的。雖然這些都是非常重要和必要的，但是具備跨越時間和空間的事件關聯能力是大數據分析平台的關鍵。這意味著只需要一段很短的時間，一個設備(比如web伺服器)上記錄的事件流，可以明顯地與一個終端用戶設備上的事件相對應。
主要特性2：報告和可視化
大數據分析的另一個重要功能是對分析的報告和支持。安全專家早就通過報表工具來支持業務和合規性報告。他們也有通過帶預配置安全指標的儀錶板來提供關鍵性能指標的高層次概述。雖然現有的這兩種工具是必要的，但不足以滿足大數據的需求。
對安全分析師來說，要求可視化工具通過穩定和快速的識別方式將大數據中獲得的信息呈現出來。例如，Sqrrl使用可視化技術，能夠幫助分析師了解相互連接的數據(如網站，用戶和HTTP交易信息)中的復雜關系。
主要特性3：持久的大數據存儲
大數據安全分析名字的由來，是因為區別於其他安全工具，它提供了突出的存儲和分析能力。大數據安全分析的平台通常採用大數據存儲系統，例如Hadoop分布式文件系統(HDFS)和更長的延遲檔案儲存，以及後端處理，以及一個行之有效的批處理計算模型MapRece。但是MapRece並不一定是非常有效的，它需要非常密集的I / O支出。一個流行工具Apache Spark可以作為MapRece的替代，它是一個更廣義的處理模型，相比MapRece能更有效地利用內存。
大數據分析系統，如MapRece和Spark，解決了安全分析的計算需求。同時，長時持久存儲通常還取決於關系或NoSQL資料庫。例如，SplunkHunk平台支持在Hadoop和NoSQL資料庫之上的分析和可視化。該平台位於一個組織的非關系型數據存儲與應用環境的其餘部分之間。Hunk應用直接集成了數據存儲，不需要被轉移到二級內存存儲。Hunk平台包括用於分析大數據的一系列工具。它支持自定義的儀錶板和Hunk應用程序開發，它可以直接構建在一個HDFS環境，以及自適應搜索和可視化工具之上。
大數據安全分析平台的另一個重要特點是智能反饋，在那裡建立了漏洞資料庫以及安全性博客和其他新聞來源，潛在的有用信息能夠被持續更新。大數據安全平台可從多種來源提取數據，能夠以它們自定義的數據收集方法復制威脅通知和關聯信息。
主要特性4：信息環境
由於安全事件產生這么多的數據，就給分析師和其他信息安全專業人員帶來了巨大的風險，限制了他們辨別關鍵事件的能力。有用的大數據安全分析工具都在特定用戶、設備和時間的環境下分析數據。
沒有這種背景的數據是沒什麼用的，並且會導致更高的誤報率。背景信息還改善了行為分析和異常檢測的質量。背景信息可以包括相對靜態的信息，例如一個特定的雇員在特定部門工作。它還可以包括更多的動態信息，例如，可能會隨著時間而改變的典型使用模式。例如，周一早晨有大量對數據倉庫的訪問數據是很正常的，因為管理者需要進行一些臨時查詢，以便更好地了解周報中描述的事件。
主要特性5：功能廣泛性
大數據安全分析的最後一個顯著特徵是它的功能涵蓋了非常廣泛的安全領域。當然，大數據分析將收集來自終端設備的數據，可能是通過網際網路連接到TCP或IP網路的任何設備，包括筆記本電腦、智能手機或任何物聯網設備。除了物理設備和虛擬伺服器，大數據安全分析必須加入與軟體相關的安全性。例如，脆弱性評估被用於確定在給定的環境中的任何可能的安全漏洞。網路是一個信息和標準的豐富來源，例如Cisco開發的NetFlow網路協議，其可以被用於收集給定網路上的流量信息。
大數據分析平台，也可以使用入侵檢測產品分析系統或環境行為，以發現可能的惡意活動。
大數據安全分析與其他形式的安全分析存在質的不同。需要可擴展性，需要集成和可視化不同類型數據的工具，環境信息越來越重要，安全功能的廣泛性，其讓導致供應商應用先進的數據分析和存儲工具到信息安全中。
如何選擇合適的大數據安全分析平台
大數據安全分析技術結合了先進的安全事件分析功能和事故管理系統功能(SIEM)，適用於很多企業案例，但不是全部。在投資大數據分析平台之前，請考慮公司使用大數據安全系統的組織的能力水平。這里需要考慮幾個因素，從需要保護的IT基礎設施，到部署更多安全控制的成本和益處。
基礎設施規模
擁有大量IT基礎設施的組織是大數據安全分析主要候選者。應用程序、操作系統和網路設備都可以捕獲到惡意活動的痕跡。單獨一種類型的數據不能提供足夠的證據來標識活動的威脅，多個數據源的組合可以為一個攻擊的狀態提供更全面的視角。
現有的基礎設施和安全控制生成了原始數據，但是大數據分析應用程序不需要收集、採集和分析所有的信息。在只有幾台設備，而且網路結構不是很復雜的環境中，大數據安全分析可能並不是十分必要，在這種情況下，傳統的SEIM可能已經足夠。
近實時監控
驅動大數據安全分析需求的另一個因素是近實時採集事故信息的必要性。在一些保存著高價值數據、同時又容易遭受到嚴重攻擊的環境中，實時監控尤為重要，如金融服務、醫療保健、政府機構等。
最近Verizon的研究發現，在60%的事件，攻擊者能夠在幾分鍾內攻克系統，但幾天內檢測到漏洞的比例也很低。減少檢測時間的一種方法是從整個基礎設施中實時地收集多樣數據，並立即篩選出與攻擊事件有關的數據。這是一個大數據分析的關鍵用例。
詳細歷史數據
盡管盡了最大努力，在一段時間內可能檢測不到攻擊。在這種情況下，能夠訪問歷史日誌和其它事件數據是很重要的。只要有足夠的數據可用，取證分析可以幫助識別攻擊是如何發生的。
在某些情況下，取證分析不需要確定漏洞或糾正安全弱點。例如，如果一個小企業受到攻擊，最經濟有效的補救措施可能雇安全顧問來評估目前的配置和做法，並提出修改建議。在這種情況下，並不需要大數據安全分析。其他的安全措施就可能很有效，而且價格便宜。
本地vs雲基礎架構
顧名思義，大數據安全分析需要收集和分析大量各種類型的數據。如捕獲網路上的所有流量的能力，對捕獲安全事件信息的任何限制，都可能對從大數據安全分析系統獲得的信息的質量產生嚴重影響。這一點在雲環境下尤其突出。
雲提供商限制網路流量的訪問，以減輕網路攻擊的風險。例如，雲計算客戶不能開發網段來收集網路數據包的全面數據。前瞻性的大數據安全分析用戶應該考慮雲計算供應商是如何施加限制來遏制分析范圍的。
有些情況下，大數據安全分析對雲基礎設施是有用的，但是，特別是雲上有關登錄生成的數據。例如，亞馬遜Web服務提供了性能監控服務，稱為CloudWatch的，和雲API調用的審計日誌，稱為CloudTrail。雲上的操作數據可能不會和其他數據源的數據一樣精細，但它可以補充其他數據源。
利用數據的能力
大數據安全分析攝取和關聯了大量數據。即使當數據被概括和聚集的時候，對它的解釋也可能是很有挑戰性的。從大數據分析產生的信息的質量，部分上講是分析師解釋數據能力的一項指標。當企業與安全事件扯上關系的時候，它們需要那些能夠切斷攻擊鏈路，以及理解網路流量和操作系統事件的安全分析師。
例如，分析師可能會收到一個資料庫伺服器上有關可疑活動的警報。這很可能不是一個攻擊的第一步。分析師是否可以啟動一個警報，並通過導航歷史數據找到相關事件來確定它是否確實是一個攻擊?如果不能，那麼該組織並沒有意識到大數據安全分析平台帶來的好處。
其他安全控制
企業在投身大數據安全分析之前，需要考慮它們在安全實踐方面的整體成熟度。也就是說，其他更便宜和更為簡單的控制應該放在第一位。
應該定義、執行和監測清晰的身份和訪問管理策略。例如，操作系統和應用程序應該定期修補。在虛擬環境的情況下，機器圖像應定期重建，以確保最新的補丁被並入。應該使用警報系統監視可疑事件或顯著的環境變化(例如伺服器上增加了一個管理員帳戶)。應當部署web應用防火牆來減少注入攻擊的風險和其他基於應用程序的威脅。
大數據安全分析的好處可能是巨大的，尤其是當部署到已經實現了全面的防禦戰略的基礎設施。
大數據安全分析商業案例
大數據安全分析是一項新的信息安全控制技術。這些系統的主要用途是合並來自於多個來源的數據，並減少手動集成解決方案的需求。同時還解決了其他安全控制存在的不足，例如跨多個數據源查詢困難。通過捕獲來自於多個來源的數據流，大數據分析系統提高了收集取證重要細節的機會。