Ⅰ 大数据时代网络安全进入产业爆发期
大数据时代网络安全进入产业爆发期
2017年中国云市场竞争中，“1分中标”、“1元中标”案例已经不新鲜，在竞争白热化的云计算市场中，第一部网络安全相关法律的出台，再次搅动业界神经，安全成为各大云服务厂商标榜的核心竞争力。以近日菜鸟和顺丰的争议为例，数据安全、云市场争夺都被成为各执一词的缘由。
21世纪经济报道记者近日采访包括阿里云在内的云服务公司以及网络安全领域的创业者和专家，解读云服务市场的安全竞争。其中阿里云总裁胡晓明一一回应跟阿里云相关的竞争和安全问题。他表示，“根本不存在（阿里云）与腾讯云争夺顺丰一事，另外如果阿里云做侵犯用户隐私的事情，那应该倒闭。”
阿里云回应“不安全”
6月1日，《网络安全法》实施第一天，顺丰和菜鸟陷入数据之争，在数据资源方面互不让步，双方皆以保护用户数据隐私安全的名义指责对方。卷入这场“罗生门”的，还有顺丰和菜鸟各执一词的“云市场”争夺，即腾讯云和阿里云的的云服务市场竞争。
在这场风波中，关于安全的讨论争议也很多。
近日，胡晓明在上海接受21世纪经济报道记者采访时回应菜鸟顺丰之争。“顺丰早就是我们的客户了，我也没有提要跟顺丰进一步加大云计算的合作，我们都没有找过对方。”胡晓明说。
他表示，一方面不存在与腾讯云争夺顺丰一事，另外一方面从技术角度也不可能实现通过用户IP地址获取用户核心数据的可能。
在接受采访的一个小时时间里，胡晓明约有一半时间在谈安全、回应与安全相关的质疑。据介绍，阿里云平台上承载了大概37%的中国网站业务，阿里云平均每天承受的攻击是16亿次。
据胡晓明介绍，阿里云有严格的内部审计制度。阿里云工程师进行任何运维管理操作时，都会有内部审计和实时违规预警。所有工程师都需要双因素认证来完成操作人的身份验证。此外，还通过定期的安全扫描和模拟渗透，来确保数据安全的内部控制有效、完整性。
“为什么我们今天特别欢迎网络安全法的正式实施？就像交通法规定的红绿灯一样，交通规则越严格越好。”阿里云的另一位负责人补充说，这个也是整个云计算产业发展的前提。
网络安全产业爆发期
从5月份的勒索病毒事件，再到6月的菜鸟顺丰事件，叠加《网络安全法》的落地，网络安全的概念被热炒到了新高度。
法律对于网络运营者的管理责任作了较为明确的规定，《网络安全法》规定了网络安全等级保护制度，而网络运营者则应根据网络安全等级保护制度的要求，履行安全保护义务，保障网络免受干扰、破坏或入侵，防止数据泄露或被窃取或篡改。
6月13日，21世纪经济报道记者在2017中国网络安全大会采访十余家参会网络安全公司，其中瑞星安全的一位负责人告诉21世纪经济报道记者，近期咨询业务的客户明显增加，行业向好。
北京另一家做云安全服务的创业公司人士表示，国外的网络安全市场相对成熟，中国相当于刚刚做完基础设施建设，对安全的需求正处于爆发的上升期，产业也在爆发期。他们公司2015年创立，现在基本能做到盈亏平衡，比较难得。
据介绍，他们的客户主要是政府的政务云平台和金融机构，客户的安全意识还是比较强的，特别是《网络安全法》出台后，对一些网络数据管理运营平台担负的责任进一步清晰，大家也不得不重视起来。
某信息安全众包服务电商平台的CEO陈新龙表示，网络安全元年，应该从2017年《网络安全法》的实施开始。
根据国家互联网应急中心数据显示，2016年1月至11月，中国境内被篡改网站数量总数达到62894个，其中被篡改政府网站数量达到1483个。已收集到的信息系统安全漏洞达9756个，其中高危漏洞3764个，占比为38.6%。
又一份IDC 报告数据显示，截至 2014 年底，中国信息安全投资的比例依然不足 1%，和美国（3.6%）及日本（6%）等成熟市场差距明显，中国网络安全市场还有很大的释放空间。
陈新龙告诉21世纪经济报道记者，2017年他所创立的安全服务平台，新入驻的网络安全厂商增长迅速。
此前，工信部电子科学技术情报研究所总工程师尹丽波在接受21世纪经济报道记者采访时也表示，目前政府的意识很强，包括工信部和网信办，这些年都在对政府部门在做安全培训和检查，提升网络安全意识，普及网络安全技能和知识。在保护安全方面，大部分政府部门都已经行动起来。但企业这块还有很大的空间，特别是中小企业，信息化程度很低，更别说网络安全措施。所以海量的中小企业，可能会是将来网络安全产业的巨大目标群体。
Ⅱ 大数据与云计算,信息网络安全
大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。
大数据的应用：大数据是信息产业持续高速增长的新引擎，几乎各个行业都会逐步引入大数据技术，尤其是那些将要实现互联网信息化转型的传统企业。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
2.云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。
云计算的主要应用：云物联，“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。
如果你的基础不是很好，再加上网络安全角势的严峻，国家政策对网络安全的偏向，个人建议可以选择网路安全方向，希望可以帮到您，谢谢！
Ⅲ 大数据与大规模网络安全感知技术初探
大数据与大规模网络安全感知技术初探
快速发展的互联网技术不断地改变人们的生活方式，然而，多层面的安全威胁和安全风险也不断出现。对于一个大型网络，在网络安全层面，除了访问控制、入侵检测、身份识别等基础技术手段，需要安全运维和管理人员能够及时感知网络中的异常事件与整体安全态势。对于安全运维人员来说，如何从成千上万的安全事件和日志中找到最有价值、最需要处理和解决的安全问题，从而保障网络的安全状态，是他们最关心也是最需要解决的问题。与此同时，对于安全管理者和高层管理者而言，如何描述当前网络安全的整体状况，如何预测和判断风险发展的趋势，如何指导下一步安全建设与规划，则是一道持久的难题。
随着大数据技术的成熟、应用与推广，网络安全态势感知技术有了新的发展方向，大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络安全态势感知的关键技术创造了突破的机遇。本文将对大规模网络环境下的安全态势感知、大数据技术在安全感知方面的促进做一些探讨。
对于一个大规模的网络而言，面临的风险也是巨大的，可分为广度风险和深度风险。从广度上讲，以中国移动的CMNET网络为例，所辖IP地址超过3000万个，提供对外服务的网站数千个，规模大、节点类型丰富多样，伴随其中的安全问题随网络节点数量的增加呈指数级上升。从深度上讲，下一代移动互联网安全威胁主要表现在传统攻击依然存在且手段多样、APT（高级持续性威胁）攻击逐渐增多且造成的损失不断增大。而攻击者的工具和手段呈现平台化、集成化和自动化的特点，具有更强的隐蔽性、更长的攻击与潜伏时间、更加明确和特定的攻击目标。以上造成了下一代安全威胁具有更强的杀伤能力与逃避能力。结合广度风险与深度风险来看，大规模网络所引发的安全保障的复杂度激增，主要面临的问题包括：安全数据量巨大；安全事件被割裂，从而难以感知；安全的整体状况无法描述。
网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知4个方面。资产感知是指自动化快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息；脆弱性感知则包括3个层面的脆弱性感知能力：不可见、可见、可利用；安全事件感知是指能够确定安全事件发生的时间、地点、人物、起因、经过和结果；异常行为感知是指通过异常行为判定风险，以弥补对不可见脆弱性、未知安全事件发现的不足，主要面向的是感知未知的攻击。
一个相对完整的网络安全感知的能力模型与架构设计如下图所示：
随着Hadoop、NoSQL等技术的兴起，BigData大数据的应用逐渐增多和成熟，而大数据自身拥有Velocity快速处理、Volume大数据量存储、Variety支持多类数据格式三大特性。大数据的这些天生特性，恰巧可以用于大规模网络的安全感知。首先，多类数据格式可以使网络安全感知获取更多类型的日志数据，包括网络与安全设备的日志、网络运行情况信息、业务与应用的日志记录等；其次，大数据量存储与快速处理为高速网络流量的深度安全分析提供了技术支持，可以为高智能模型算法提供计算资源；最后，在异常行为的识别过程中，核心是对正常业务行为与异常攻击行为之间的未识别行为进行离群度分析，大数据使得在分析过程中采用更小的匹配颗粒与更长的匹配时间成为可能。
中国移动自2010年起在云计算和大数据方面就开始了积极探索。中国移动的“大云”系统目前已实现了分布式海量数据仓库、分布式计算框架、云存储系统、弹性计算系统、并行数据挖掘工具等关键功能。在“大云”系统的基础上，中国移动的网络安全感知也具备了一定的技术积累，进行了大规模网络安全感知和防御体系的技术研究，在利用云平台进行脆弱性发现方面的智能型任务调度算法、主机和网络异常行为发现模式等关键技术上均有突破，在安全运维中取得了一些显着的效果。
大数据的出现，扩展了计算和存储资源，提供了基础平台和大数据量处理的技术支撑，为安全态势的分析、预测创造了无限可能。
Ⅳ 大数据带来解决网络安全新机遇
大数据带来解决网络安全新机遇_数据分析师考试
2015年中国互联网大会近日在北京召开，网络安全成为讨论热点，在专家看来，传统防御手段已经失效。
普华永道发布的调查报告指出，2014年全球所有行业监测到的网络攻击共有4280万次，比上一年增长了48%。有专家分析，随着大数据时代的到来，解决网络安全问题变得越来越难。
360公司总裁齐向东认为，以前的互联网安全，企业面临的是只是操作系统的安全问题，用软件就能够解决。但是进入万物互联的时代以后，包括智能摄像机、路由器、汽车，甚至随身穿戴、智能医疗设备等，都趋于智能化、网络化，解决这些智能硬件的安全问题，无法用上网安全的解决方案完成。
齐向东透露了一组数据：2011年到2014年，国内互联网公开的安全事故已经造成了累计11.3亿用户的信息泄露。95%的网站能够被黑，40%网站存在后门，70%网站存在漏洞。”
随着大数据、云服务的普及，物联网成为攻击对象，网络安全威胁如“细胞分裂”般扩散。在新一代技术革命的浪潮下，信息资源已经成为基础性社会资源，融入到了社会生活的各个领域，颠覆性地改变着人类的生活方式和生产方式。
齐向东表示，“在个人网络安全领域，360已拥有超过12亿的用户，这就相当于12亿个安全大数据的“探测器”，分布在互联网每一个节点上。每一个用户在使用产品的同时，这些终端设备都可以实时感知各种威胁和攻击，汇集到云端。”
以上是小编为大家分享的关于大数据带来解决网络安全新机遇的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅳ 大数据网络安全的建议是什么
大数据网络安全的建议是什么？鉴于大数据资源在国家安全中的战略价值，除加强基础软硬件设施建设、网络攻击监控、防护等方面外，对国内大数据服务和大数据应用提出以下建议。
对重要的大数据应用或服务进行国家网络安全审查。重要的大数据应用程序或服务涉及国民经济、人民生活和政府治理应该被包括在国家网络安全审查的范围,并明确安全评估规范应尽快制定确保这些大数据平台有严格的和可靠的安全措施,防止受到攻击和受到敌对势力。
合理限制敏感和重要部门使用社交网络工具。政府部门、中央企业和重要信息系统单位应避免或限制使用社交网络工具作为日常办公的通讯工具，将办公移动终端和个人移动终端分开使用，防止重要保密信息的泄露。
大数据网络安全的建议是什么？敏感和重要的部门应该谨慎使用第三方云计算服务。云计算服务是大数据的主要载体。越来越多的政府部门、企事业单位在第三方云计算平台上建立了电子政务和企业业务系统。然而，由于缺乏安全意识、安全专业知识和安全措施，第三方云计算平台本身的安全往往得不到保障。因此，政府、中央企业和重要信息系统单位应谨慎使用第三方云服务，避免使用公共云服务。同时，国家应尽快出台云服务安全评估和测试的相关规范和标准。
严格规范和限制境外机构数据跨境流动。在中国提供大数据应用或服务的海外机构应接受更严格的网络安全审计，以确保其数据存储在国内服务器上，并严格限制数据跨境流动。
大数据网络安全的建议有哪些?大数据工程师可以这样解决，在携程信用卡信息泄露、小米社区用户信息泄露、OpenSSL“心脏出血”漏洞等事件中，大量用户信息数据被盗，可以点击本站的其他文章进行学习。
Ⅵ 大数据环境下的网络安全分析
大数据环境下的网络安全分析
“大数据”一词常被误解。事实上，使用频率太高反而使它几乎没有什么意义了。大数据确实存储并处理大量的数据集合，但其特性体现远不止于此。
在着手解决大数据问题时，将其看作是一种观念而不是特定的规模或技术非常有益。就其最简单的表现来说，大数据现象由三个大趋势的交集所推动：包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。
大数据架构和平台算是新事物，而且还在以一种非凡的速度不断发展着。商业和开源的开发团队几乎每月都在发布其平台的新功能。当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。在采用大数据的生命周期中，业界仍处于早期阶段，但公司越早开始应对大数据的安全问题，任务就越容易。如果安全成为大数据集群发展过程中的一种重要需求，集群就不容易被黑客破坏。此外，公司也能够避免把不成熟的安全功能放在关键的生产环境中。
如今，有很多特别重视不同数据类型（例如，地理位置数据）的大数据管理系统。这些系统使用多种不同的查询模式、不同的数据存储模式、不同的任务管理和协调、不同的资源管理工具。虽然大数据常被描述为“反关系型”的，但这个概念还无法抓住大数据的本质。为了避免性能问题，大数据确实抛弃了许多关系型数据库的核心功能，却也没犯什么错误：有些大数据环境提供关系型结构、业务连续性和结构化查询处理。
由于传统的定义无法抓住大数据的本质，我们不妨根据组成大数据环境的关键要素思考一下大数据。这些关键要素使用了许多分布式的数据存储和管理节点。这些要素存储多个数据副本，在多个节点之间将数据变成“碎片”。这意味着在单一节点发生故障时，数据查询将会转向处理资源可用的数据。正是这种能够彼此协作的分布式数据节点集群，可以解决数据管理和数据查询问题，才使得大数据如此不同。
节点的松散联系带来了许多性能优势，但也带来了独特的安全挑战。大数据数据库并不使用集中化的“围墙花园”模式（与“完全开放”的互联网相对而言，它指的是一个控制用户对网页内容或相关服务进行访问的环境），内部的数据库并不隐藏自己而使其它应用程序无法访问。在这儿没有“内部的”概念，而大数据并不依赖数据访问的集中点。大数据将其架构暴露给使用它的应用程序，而客户端在操作过程中与许多不同的节点进行通信。
规模、实时性和分布式处理：大数据的本质特征（使大数据解决超过以前数据管理系统的数据管理和处理需求，例如，在容量、实时性、分布式架构和并行处理等方面）使得保障这些系统的安全更为困难。大数据集群具有开放性和自我组织性，并可以使用户与多个数据节点同时通信。验证哪些数据节点和哪些客户应当访问信息是很困难的。别忘了，大数据的本质属性意味着新节点自动连接到集群中，共享数据和查询结果，解决客户任务。
嵌入式安全：在涉及大数据的疯狂竞赛中，大部分的开发资源都用于改善大数据的可升级、易用性和分析功能上。只有很少的功能用于增加安全功能。但是，你希望得到嵌入到大数据平台中的安全功能。你希望开发人员在设计和部署阶段能够支持所需要的功能。你希望安全功能就像大数据集群一样可升级、高性能、自组织。问题是，开源系统或多数商业系统一般都不包括安全产品。而且许多安全产品无法嵌入到Hadoop或其它的非关系型数据库中。多数系统提供最少的安全功能，但不足以包括所有的常见威胁。在很大程度上，你需要自己构建安全策略。
应用程序：面向大数据集群的大多数应用都是Web应用。它们利用基于Web的技术和无状态的基于REST的API。虽然全面讨论大数据安全的这个问题超出了本文的范围，但基于Web的应用程序和API给这些大数据集群带来了一种最重大的威胁。在遭受攻击或破坏后，它们可以提供对大数据集群中所存储数据的无限制访问。应用程序安全、用户访问管理及授权控制非常重要，与重点保障大数据集群安全的安全措施一样都不可或缺。
数据安全：存储在大数据集群中的数据基本上都保存在文件中。每一个客户端应用都可以维持其自己的包含数据的设计，但这种数据是存储在大量节点上的。存储在集群中的数据易于遭受正常文件容易感染的所有威胁，因而需要对这些文件进行保护，避免遭受非法的查看和复制。
Ⅶ 大数据安全问题及应对思路研究
大数据安全问题及应对思路研究
随着互联网、物联网、云计算等技术的快速发展，全球数据量出现爆炸式增长。与此同时，云计算为这些海量的多样化数据提供了存储和运算平台，分布式计算等数据挖掘技术又使得大数据分析规律、研判趋势的能力大大增强。在大数据不断向各个行业渗透、深刻影响国家的政治、经济、民生和国防的同时，其安全问题也将对个人隐私、社会稳定和国家安全带来巨大的潜在威胁，如何应对面临巨大挑战。
一、大数据安全关键问题
随着数字化进程不断深入，大数据逐步渗透至金融、汽车、制造、医疗等各个传统行业，甚至到社会生活的每个角落，大数据安全问题影响也日益增大。
（一）国家数据资源大量流失。互联网海量数据的跨境流动，加剧了大数据作为国家战略资源的大量流失，全世界的各类海量数据正在不断汇总到美国，短期内还看不到转变的迹象。随着未来大数据的广泛应用，涉及国家安全的政府和公用事业领域的大量数据资源也将进一步开放，但目前由于相关配套法律法规和监管机制尚不健全，极有可能造成国家关键数据资源的流失。
（二）大数据环境下用户隐私安全威胁严重。随着大数据挖掘分析技术的不断发展，个人隐私保护和数据安全变得非常紧迫。一是大数据环境下人们对个人信息的控制权明显下降，导致个人数据能够被广泛、详实的收集和分析。二是大数据被应用于攻击手段，黑客可最大限度地收集更多有用信息，为发起攻击做准备，大数据分析让黑客的攻击更精准。三是随着大数据技术发展，更多信息可以用于个人身份识别，个人身份识别信息的范围界定困难，隐私保护的数据范围变得模糊。四是以往建立在“目的明确、事先同意、使用限制”等原则之上的个人信息保护制度，在大数据场景下变得越来越难以操作。
（三）基于大数据挖掘技术的国家安全威胁日益严重。大数据时代美国情报机构已抢占先机，美国通过遍布在全球的国安局监听机构如地面卫星站、国内监听站、海外监听站等采集各种信息，对采集到的海量数据进行快速预处理、解密还原、分析比对、深度挖掘，并生成相关情报，供上层决策。2013年6月底，美中情局前雇员斯诺登爆料，美国情报机关通过思科路由器对中国内地移动运营商、中国教育和科研计算机网等骨干网络实施长达4年之久的长期监控，以获取网内海量短信数据和流量数据。
（四）基础设施安全防护能力不足引发数据资产失控。一是基础通信网络关键产品缺乏自主可控，成为大数据安全缺口。我国运营企业网络中，国外厂商设备的现网存量很大，国外产品存在原生性后门等隐患，一旦被远程利用，大量数据信息存在被窃取的安全风险。二是我国大数据安全保障体系不健全，防御手段能力建设处于起步阶段，尚未建立起针对境外网络数据和流量的监测分析机制，对棱镜监听等深层次、复杂、高隐蔽性的安全威胁难以有效防御、发现和处置。
二、国外大数据安全相关举措及我国应对思路
目前世界各国均通过出台国家战略、促进数据融合与开放、加大资金投入等推动大数据应用。相比之下，各国在涉及大数据安全方面的保障举措则起刚刚起步，主要集中在通过立法加强对隐私数据的保护。德国在2009年对《联邦数据保护法》进行修改并生效，约束范围包括互联网等电子通信领域，旨在防止因个人信息泄露导致的侵犯隐私行为；印度在2012年批准国家数据共享和开放政策的同时，通过拟定非共享数据清单以保护涉及国家安全、公民隐私、商业秘密和知识产权等数据信息；美国在2014年5月发布《大数据：把握机遇，守护价值》白皮书表示，在大数据发挥正面价值的同时，应该警惕大数据应用对隐私、公平等长远价值带来的负面影响，建议推进消费者隐私法案、通过全国数据泄露立法、修订电子通信隐私法案等。
我国在布局、鼓励和推动大数据发展应用的同时，也应提早谋划、积极应对大数据带来的安全挑战，从战略制定、法律法规、基础设施防护等方面应对大数据安全问题。
（一）将大数据资源保护上升为国家战略，建立分级分类安全管理机制。一是把数据资源视为国家战略资源，将大数据资源保护纳入到国家网络空间安全战略框架中，构建大数据环境下的信息安全体系，提高应急处置能力和安全防范能力，提升服务能力和运作效率。二是通过国家层面的战略布局，明确大数据资源保护的整体规划和近远期重点工作。三是对国内大数据资源按实施分级分类安全保护思路，保障数据安全、可靠，积极开展大数据安全风险评估工作，针对不同级别大数据特点加强安全防范。五是尽快制定不同级别的大数据采集、存储、备份、迁移、处理和发布等关键环节的安全规范和标准，配套完善相应的监管措施。
（二）完善法律法规，加大个人信息保护监管力度。一是积极推动个人信息保护法律的立法工作，探索通过技术标准、行业自律等手段解决法律出台前的个人信息保护问题。加快《网络安全法》的出台，在《网络安全法》中对电信和互联网行业用户信息保护作出明确法律界定，为相关工作开展提供法律依据。二是加强对个人隐私保护的行政监管，同时要加大对侵害个人隐私行为的打击力度，建立对个人隐私保护的测评机制，推动大数据行业的自律和监督。
（三）加强国家信息基础设施保护，提升大数据安全保障与防范能力。一是促进技术研究和创新，通过加大财政支持力度，激励关系国家安全和稳定的政府和国有企事业单位采用安全可控的产品，提升我国基础设施关键设备的安全可控水平。二是加强大数据信息安全系统建设，针对大数据的收集、处理、分析、挖掘等过程设计与配置相应的安全产品，并组成统一的、可管控的安全系统，推动建立国家级、企业级的网络个人信息保护态势感知、监控预警、测评认证平台。三是充分利用大数据技术应对网络攻击，通过大数据处理技术实现对网络异常行为的识别和分析，基于大数据分析的智能驱动型安全模型，把被动的事后分析变成主动的事前防御；基于大数据的网络攻击追踪，实现对网络攻击行为的溯源。
以上是小编为大家分享的关于大数据安全问题及应对思路研究的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅷ 信息与网络安全需要大数据安全分析
信息与网络安全需要大数据安全分析
毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。2013年，Gartner将大数据列为未来信息架构发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造2320亿美元的产值。
大数据早就存在，只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步，尤其是云计算的出现，不少公司已经发现了大数据的巨大价值：它们能揭示其他手段所看不到的新变化趋势，包括需求、供给和顾客习惯等等。比如，银行可以以此对自己的客户有更深入的了解，提供更有个性的定制化服务；银行和保险公司可以发现诈骗和骗保；零售企业更精确探知顾客需求变化，为不同的细分客户群体提供更有针对性的选择；制药企业可以以此为依据开发新药，详细追踪药物疗效，并监测潜在的副作用；安全公司则可以识别更具隐蔽性的攻击、入侵和违规。
当前网络与信息安全领域，正在面临着多种挑战。一方面，企业和组织安全体系架构的日趋复杂，各种类型的安全数据越来越多，传统的分析能力明显力不从心；另一方面，新型威胁的兴起，内控与合规的深入，传统的分析方法存在诸多缺陷，越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。安全数据的大数据化
安全数据的大数据化主要体现在以下三个方面：
1） 数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。同时，随着NGFW的出现，安全网关要进行应用层协议的分析，分析的数据量更是大增。与此同时，随着安全防御的纵深化，安全监测的内容不断细化，除了传统的攻击监测，还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测，等等，这些都意味着要监测和分析比以往更多的数据。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处理问题也日益凸显。
2） 速度越来越快：对于网络设备而言，包处理和转发的速度需要更快；对于安管平台、事件分析平台而言，数据源的事件发送速率（EPS，Event per Second，事件数每秒）越来越快。
3） 种类越来越多：除了数据包、日志、资产数据，安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
安全数据的大数据化，自然引发人们思考如何将大数据技术应用于安全领域。
传统的安全分析面临挑战
安全数据的数量、速度、种类的迅速膨胀，不仅带来了海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析方法。
当前绝大多数安全分析工具和方法都是针对小数据量设计的，在面对大数据量时难以为继。新的攻击手段层出不穷，需要检测的数据越来越多，现有的分析技术不堪重负。面对天量的安全要素信息，我们如何才能更加迅捷地感知网络安全态势？
传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等，需要更有效的分析方法和技术！如何做到知所未知？
面对天量安全数据，传统的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了诸多瓶颈，主要表现在以下几方面：
——高速海量安全数据的采集和存储变得困难
——异构数据的存储和管理变得困难
——威胁数据源较小，导致系统判断能力有限
——对历史数据的检测能力很弱
——安全事件的调查效率太低
——安全系统相互独立，无有效手段协同工作
——分析的方法较少
——对于趋势性的东西预测较难，对早期预警的能力比较差
——系统交互能力有限，数据展示效果有待提高
从上世纪80年代入侵检测技术的诞生和确立以来，安全分析已经发展了很长的时间。当前，信息与网络安全分析存在两个基本的发展趋势：情境感知的安全分析与智能化的安全分析。
Gartner在2010年的一份报告中指出，“未来的信息安全将是情境感知的和自适应的”。所谓情境感知，就是利用更多的相关性要素信息的综合研判来提升安全决策的能力，包括资产感知、位置感知、拓扑感知、应用感知、身份感知、内容感知，等等。情境感知极大地扩展了安全分析的纵深，纳入了更多的安全要素信息，拉升了分析的空间和时间范围，也必然对传统的安全分析方法提出了挑战。
同样是在2010年，Gartner的另一份报告指出，要“为企业安全智能的兴起做好准备”。在这份报告中，Gartner提出了安全智能的概念，强调必须将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，从而实现智能化的安全分析与决策。而信息的集成、技术的整合必然导致安全要素信息的迅猛增长，智能的分析必然要求将机器学习、数据挖据等技术应用于安全分析，并且要更快更好地的进行安全决策。
信息与网络安全需要大数据安全分析
安全数据的大数据化，以及传统安全分析所面临的挑战和发展趋势，都指向了同一个技术——大数据分析。正如Gartner在2011年明确指出，“信息安全正在变成一个大数据分析问题”。
于是，业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析（Big Data Security Analysis，简称BDSA），也有人称做针对安全的大数据分析（Big Data Analysis for Security）。
借助大数据安全分析技术，能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
Ⅸ 如何利用大数据来处理网络安全攻击
“大数据”已经成为时下最火热的IT行业词汇，各行各业的大数据解决方案层出不穷。究竟什么是大数据、大数据给信息安全带来哪些挑战和机遇、为什么网络安全需要大数据，以及怎样把大数据思想应用于网络安全技术，本文给出解答。
一切都源于APT
APT（Advanced Persistent Threat）攻击是一类特定的攻击，为了获取某个组织甚至是国家的重要信息，有针对性的进行的一系列攻击行为的整个过程。APT攻击利用了多种攻击手段，包括各种最先进的手段和社会工程学方法，一步一步的获取进入组织内部的权限。APT往往利用组织内部的人员作为攻击跳板。有时候，攻击者会针对被攻击对象编写专门的攻击程序，而非使用一些通用的攻击代码。此外，APT攻击具有持续性，甚至长达数年。这种持续体现在攻击者不断尝试各种攻击手段，以及在渗透到网络内部后长期蛰伏，不断收集各种信息，直到收集到重要情报。更加危险的是，这些新型的攻击和威胁主要就针对国家重要的基础设施和单位进行，包括能源、电力、金融、国防等关系到国计民生，或者是国家核心利益的网络基础设施。
现有技术为什么失灵
先看两个典型APT攻击案例，分析一下盲点在哪里：
1、 RSA SecureID窃取攻击
1) 攻击者给RSA的母公司EMC的4名员工发送了两组恶意邮件。邮件标题为“2011 Recruitment Plan”，寄件人是[email protected]，正文很简单，写着“I forward this file to you for review. Please open and view it.”;里面有个EXCEL附件名为“2011 Recruitment plan.xls”；
2) 很不幸，其中一位员工对此邮件感到兴趣，并将其从垃圾邮件中取出来阅读，殊不知此电子表格其实含有当时最新的Adobe Flash的0day漏洞(CVE-2011-0609)。这个Excel打开后啥也没有，除了在一个表单的第一个格子里面有个“X”(叉)。而这个叉实际上就是内嵌的一个Flash；
3) 该主机被植入臭名昭着的Poison Ivy远端控制工具，并开始自BotNet的C&C服务器(位于 good.mincesur.com)下载指令进行任务；
4) 首批受害的使用者并非“位高权重”人物，紧接着相关联的人士包括IT与非IT等服务器管理员相继被黑；
5) RSA发现开发用服务器(Staging server)遭入侵，攻击方随即进行撤离，加密并压缩所有资料(都是rar格式)，并以FTP传送至远端主机，又迅速再次搬离该主机，清除任何踪迹；
6) 在拿到了SecurID的信息后，攻击者就开始对使用SecurID的公司(例如上述防务公司等)进行攻击了。
2、 震网攻击
遭遇超级工厂病毒攻击的核电站计算机系统实际上是与外界物理隔离的，理论上不会遭遇外界攻击。坚固的堡垒只有从内部才能被攻破，超级工厂病毒也正充分的利用了这一点。超级工厂病毒的攻击者并没有广泛的去传播病毒，而是针对核电站相关工作人员的家用电脑、个人电脑等能够接触到互联网的计算机发起感染攻击，以此 为第一道攻击跳板，进一步感染相关人员的U盘，病毒以U盘为桥梁进入“堡垒”内部，随即潜伏下来。病毒很有耐心的逐步扩散，利用多种漏洞，包括当时的一个 0day漏洞，一点一点的进行破坏。这是一次十分成功的APT攻击，而其最为恐怖的地方就在于极为巧妙的控制了攻击范围，攻击十分精准。
以上两个典型的APT攻击案例中可以看出，对于APT攻击，现代安全防御手段有三个主要盲点：
1、0day漏洞与远程加密通信
支撑现代网络安全技术的理论基础最重要的就是特征匹配，广泛应用于各类主流网络安全产品，如杀毒、入侵检测/防御、漏洞扫描、深度包检测。Oday漏洞和远程加密通信都意味着没有特征，或者说还没来得及积累特征，这是基于特征匹配的边界防护技术难以应对的。
2、长期持续性的攻击
现代网络安全产品把实时性作为衡量系统能力的一项重要指标，追求的目标就是精准的识别威胁，并实时的阻断。而对于APT这种Salami式的攻击，则是基于实时时间点的检测技术难以应对的。
3、内网攻击
任何防御体系都会做安全域划分，内网通常被划成信任域，信任域内部的通信不被监控，成为了盲点。需要做接入侧的安全方案加固，但不在本文讨论范围。
大数据怎么解决问题
大数据可总结为基于分布式计算的数据挖掘，可以跟传统数据处理模式对比去理解大数据：
1、数据采样——>全集原始数据（Raw Data）
2、小数据+大算法——>大数据+小算法+上下文关联+知识积累
3、基于模型的算法——>机械穷举（不带假设条件）
4、精确性+实时性——>过程中的预测
使用大数据思想，可对现代网络安全技术做如下改进：
1、特定协议报文分析——>全流量原始数据抓取（Raw Data）
2、实时数据+复杂模型算法——>长期全流量数据+多种简单挖掘算法+上下文关联+知识积累
3、实时性+自动化——>过程中的预警+人工调查
通过传统安全防御措施很难检测高级持续性攻击，企业必须先确定日常网络中各用户、业务系统的正常行为模型是什么，才能尽早确定企业的网络和数据是否受到了攻击。而安全厂商可利用大数据技术对事件的模式、攻击的模式、时间、空间、行为上的特征进行处理，总结抽象出来一些模型，变成大数据安全工具。为了精准地描述威胁特征，建模的过程可能耗费几个月甚至几年时间，企业需要耗费大量人力、物力、财力成本，才能达到目的。但可以通过整合大数据处理资源，协调大数据处理和分析机制，共享数据库之间的关键模型数据，加快对高级可持续攻击的建模进程，消除和控制高级可持续攻击的危害。
Ⅹ 大数据信息安全分析
大数据信息安全分析
企业和其他组织一直在充满敌意的信息安全环境中运行，在这个环境中，计算和存储资源成为攻击者使用入侵系统进行恶意攻击的目标。其中，个人机密信息被窃取，然后被放在地下市场出售，而国家支持的攻击导致大量数据泄露。在这种情况下，一个企业需要部署大数据安全性分析工具
来保护有价值的公司资源。
信息安全的很大一部分工作是监控和分析服务器、网络和其他设备上的数据。如今大数据分析方面的进步也已经应用于安防监控中，并且它们可被用于实现更广泛和更深入的分析。它们与传统的信息安全分析存在显着的差异，本文将从两个方面分别介绍大数据安全分析的新的特点，以及企业在选择大数据分析技术时需要考虑的关键因素。
大数据安全分析的特征
在许多方面，大数据安全分析是[安全信息和事件管理security information and event management ，SIEM)及相关技术的延伸。虽然只是在分析的数据量和数据类型方面存在量的差异，但对从安全设备和应用程序提取到的信息类型来说，却导致了质的差异。
大数据安全分析工具通常包括两种功能类别：SIEM，以及性能和可用性监控(PAM)。SIEM工具通常包括日志管理、事件管理和行为分析，以及数据库和应用程序监控。而PAM工具专注于运行管理。然而，大数据分析工具比纯粹地将SIEM和PAM工具放在一起要拥有更多的功能;它们的目的是实时地收集、整合和分析大规模的数据，这需要一些额外的功能。
与SIEM一样，大数据分析工具具有在网络上准确发现设备的能力。在一些情况下，一个配置管理数据库可以补充和提高自动收集到的数据的质量。此外，大数据分析工具还必须能够与LDAP或ActiveDirectory服务器，以及其他的第三方安全工具进行集成。对事件响应工作流程的支持对于SIEM工具可能并不是非常重要，但是当日志和其他来源的安全事件数据的的数据量非常大时，这项功能就必不可少了。
大数据信息安全分析与其他领域的安全分析的区别主要表现在五个主要特征。
主要特性1：可扩展性
大数据分析其中的一个主要特点是可伸缩性。这些平台必须拥有实时或接近实时的数据收集能力。网络流通是一个不间断的数据包流，数据分析的速度必须要和数据获取的速度一样快。 该分析工具不可能让网络流通暂停来赶上积压的需要分析的数据包。
大数据的安全分析不只是用一种无状态的方式检查数据包或进行深度数据包分析，对这个问题的理解是非常重要的。虽然这些都是非常重要和必要的，但是具备跨越时间和空间的事件关联能力是大数据分析平台的关键。这意味着只需要一段很短的时间，一个设备(比如web服务器)上记录的事件流，可以明显地与一个终端用户设备上的事件相对应。
主要特性2：报告和可视化
大数据分析的另一个重要功能是对分析的报告和支持。安全专家早就通过报表工具来支持业务和合规性报告。他们也有通过带预配置安全指标的仪表板来提供关键性能指标的高层次概述。虽然现有的这两种工具是必要的，但不足以满足大数据的需求。
对安全分析师来说，要求可视化工具通过稳定和快速的识别方式将大数据中获得的信息呈现出来。例如，Sqrrl使用可视化技术，能够帮助分析师了解相互连接的数据(如网站，用户和HTTP交易信息)中的复杂关系。
主要特性3：持久的大数据存储
大数据安全分析名字的由来，是因为区别于其他安全工具，它提供了突出的存储和分析能力。大数据安全分析的平台通常采用大数据存储系统，例如Hadoop分布式文件系统(HDFS)和更长的延迟档案储存，以及后端处理，以及一个行之有效的批处理计算模型MapRece。但是MapRece并不一定是非常有效的，它需要非常密集的I / O支出。一个流行工具Apache Spark可以作为MapRece的替代，它是一个更广义的处理模型，相比MapRece能更有效地利用内存。
大数据分析系统，如MapRece和Spark，解决了安全分析的计算需求。同时，长时持久存储通常还取决于关系或NoSQL数据库。例如，SplunkHunk平台支持在Hadoop和NoSQL数据库之上的分析和可视化。该平台位于一个组织的非关系型数据存储与应用环境的其余部分之间。Hunk应用直接集成了数据存储，不需要被转移到二级内存存储。Hunk平台包括用于分析大数据的一系列工具。它支持自定义的仪表板和Hunk应用程序开发，它可以直接构建在一个HDFS环境，以及自适应搜索和可视化工具之上。
大数据安全分析平台的另一个重要特点是智能反馈，在那里建立了漏洞数据库以及安全性博客和其他新闻来源，潜在的有用信息能够被持续更新。大数据安全平台可从多种来源提取数据，能够以它们自定义的数据收集方法复制威胁通知和关联信息。
主要特性4：信息环境
由于安全事件产生这么多的数据，就给分析师和其他信息安全专业人员带来了巨大的风险，限制了他们辨别关键事件的能力。有用的大数据安全分析工具都在特定用户、设备和时间的环境下分析数据。
没有这种背景的数据是没什么用的，并且会导致更高的误报率。背景信息还改善了行为分析和异常检测的质量。背景信息可以包括相对静态的信息，例如一个特定的雇员在特定部门工作。它还可以包括更多的动态信息，例如，可能会随着时间而改变的典型使用模式。例如，周一早晨有大量对数据仓库的访问数据是很正常的，因为管理者需要进行一些临时查询，以便更好地了解周报中描述的事件。
主要特性5：功能广泛性
大数据安全分析的最后一个显着特征是它的功能涵盖了非常广泛的安全领域。当然，大数据分析将收集来自终端设备的数据，可能是通过因特网连接到TCP或IP网络的任何设备，包括笔记本电脑、智能手机或任何物联网设备。除了物理设备和虚拟服务器，大数据安全分析必须加入与软件相关的安全性。例如，脆弱性评估被用于确定在给定的环境中的任何可能的安全漏洞。网络是一个信息和标准的丰富来源，例如Cisco开发的NetFlow网络协议，其可以被用于收集给定网络上的流量信息。
大数据分析平台，也可以使用入侵检测产品分析系统或环境行为，以发现可能的恶意活动。
大数据安全分析与其他形式的安全分析存在质的不同。需要可扩展性，需要集成和可视化不同类型数据的工具，环境信息越来越重要，安全功能的广泛性，其让导致供应商应用先进的数据分析和存储工具到信息安全中。
如何选择合适的大数据安全分析平台
大数据安全分析技术结合了先进的安全事件分析功能和事故管理系统功能(SIEM)，适用于很多企业案例，但不是全部。在投资大数据分析平台之前，请考虑公司使用大数据安全系统的组织的能力水平。这里需要考虑几个因素，从需要保护的IT基础设施，到部署更多安全控制的成本和益处。
基础设施规模
拥有大量IT基础设施的组织是大数据安全分析主要候选者。应用程序、操作系统和网络设备都可以捕获到恶意活动的痕迹。单独一种类型的数据不能提供足够的证据来标识活动的威胁，多个数据源的组合可以为一个攻击的状态提供更全面的视角。
现有的基础设施和安全控制生成了原始数据，但是大数据分析应用程序不需要收集、采集和分析所有的信息。在只有几台设备，而且网络结构不是很复杂的环境中，大数据安全分析可能并不是十分必要，在这种情况下，传统的SEIM可能已经足够。
近实时监控
驱动大数据安全分析需求的另一个因素是近实时采集事故信息的必要性。在一些保存着高价值数据、同时又容易遭受到严重攻击的环境中，实时监控尤为重要，如金融服务、医疗保健、政府机构等。
最近Verizon的研究发现，在60%的事件，攻击者能够在几分钟内攻克系统，但几天内检测到漏洞的比例也很低。减少检测时间的一种方法是从整个基础设施中实时地收集多样数据，并立即筛选出与攻击事件有关的数据。这是一个大数据分析的关键用例。
详细历史数据
尽管尽了最大努力，在一段时间内可能检测不到攻击。在这种情况下，能够访问历史日志和其它事件数据是很重要的。只要有足够的数据可用，取证分析可以帮助识别攻击是如何发生的。
在某些情况下，取证分析不需要确定漏洞或纠正安全弱点。例如，如果一个小企业受到攻击，最经济有效的补救措施可能雇安全顾问来评估目前的配置和做法，并提出修改建议。在这种情况下，并不需要大数据安全分析。其他的安全措施就可能很有效，而且价格便宜。
本地vs云基础架构
顾名思义，大数据安全分析需要收集和分析大量各种类型的数据。如捕获网络上的所有流量的能力，对捕获安全事件信息的任何限制，都可能对从大数据安全分析系统获得的信息的质量产生严重影响。这一点在云环境下尤其突出。
云提供商限制网络流量的访问，以减轻网络攻击的风险。例如，云计算客户不能开发网段来收集网络数据包的全面数据。前瞻性的大数据安全分析用户应该考虑云计算供应商是如何施加限制来遏制分析范围的。
有些情况下，大数据安全分析对云基础设施是有用的，但是，特别是云上有关登录生成的数据。例如，亚马逊Web服务提供了性能监控服务，称为CloudWatch的，和云API调用的审计日志，称为CloudTrail。云上的操作数据可能不会和其他数据源的数据一样精细，但它可以补充其他数据源。
利用数据的能力
大数据安全分析摄取和关联了大量数据。即使当数据被概括和聚集的时候，对它的解释也可能是很有挑战性的。从大数据分析产生的信息的质量，部分上讲是分析师解释数据能力的一项指标。当企业与安全事件扯上关系的时候，它们需要那些能够切断攻击链路，以及理解网络流量和操作系统事件的安全分析师。
例如，分析师可能会收到一个数据库服务器上有关可疑活动的警报。这很可能不是一个攻击的第一步。分析师是否可以启动一个警报，并通过导航历史数据找到相关事件来确定它是否确实是一个攻击?如果不能，那么该组织并没有意识到大数据安全分析平台带来的好处。
其他安全控制
企业在投身大数据安全分析之前，需要考虑它们在安全实践方面的整体成熟度。也就是说，其他更便宜和更为简单的控制应该放在第一位。
应该定义、执行和监测清晰的身份和访问管理策略。例如，操作系统和应用程序应该定期修补。在虚拟环境的情况下，机器图像应定期重建，以确保最新的补丁被并入。应该使用警报系统监视可疑事件或显着的环境变化(例如服务器上增加了一个管理员帐户)。应当部署web应用防火墙来减少注入攻击的风险和其他基于应用程序的威胁。
大数据安全分析的好处可能是巨大的，尤其是当部署到已经实现了全面的防御战略的基础设施。
大数据安全分析商业案例
大数据安全分析是一项新的信息安全控制技术。这些系统的主要用途是合并来自于多个来源的数据，并减少手动集成解决方案的需求。同时还解决了其他安全控制存在的不足，例如跨多个数据源查询困难。通过捕获来自于多个来源的数据流，大数据分析系统提高了收集取证重要细节的机会。