大数据的特征有哪些?
大数据所包含特征,具体如下:
第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。
第二个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。
第三个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
大数据的作用及其用途
大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。
“大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。
1、变革价值的力量
2、变革经济的力量,生产者是有价值的,消费者是价值的意义所在。有意义的才有价值,消费者不认同的,就卖不出去,就实现不了价值;只有消费者认同的,才卖得出去,才实现得了价值。大数据帮助我们从消费者这个源头识别意义,从而帮助生产者实现价值。这就是启动内需的原理。
3、变革组织的力量,随着具有语义网特征的数据基础设施和数据资源发展起来,组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。
大数据分析工具面临哪些挑战
大数据发展的挑战:
目前大数据的发展依然存在诸多挑战,包括七大方面的挑战:业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重,导致数据价值不能充分挖掘;数据可用性低,数据质量差,导致数据无法利用;数据相关管理技术和架构落后,导致不具备大数据处理能力;数据安全能力和防范意识差,导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值,但缺乏大数据相关的政策法规,导致数据开放和隐私之间难以平衡,也难以更好的开放。
挑战一:业务部门没有清晰的大数据需求
很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又是非盈利部门,企业决策层担心投入比较多的成本,导致了很多企业在搭建大数据部门时犹豫不决,或者很多企业都处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘自身的数据资产,甚至由于数据没有应用场景,删除很多有价值历史数据,导致企业数据资产流失。因此,这方面需要大数据从业者和专家一起,推动和分享大数据应用场景,让更多的业务人员了解大数据的价值。
挑战二:企业内部数据孤岛严重
企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不一样,这导致企业内部自己的数据都没法打通。如果不打通这些数据,大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。
挑战三:数据可用性低,数据质量差
很多中型以及大型企业,每时每刻也都在产生大量的数据,但很多企业在大数据的预处理阶段很不重视,导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型,对数据进行清洗和去噪,以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因,导致企业的数据的可用性差,数据质量差,数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息,还有对收集到的数据进行很好的预处理处理,才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明,高质量的数据的数据应用可以显著提升企业的商业表现,数据可用性提高10%,企业的业绩至少提升在10%以上。
挑战四:数据相关管理技术和架构
技术架构的挑战包含以下几方面:(1)传统的数据库部署不能处理TB级别的数据,快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库,并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术,在设计的开始就没有考虑数据类别的多样性,尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库,对数据处理时间要求不高,这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据,进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构,需要强大的数据中心来支撑,数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时,减少服务器的低负载情况,成为海量数据中心运维的一个重点工作。
挑战五:数据安全
网络化生活使得犯罪分子更容易获得关于人的信息,也有了更多不易被追踪和防范的犯罪手段,可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多,黑客犯罪的动机比以往都来的强烈,一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们,要加强大数据网络安全的建设。另外,大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。
挑战六:大数据人才缺乏
大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来,大数据将会出现约100万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据,所以拥有大数据的企业应该与学校联合培养人才。
挑战七:数据开放与隐私的权衡
在大数据应用日益重要的今天,数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用,不仅能促进相关产业的发展,也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划,系统之间缺乏统一的标准,形成了众多“信息孤岛”,而且受行政垄断和商业利益所限,数据开放程度较低,这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善,大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此,建立一个良性发展的数据共享生态系统,是我国大数据发展需要迈过去的一道砍。同时,开放与隐私如何平衡,也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私,逐步加强隐私立法,将是大数据时代的一个重大挑战。
大数据时代给信息安全带来的挑战
大数据时代给信息安全带来的挑战
在大数据时代,商业生态环境在不经意间发生了巨大变化:无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络,让以往只是网页浏览者的网民的面孔从模糊变得清晰,企业也有机会进行大规模的精准化的消费者行为研究。大数据蓝海将成为未来竞争的制高点。
大数据在成为竞争新焦点的同时,不仅带来了更多安全风险,同时也带来了新机遇。
一、大数据成为网络攻击的显著目标。
在网络空间,大数据是更容易被“发现”的大目标。一方面,大数据意味着海量的数据,也意味着更复杂、更敏感的数据,这些数据会吸引更多的潜在攻击者。另一方面,数据的大量汇集,使得黑客成功攻击一次就能获得更多数据,无形中降低了黑客的进攻成本,增加了“收益率”。
二、大数据加大隐私泄露风险。
大量数据的汇集不可避免地加大了用户隐私泄露的风险。一方面,数据集中存储增加了泄露风险,而这些数据不被滥用,也成为人身安全的一部分。另一方面,一些敏感数据的所有权和使用权并没有明确界定,很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。
三、大数据威胁现有的存储和安防措施。
大数据存储带来新的安全问题。数据大集中的后果是复杂多样的数据存储在一起,很可能会出现将某些生产数据放在经营数据存储位置的情况,致使企业安全管理不合规。大数据的大小也影响到安全控制措施能否正确运行。安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐,就会暴露大数据安全防护的漏洞。
四、大数据技术成为黑客的攻击手段。
在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时,黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息,比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息,大数据分析使黑客的攻击更加精准。此外,大数据也为黑客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻击,可能会同时控制上百万台傀儡机并发起攻击。
五、大数据成为高级可持续攻击的载体。
传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测,而高级可持续攻击(APT)是一个实施过程,无法被实时检测。此外,由于大数据的价值低密度特性,使得安全分析工具很难聚焦在价值点上,黑客可以将攻击隐藏在大数据中,给安全服务提供商的分析制造很大困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击,都会导致安全监测偏离应有方向。
六、大数据技术为信息安全提供新支撑。
当然,大数据也为信息安全的发展提供了新机遇。大数据正在为安全分析提供新的可能性,对于海量数据的分析有助于信息安全服务提供商更好地刻画网络异常行为,从而找出数据中的风险点。对实时安全和商务数据结合在一起的数据进行预防性分析,可识别钓鱼攻击,防止诈骗和阻止黑客入侵。网络攻击行为总会留下蛛丝马迹,这些痕迹都以数据的形式隐藏在大数据中,利用大数据技术整合计算和处理资源有助于更有针对性地应对信息安全威胁,有助于找到攻击的源头。
大数据时代即将来临,为什么没有黑客攻击阿里巴巴
肯定有,而且每天都有,只是没公开,至于攻击成效如何,大家不知道而已。
黑客是什么样的存在?
我觉得黑客是一个很有技术含量的一个职业。本他们比较的神秘并且今天一些计算机的黑客功能,所以我觉得她是很棒的一个神秘角色。
如何利用大数据来处理网络安全攻击
“大数据”已经成为时下最火热的IT行业词汇,各行各业的大数据解决方案层出不穷。究竟什么是大数据、大数据给信息安全带来哪些挑战和机遇、为什么网络安全需要大数据,以及怎样把大数据思想应用于网络安全技术,本文给出解答。
一切都源于APT
APT(Advanced Persistent Threat)攻击是一类特定的攻击,为了获取某个组织甚至是国家的重要信息,有针对性的进行的一系列攻击行为的整个过程。APT攻击利用了多种攻击手段,包括各种最先进的手段和社会工程学方法,一步一步的获取进入组织内部的权限。APT往往利用组织内部的人员作为攻击跳板。有时候,攻击者会针对被攻击对象编写专门的攻击程序,而非使用一些通用的攻击代码。此外,APT攻击具有持续性,甚至长达数年。这种持续体现在攻击者不断尝试各种攻击手段,以及在渗透到网络内部后长期蛰伏,不断收集各种信息,直到收集到重要情报。更加危险的是,这些新型的攻击和威胁主要就针对国家重要的基础设施和单位进行,包括能源、电力、金融、国防等关系到国计民生,或者是国家核心利益的网络基础设施。
现有技术为什么失灵
先看两个典型APT攻击案例,分析一下盲点在哪里:
1、 RSA SecureID窃取攻击
1) 攻击者给RSA的母公司EMC的4名员工发送了两组恶意邮件。邮件标题为“2011 Recruitment Plan”,寄件人是webmaster@Beyond.com,正文很简单,写着“I forward this file to you for review. Please open and view it.”;里面有个EXCEL附件名为“2011 Recruitment plan.xls”;
2) 很不幸,其中一位员工对此邮件感到兴趣,并将其从垃圾邮件中取出来阅读,殊不知此电子表格其实含有当时最新的Adobe Flash的0day漏洞(CVE-2011-0609)。这个Excel打开后啥也没有,除了在一个表单的第一个格子里面有个“X”(叉)。而这个叉实际上就是内嵌的一个Flash;
3) 该主机被植入臭名昭著的Poison Ivy远端控制工具,并开始自BotNet的CC服务器(位于 good.mincesur.com)下载指令进行任务;
4) 首批受害的使用者并非“位高权重”人物,紧接着相关联的人士包括IT与非IT等服务器管理员相继被黑;
5) RSA发现开发用服务器(Staging server)遭入侵,攻击方随即进行撤离,加密并压缩所有资料(都是rar格式),并以FTP传送至远端主机,又迅速再次搬离该主机,清除任何踪迹;
6) 在拿到了SecurID的信息后,攻击者就开始对使用SecurID的公司(例如上述防务公司等)进行攻击了。
2、 震网攻击
遭遇超级工厂病毒攻击的核电站计算机系统实际上是与外界物理隔离的,理论上不会遭遇外界攻击。坚固的堡垒只有从内部才能被攻破,超级工厂病毒也正充分的利用了这一点。超级工厂病毒的攻击者并没有广泛的去传播病毒,而是针对核电站相关工作人员的家用电脑、个人电脑等能够接触到互联网的计算机发起感染攻击,以此 为第一道攻击跳板,进一步感染相关人员的U盘,病毒以U盘为桥梁进入“堡垒”内部,随即潜伏下来。病毒很有耐心的逐步扩散,利用多种漏洞,包括当时的一个 0day漏洞,一点一点的进行破坏。这是一次十分成功的APT攻击,而其最为恐怖的地方就在于极为巧妙的控制了攻击范围,攻击十分精准。
以上两个典型的APT攻击案例中可以看出,对于APT攻击,现代安全防御手段有三个主要盲点:
1、0day漏洞与远程加密通信
支撑现代网络安全技术的理论基础最重要的就是特征匹配,广泛应用于各类主流网络安全产品,如杀毒、入侵检测/防御、漏洞扫描、深度包检测。Oday漏洞和远程加密通信都意味着没有特征,或者说还没来得及积累特征,这是基于特征匹配的边界防护技术难以应对的。
2、长期持续性的攻击
现代网络安全产品把实时性作为衡量系统能力的一项重要指标,追求的目标就是精准的识别威胁,并实时的阻断。而对于APT这种Salami式的攻击,则是基于实时时间点的检测技术难以应对的。
3、内网攻击
任何防御体系都会做安全域划分,内网通常被划成信任域,信任域内部的通信不被监控,成为了盲点。需要做接入侧的安全方案加固,但不在本文讨论范围。
大数据怎么解决问题
大数据可总结为基于分布式计算的数据挖掘,可以跟传统数据处理模式对比去理解大数据:
1、数据采样——全集原始数据(Raw Data)
2、小数据+大算法——大数据+小算法+上下文关联+知识积累
3、基于模型的算法——机械穷举(不带假设条件)
4、精确性+实时性——过程中的预测
使用大数据思想,可对现代网络安全技术做如下改进:
1、特定协议报文分析——全流量原始数据抓取(Raw Data)
2、实时数据+复杂模型算法——长期全流量数据+多种简单挖掘算法+上下文关联+知识积累
3、实时性+自动化——过程中的预警+人工调查
通过传统安全防御措施很难检测高级持续性攻击,企业必须先确定日常网络中各用户、业务系统的正常行为模型是什么,才能尽早确定企业的网络和数据是否受到了攻击。而安全厂商可利用大数据技术对事件的模式、攻击的模式、时间、空间、行为上的特征进行处理,总结抽象出来一些模型,变成大数据安全工具。为了精准地描述威胁特征,建模的过程可能耗费几个月甚至几年时间,企业需要耗费大量人力、物力、财力成本,才能达到目的。但可以通过整合大数据处理资源,协调大数据处理和分析机制,共享数据库之间的关键模型数据,加快对高级可持续攻击的建模进程,消除和控制高级可持续攻击的危害。
做大数据的人能知道别人的手机相册吗 ,手机相册里有身份证和银行卡照片 ,我怕信息泄露,
大数据不是黑客,他只是对你的互联网行为进行收集分析而已。你也不用担心你的资料泄露,除非你是很出名的人,或者有什么对某有钱人很关键的东西,否则你的资料一点都不值钱,拿来也没用
大数据时代的信息安全和未来展望
大数据时代的信息安全和未来展望
随着高级可持续性攻击的出现以及恶意软件的复杂性与日俱增,企业急需一种突破传统信息安全保障模式的、灵活的技术和方案来应对未来不断变化的安全威胁。大数据彻底的改变了信息安全行业,基于大数据分析的智能驱动型安全战略将帮助信息安全从业人员重获警惕性和时间的优势,以使他们更好地检测和防御高级网络威胁。
大数据时代信息安全面临挑战
在大数据时代,无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络使得互联网时时刻刻都在产生着海量的数据。随着产生、存储、分析的数据量越来越大,在这些海量数据背后隐藏着大量的经济与政治利益。大数据如同一把双刃剑,在我们享受大数据分析带来的精准信息的同时,其所带来的安全问题也开始成为企业的隐患。
1、黑客更显著的攻击目标:在网络空间里,大数据是更容易被“发现”的大目标。一方面,大数据意味着海量的数据,也意味着更复杂、更敏感的数据,这些数据会吸引更多的潜在攻击者。另一方面,数据的大量汇集,使得黑客成功攻击一次就能获得更多数据,无形中降低了黑客的攻击成本,增加了其“收益率”。
2、隐私泄露风险增加:大量数据的汇集不可避免地加大了用户隐私泄露的风险。一方面,数据集中存储增加了泄露风险,而这些数据不被滥用,也成为人身安全的一部分。另一方面,一些敏感数据的所有权和使用权并没有明确界定,很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。
3、威胁现有的存储和防护措施:大数据存储带来新的安全问题。数据大集中的后果是复杂多样的数据存储在一起,很可能会出现将某些生产数据放在经营数据存储位置的情况,致使企业安全管理不合规。大数据的大小也影响到安全控制措施能否正确运行。安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐,就会暴露大数据安全防护的漏洞。
4、大数据技术成为黑客的攻击手段:在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时,黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息,比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息,大数据分析使黑客的攻击更加精准。此外,大数据也为黑客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻击,可能会同时控制上百万台傀儡机并发起攻击。
5、成为高级可持续攻击的载体:传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测,而高级可持续攻击(APT)是一个实施过程,无法被实时检测。此外,由于大数据的价值低密度特性,使得安全分析工具很难聚焦在价值点上,黑客可以将攻击隐藏在大数据中,给安全服务提供商的分析制造很大困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击,都会导致安全监测偏离应有方向。
6、信息安全产业面临变革:大数据的到来也为信息安全产业的发展带来了新的契机,还没有意识到这场变革的安全厂商将在这场变革大潮中被抛弃。大数据正在为安全分析提供新的可能性,在未来的安全架构体系中,通过大数据智能分析有效的将原来分割的安全产品更好的融合起来,成为不同的安全智能节点,这将是在大数据时代安全产业需要研究突破的重点。
大数据安全未来趋势展望
据MacDonald预测,到2016年,40%的企业(银行、保险、医药和国防行业为主)将积极地对至少10TB数据进行分析,以找出潜在危险的活动。然而,供应商的产品格局却无法在短期内进行转变。现在,企业通常依赖于SIEM系统来关联和分析安全相关的数据,MacDonald表示目前的SIEM产品无法处理这么大的工作量,大多数SIEM产品提供接近实时数据,但只能处理规范化数据,还有些SIEM产品能够处理大量原始交易数据,但无法提供实时情报信息。
Gartner公司分析师表示,使用“大数据”来提高企业信息安全不完全是炒作,这在未来几年内这将成为现实。大数据将为安全团队带来新的工作方式,通过了解大数据的优势、制定切合实际的目标以及利用现有安全技术的优势,安全管理人员将会发现他们在大数据进行的投资是值得的。
RSA大中国区总经理胡军表示,“大数据将带动安全行业方向性的改变,安全与数据互相影响,未来共同促进发展。现今的安全需要更全面和广泛的可视性,敏捷的分析,可采取行动的情报和可扩展的基础设施。”
我们可以看到,大数据安全已经成为不可阻挡的趋势。在未来,不论是从商业需求角度,还是产业技术角度,大数据安全都将成为业界关注的热点。而在这场大数据安全的盛宴中,也必然会出现新老更替、推陈出新,这一切就让我们拭目以待吧!