四、大数据应用
(一) 大数据应用机遇
商业生态环境在不经意间发生了巨大变化。无处不在的智能终端、随时在线的网络传输,让以往只是网页浏览者的网民面孔从模糊变得清晰,企业也有机会进行大规模精准化的消费者行为研究。这正在促生新的蓝海,催生新的经济增长点。总的来讲,带来的机遇有以下几点。
1. 大数据的挖掘和应用成为核心,为企业探寻新的战略机遇带来了契机
大数据的重心从存储与传输过渡到数据的挖掘与应用,这将深刻影响企业的商业模式,既可直接为企业带来盈利,也可以通过正反馈为企业带来难以复制的竞争优势。一方面,大数据技术可以有效地帮助企业整合、挖掘、分析其所掌握的庞大数据信息,构建系统化的数据体系,完善企业自身的结构和管理机制。另一方面,伴随消费者个性化需求的增长,大数据在各个领域的应用逐步显现,已经开始并正在改变大多数企业的发展途径及商业模式。
2. 对大数据的处理和分析成为新一代信息技术应用的支撑点
移动互联网、物联网、数字家庭、电子商务等是新一代信息技术的应用形态,这些技术以大数据为节点,不断汇集所产生的信息,并通过对不同来源数据的统一性、综合性的处理、分析与优化,将结果反馈或交叉反馈到各种应用中,进一步改善用户的使用体验,创造出巨大的商业价值、经济价值和社会价值。因此,这些技术具有催生社会变革的能量,但是释放这种能量,需要更严谨的数据治理、富有洞见的数据分析和激发管理创新的环境。
3. 大数据的商业价值和市场需求成为推动信息产业持续增长的新引擎
随着行业用户对价值认可程度的增加,市场需求将出现井喷,面向市场的新技术、新产品、新服务、新业态会不断涌现。这将为信息产业创建一个高增长的新市场:在硬件与集成设备领域,面临的有效存储、快速读写、实时分析等挑战,将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理、内存计算等市场;在软件与服务领域,其中蕴涵的巨大价值,带来对数据快速处理和分析的迫切需求,将引发商业智能市场的空前繁荣。
4. 大数据安全更加重要,为信息安全带来发展契机
大数据在给IT产业带来变革的同时,也使信息安全变得更加复杂,各种新威胁、新挑战层出不穷,安全事件发生的频率更高、损失更大。但是,对大数据的行为分析和动态感知也为数据安全提供了新的可能性,为信息安全的发展带来了新契机。大数据与信息安全的整合贯穿于产业链的各环节,由于信息安全细分领域较多,因此该领域的未来发展前景较广。
(二)大数据带来的挑战
大数据在带来众多机遇的同时,也带来了不可忽视的一系列挑战。
1. 外部业务需求的数据转换
由移动智能终端、物联网、云计算引发的大数据趋势,不仅改变了人们的生活方式,也要求企业重新考虑原来的运作模式,以数据驱动满足新的外部业务需求。但是,通常业务管理人员和后台技术人员使用的语言是不同的。业务管理人员会加入自己领域的术语和解释,技术人员会从系统实现的角度解释需求,两者的转换较为困难。因此,需要了解面向业务级的数据应用,针对不同业务部门的具体需求,统一业务语义模型和数据逻辑建模,根据需求合并、汇总业务数据,适应业务分析、挖掘和查询需求的变化。
2. 大数据技术运用仍存在困难
在实际生产中,有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性上,难以用传统的方法描述与度量。而现有的数据处理方法仅适用于结构化数据,无法将大量的非结构化数据与结构化数据进行统一、整合。如何对跨业务平台的数据进行关联,并全面实时地给出分析结果,也是大数据技术面临的一个挑战。
3. 用户隐私与便利性的冲突
通过对大量用户数据的分析,可以有效提高用户服务质量。但是,搜集的用户数据成为一个具有价值的整体,无论是用户隐私还是数据本身,都成了具有争议的灰色地带。例如,华尔街一位股票炒家利用电脑程序分析全球3.4亿微博账户的留言,以此判断民众情绪。这使提供数据的众多微博用户成了被利用的对象。因此,如何在挖掘数据价值和个人隐私保护之间寻求平衡,防止数据窃取、非法添加或篡改等情况的出现,是大数据需要解决的另一个难题。
4. 数据安全风险更加凸显
大数据的发展需要加大信息的开放程度,设计出新的信息收集设备,并为海量数据的存续和分析提供支持。数据存储和应用方式出现新的变化,可能带来的副作用是:IT基础架构将变得越来越一体化和外向型,对数据安全和知识产权构成更大风险。若企业不了解大数据内涵,则其风险成本将大为增加。因此,企业需要关注完整的数据生命周期,包括数据质量、数据保留度、数据整合、数据安全性和信息隐私等内容。
5. 数据分析与管理人才紧缺
企业、组织、政府需要大量既精通业务又能进行大数据分析的人才。研究表明,在美国对拥有海量数据分析(包括机器学习和高级统计分析)技能人才的需求,可能超出预测供应量的50%—60%。因此,如何培养大量大数据分析人才是当务之急,这对现有人才培养机制提出了新的挑战。
(三) 大数据应用领域
大数据应用从领域视角看,大致分为企业、政府和科学研究三大领域,具体涉及的领域和行业有:公共医疗卫生、食品安全、终身教育、智慧交通、公共安全、国家安全、科技服务、金融证券、互联网、数字生活、公共设施、制造和电力等。
1. 大数据在企业的应用
企业大数据应用包括数据分析、业务处理、商业化服务等,通过搭建数据交换平台,实现数据的内部流转、外部共享,实现商业价值最大化。
2. 大数据在政府机构的应用
大数据应用在以下几个方面可以进一步协助发挥政府机构的职能作用:
(1) 重视应用大数据技术,盘活各地云计算中心资产:把原来大规模投资产业园、物联网产业园从政绩工程改造成智慧工程;
(2) 在安防领域,应用大数据技术,提高应急处置能力和安全防范能力;
(3) 在民生领域,比如医疗、卫生、教育等部门,应用大数据技术,提升服务能力和运作效率,并提供个性化的服务;
(4) 解决在金融、电信等领域中数据分析的问题。金融、电信等领域的数据分析一直得到得极大的重视,但受困于存储能力和计算能力的限制,只局限在交易数型数据的统计分析。
3. 大数据在科学研究领域的应用
大数据带来的无限可能性正在改变科学研究。大数据将在科学研究和社会生活等领域“发挥不可估量的作用”。“数据为王”的大数据时代已经到来,科学研究战略也发生了重大转变,如计算机行业正在转变为真正的信息行业,从追求计算速度转变为追求大数据处理能力,软件也将从以编程为主转变为以数据为中心。采用大数据处理方法,生物制药、新材料研制生产的流程会发生革命性的变化,可以通过数据处理能力极高的计算机并行处理,同时进行大批量的仿真、比较和筛选,大大提高科研和生产效率。数据已成为与矿物和化学元素一样的原始材料,未来可能形成“数据探矿”“数据化学”等新学科和新工艺模式。大数据处理的兴起也将改变云计算的发展方向,云计算正在进入以“分析即服务”(Analysis as a Service, AaaS)为主要标志的Cloud 2.0时代。