1.1.2　数据大爆炸

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。一些分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百甚至数千的电脑分配工作。

最早提出“大数据”时代到来这一概念的是全球知名咨询公司麦肯锡（McKinsey & Company），麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通信等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据或为云计算之后IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和平台，而数据才是真正有价值的资产。企业内部的经营交易信息、互联网世界中的商品物流信息，互联网世界中的人与人交互，人与智能机器人交互的信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，大数据具有高容量、高速度、多类型等“3V”的特点，所以它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化等技术。大数据的价值包括数据的管理、数据的扩充、数据的呈现三个层面。

关于大数据的特征，业内人士表示，可以用很多词语来表示。比较有代表性的即为2001年DougLaney最先提出“3V”模型，包括数量（Volume）、速度（Velocity）和种类（Variety）。除此之外，在3V的基础上又提出了一些新的特征。关于第四个V的说法不一，IDC 认为大数据还应当具有价值性（Value），大数据的价值往往呈现出稀疏性的特点。而IBM 认为大数据必然具有真实性（Veracity）。维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。如今，业内人士已经将其扩展到了11个V，包括有效性、可见性等。

下面就目前使用最多的“4V”模型进行分析。“4V”特征主要体现在以下方面。

1．规模性（Volume）

Volume指的是数据巨大的数据量以及其规模的完整性。数据的存储TB扩大到ZB。这与数据存储和网络技术的发展密切相关。数据的加工处理技术的提高，网络宽带的成倍增加，以及社交网络技术的迅速发展，使得数据产生量和存储量成倍增长。

2．高速性（Velocity）

Velocity主要表现为数据流和大数据的移动性，现实中则体现在对数据的实时性需求上。随着移动网络的发展，人们对数据的实时应用需求更加普遍，比如通过手持终端设备关注天气、交通、物流等信息。高速性要求具有时间敏感性和决策性的分析——能在第一时间抓住重要事件发生的信息。

3．多样性（Variety）

Variety指有多种途径来源的关系型和非关系型数据。这也意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代，各种设备通过网络连成了一个整体。进入以互动为特征的Web 2.0时代，个人计算机用户不仅可以通过网络获取信息，还成为了信息的制造者和传播者。这个阶段，不仅是数据量开始了爆炸式增长，数据种类也开始变得繁多。

4．价值性（Value）

Value体现出的是大数据运用的真实意义所在。其价值具有稀缺性、不确定性和多样性。“互联网女皇”Mary Meeker在2012年互联网发展趋势中，用一幅生动的对比图像来描述大数据，如图1-3所示。一张是整整齐齐的稻草堆，另外一张是稻草中缝衣针的特写。寓意通过大数据技术的帮助，可以在稻草堆中找到你所需要的东西，哪怕是一枚小小的缝衣针。这两幅图揭示了大数据技术一个很重要的特点，即价值的稀疏性。

图1-3　稻草堆与缝衣针