1.2 大数据带来的变革
大数据时代已经到来,认同这一判断的人越来越多。那么大数据意味着什么,它到底会改变什么?仅仅从技术角度回答,已不足以解惑。我们需要把大数据放在人的背景中加以透视,理解它作为时代变革力量的所以然。
1.对价值的变革
未来十年,决定一个国家是不是有大智慧的核心是国民幸福。一体现在民生上,二体现在生态上,通过大数据让有意义的事变得明晰,看我们在人与人的关系上做得是否比以前更有意义。总之,让我们从前十年的意义混沌时代,进入未来十年的意义明晰时代。
2.对经济的变革
生产者是有价值的,消费者是价值的意义所在。有意义的才有价值,消费者不认同的,就卖不出去,就实现不了价值;只有消费者认同的,才卖得出去,才能实现价值。大数据帮助我们从消费者这个源头识别意义,从而帮助生产者实现价值。这就是启动内需的原理。
3.对组织的变革
随着具有语义网特征的数据基础设施和数据资源发展起来,组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。最先反映这种结构特点的,是各种各样去中心化的Web 2.0应用,如RSS、维基、博客等。大数据之所以成为时代变革力量,在于它通过追随意义而获得智慧。
4.对思维的变革
在舍恩伯格的《大数据时代:生活、工作与思维的大变革》一书中指出,大数据时代对社会的最大影响就是对人们思维方式的3种转变,即:
(1)全样而非抽样;在过去,由于缺乏获取全体样本的手段,人们发明了“随机调研数据”的方法。理论上,抽取样本越随机,就越能代表整体样本。但问题是获取一个随机样本代价极高,而且很费时。人口调查就是典型一例,一个稍大一点的国家甚至做不到每年都发布一次人口调查,因为随机调研实在是太耗时耗力了。但有了云计算和数据库以后,获取足够大的样本数据乃至全体数据,就变得非常容易了。谷歌可以提供谷歌流感趋势的原因就在于它几乎覆盖了7成以上的北美搜索市场,这些数据完全没有必要抽样调查,所有记录都在那里等待人们挖掘和分析。
(2)效率而非精确;过去使用抽样的方法,就需要在具体运算上非常精确,因为所谓“差之毫厘便失之千里”。设想一下,一个总样本为1亿人随机抽取1000人,如果在抽取的1000人中运算出现错误的话,那么放大到1亿人会有多大的偏差。但全样本时,有多少偏差就是多少偏差而不会被放大。谷歌人工智能专家诺维格,在他的论文中写道:大数据基础上的简单算法比小数据基础上的复杂算法更加有效。数据分析的目的并非仅仅就是数据分析,而是有其他用途,故而时效性也非常重要。精确的计算是以时间消耗为代价的,但在小数据时代,追求精确是为了避免放大的偏差而不得已为之。但在样本=总体的大数据时代,“快速获得一个大概的轮廓和发展脉络,就要比严格的精确性重要得多”。
(3)相关而非因果。相关性表明变量A和变量B有关,或者说A变量的变化和B变量的变化之间存在一定的正比(或反比)关系。但相关性并不一定是因果关系(A未必是B的因)。亚马逊的推荐算法非常有名,它能够根据消费记录告诉用户可能会喜欢什么,这些消费记录有可能是别人的,也有可能是该用户历史上的。但它不能说出你为什么会喜欢的原因。难道大家都喜欢购买A和B,就一定等于你买了A之后就是买B吗?未必,但的确需要承认,相关性很高——或者说,概率很大。舍恩伯格认为,大数据时代只需要知道是什么,而无须知道为什么,就像亚马逊推荐算法一样,知道喜欢A的人很可能喜欢B但却不知道其中的原因。