大数据架构师指南
上QQ阅读APP看书,第一时间看更新

序二
Preface Two

数据并不是一个新概念,几千年来我们一直在利用数据。但数据的价值,特别是大数据的价值,最近几年才成为公众关注的焦点,是有其时代背景的。

就如同石油在几千年前就被发现了,但是其用途一直是作为日常生活或战争中的燃料,并不是特别重要的战略物资。只有内燃机被发明后,石油才成为最重要的动力能源,在最近的一百年才成为战略物资。

数据也一样。传统的数据库技术,在数据处理的能力上都有很大的局限性,超过100T这个量级,要么是处理效率急剧降低,要么是系统成本上升到难以接受的昂贵程度。所以,在大数据时代之前,数据在生产系统中的使用目的往往是单一的、即时的。大量的历史数据与过程数据,按照当时的IT技术,既无法存储,更无法处理。那些被备份到磁带机上的数据,大部分都成为死亡的数据化石。

当前大数据处理的技术,特别是云存储与云计算技术的成熟应用,为大数据的存储与处理提供了技术可能性。企业可以利用生产系统以及管理系统中产生的大量数据,对海量的数据进行存储、挖掘分析。一方面可以对生产活动进行更为准确的预测与指导,从而提高企业生产活动的准确性;另一方面还可以通过对数据价值的挖掘,产生新的业务,帮助企业充分开发数据的价值。政府也可以利用大数据来提高管理水平和效率。

2014年Gartner发布的HypeCycle曲线中,大数据技术已经越过炒作顶点。从HypeCycle曲线来看,越过炒作顶点的技术,往往是已经满足技术可行性的技术。技术进展并辅以商业模式创新,大数据在部分细分市场已经具备商业可行性,可以为企业的现在与未来带来收益。

2015年8月国务院发布了《促进大数据发展行动纲要》,将大数据的应用与落地提升到国家层面。在这种背景下,当前大数据系统建设出现一波高潮。商业级的大数据系统建设周期长,复杂度高,资金投入量大,所以需要合理的系统架构以应对未来业务需求的变化。由于业界大数据系统的建设刚起步,当前阶段急需对相关的系统架构知识以及实际项目建设经验进行共享,提升业界的整体建设水平。

纵观当前业界大数据相关的书籍,偏重于两大类型。其一是偏重于大数据理念,描绘大数据前景,说明大数据可以有哪些应用;其二是偏重于大数据基础知识,偏重于实际的编程与开发。

但在大数据项目的实际建设过程中,架构师在进行端到端方案设计时,需要对大数据庞大的知识体系进行总揽性把握,并辅以实际项目的经验,才有可能把握此类系统的关键需求与要点。而此类的知识与经验,业界分享较少,只能通过各类交流活动才能获取,不仅费时费力,而且还很难将这些知识系统化。

中兴通讯作为业界知名企业,在大数据研发上投入大量资源,并具备丰富的实际工程经验。本书不仅针对大数据知识进行系统化概述,并且将实际大型项目的经验进行总结。这种无私分享的宝贵经验,正是业界所亟需的,对大数据从业者具备较好的参考价值。相信本书分享的知识与经验,对推动大数据应用与落地起到积极的促进作用。

中兴通讯股份有限公司董事长兼总裁