第一章 地理空间大数据的内涵
第一节 有关概念和理论
一、地理空间大数据的内涵介绍
在大数据技术对地理信息产业的影响下,通过地理信息采集的大数据化,实现了大数据技术与传统的地理信息技术的有效融合,从空间数据库到大数据,从辅助型GIS到知识发掘型GIS,逐步演变为广泛意义上的地理空间大数据。地理空间大数据的基本内涵如下。
(一)地理信息采集的大数据化
随着大数据技术的不断更新与提升,传统的地理信息大数据正在通过更加安全、规范的方式得到搜集、应用和推广。在新旧技术的结合下,通过探测和遥感所产生的数据、历史数据和“过时的”数据,经过合理的技术处理和完善,实现了大量数据的乘数式增长,产生了源源不断的数据流,形成了有重要应用价值的地理空间大数据池。
同时,随着数据采集途径的不断增加,地理信息数据出现并被获取的速度在加快,频率在提升,数据内容在不断丰富。在射频技术、传感器技术、卫星导航技术、摄影技术的基础上,在社交网络和平台不断深化应用的推动下,产生了大量实时的个人数据、行业数据,形成了地理空间信息的聚集化发展趋势。
(二)从空间数据库到地理信息大数据
空间数据库作为专用型数据库,特点在于采用二维表结构的技术,将空间元素的坐标数据置于属性字段中,基于空间元素的几何特征进行分类,针对空间数据的特性进行有限存储,建立面向对象的关系型空间数据库,实现对结构化空间数据的有效操作和管理。
二、地理空间大数据的类型和特点
(一)地理空间大数据信息系统数据类型
地理信息系统(Geographic Information System或Geo-Information System, GIS)包含的数据,分为基础空间大数据和非空间大数据。基础空间大数据是指GIS系统中存储、传输的空间数据、专题数据;非空间数据是指数据的请求、命令等。
从地理空间信息的数据源来看,地理空间大数据可以划分为:地图数据,专题数据,相关文本、声音、图像、视频等多媒体数据,标图数据,客户请求命令,用户的身份、口令、互联网协议地址(Internet Protocol Address, IPA),服务器通知等。
(二)地理空间大数据的特点
和其他类型的大数据相比较,地理空间大数据比一般信息数据更为复杂。具体表现为:
(1)数据类型多样。既有属于地图数据的几何数据、属性数据和空间关系数据、地图数据元数据,也有非地图数据如文本、图片,甚至还有命令、请求等数据。
(2)数据操作流程复杂。地图数据的操纵不但需要一般的数据检索、修改等功能,而且还需要一些特有的检索方式,如定位检索、拓扑关系检索等。
(3)多途径数据输出方式。除具体数据的表现形式外,还可以通过报表、图形等输出。
(4)数据存储空间巨大。地图数据来源多样,除测量、统计数据、文字资料之外,还有地图、遥感图像等图形图像数据,这些数据需要巨大的存储空间。
三、地理空间大数据的核心技术与应用
对于未来地理空间大数据技术的发展,专家学者们已经提出诸多观点。美国科学院地理信息科学院院士Michael F·Goodchild在如下几个方面陈述观点:①GIS应用将会从室外走进室内;②需要更有效的室内定位方法。要实现上述目标,必须有新信息通信技术的强力支撑。云计算、物联网和移动互联网这些新技术的兴起,为地理空间大数据的发展提供了强有力的技术支撑;另外,地理空间大数据的发展为这些新技术提供了新的应用背景和巨大的发展机遇。
云计算、物联网和移动互联网等新型网络技术环境下,实现地理空间大数据的共享,能够极大地加快地理空间大数据和其他领域信息的共通,加快数据应用平台的建设,拓宽大数据的应用领域;同时,地理空间大数据的广泛应用,可以推动思维方式的转变和认知的提升。地理空间大数据成为普通民众生活的一部分,其现实应用正在逐步改变人们的生活方式。
(一)云计算和虚拟化技术
云计算是一种新型计算模式,在云计算环境下,通过整合分布式资源,构建应对多种服务要求的计算环境,满足用户定制化要求。云计算以资源租用、应用托管、服务外包为核心,通过网络访问,按使用量付费的模式,实现对资源的共享及高效利用。
1.云计算的特征及应用优势
1)云计算的特征
云计算的典型特征表现为:
——使用者选择的自主性。用户可以根据具体的需求来做出判断。
——网络访问的便利性。
——数据资源的聚集性。提供服务的一方,可以通过专业优势,汇集数据并进行资源最优配置。
——实现计量付费服务。云系统利用一种计量功能来自动调控和优化资源利用,根据不同的服务类型按照合适的度量指标进行计量。
——资源匹配的灵活性。云计算可以根据客户的个体需求,实现资源的按需提供。
——技术的公开性。云计算的技术对于最终用户是透明的。
——服务的可靠性和有效性。这也是云计算的基本功能,在发展中不断改进和优化。
云计算的核心特征在于弹性,可以实现规模经济,在带来安全方面优点的同时也引起安全方面的顾虑。但事实证明,云设施的安全性比大多数传统IT设施更高,管理也更加专业。相对于传统模式,在云模式下整个企业能很容易地直接达到这种安全性。云计算的这些特征使其极大地提高了用户体验度,同时具有极低的成本。
2)云计算的层次结构
云计算之所以具有上述特征,是由其层次结构决定的。从不同角度,云计算可以分成不同类别。按照服务模式的分类如图1-1所示。
图1-1 云计算服务模式
按照部署模式,云计算可以分为3种模式:公共云、私有云、混合云。服务模式如图1-2所示。
图1-2 添加注释的云计算服务模式
2.云计算发展的国际比较
云计算市场呈现全球化发展的趋势。截至2016年,阿里云在全球一共布置了14座超大规模数据中心,腾讯云有3座海外数据中心,亚马逊有8座数据中心。从市场份额来看,根据美国市场研究机构Synergy Research的最新数据显示,亚马逊AWS是全球云服务的第一大巨头,从2006年开始,面向全世界范围内的用户提供专门的计算服务平台和整套的云计算服务,亚马逊AWS在公共云市场上始终保持前位,2014—2016年市场占有率分别为28%、31%、40%,远高于微软、谷歌和IBM等。2009年9月,阿里巴巴宣布成立了一家专门从事云计算业务的公司——“阿里云”;我国三大电信运营商也纷纷投身云计算平台搭建,有的运营商还成立了大数据公司(事业部)。
在政府层面,各国政府高度重视云计算并积极推进在各个领域的应用。美国联邦政府通过建立网站Apps.gov,作为云计算应用的平台,并于2011年2月发布了《联邦云计算战略》文件。英国政府在云计算方面开展了全面的部署,从2009年开始,着手建立覆盖所有政府部门的云计算网络G-Cloud。日本政府通过制定“有效利用信息技术,开创云计算新产业”的国家发展战略,积极推动云计算的全面发展。2017年1月,韩国科学、信息和通信技术及未来规划部表示,政府制订了3年计划,计划于2016年至2018年间在公共部门采用云计算技术,以节省3700亿韩元。通过在农业和造船等各种工业领域使用云计算技术,扩展云计算的应用范围,从而带动该市场的发展。
中国政府高度重视云计算产业发展。国家有关部门专门组织国家科技重大专项研究,以推动云计算技术和产业的健康发展。2015年1月,国务院印发《关于促进云计算创新发展培育信息产业新业态的意见》(国发〔2015〕5号)文件,提出要加快发展云计算,打造信息产业新业态,推动传统产业升级和新兴产业成长,培育形成新的增长点,促进国民经济提质增效升级。2017年3月,工业和信息化部印发了《云计算发展三年行动计划(2017—2019年)》文件,促进云计算健康快速发展。
3.云计算与地理空间大数据
地理空间信息往往需要大量的数据存储和高效的计算资源,但从现实来看,依然存在基础数据量虽然庞大,但更新频度低、并发访问数据量大,缺乏统一标准等问题。因此,地理空间信息有必要应用云计算技术,由此激发地理空间信息在海量数据存储、大规模计算、深度数据挖掘方面的优势。
地理空间大数据应用的特点非常适合采用云计算模式:首先,地理空间大数据的来源相对集中,使用群体广泛;其次,地理空间基础数据庞大,需要合理的储存方式,以便进行数据挖掘和应用;最后,地理空间大数据并发用户规模较大,使用频次低,需要采用云计算的相关处理技术。
根据国内外的发展来看,基于云计算的地理空间大数据系统建设已初具雏形,如Google Earth、Google Moon和Google Mars, ArcGIS Online、ArcGIS10.1, SuperMap GIS 6R, MapGIS K9 SP3, GeoCloud等系统,已经得到广泛应用和推广。
(二)物联网技术
1999年,MITAuto ID Center较早将“物联网”定义为:在计算机互联网的基础上,利用射频识别技术(Radio Frequency Identification, RFID)、无线数据通信等技术,构造一个覆盖世界上万事万物的网络(Internet of Things, IoT),以实现物品的自动识别和信息的互联共享。物联网就是基于互联网的物品与物品之间的信息交换,是物物相连的延伸和扩展的互联网。
物联网涉及大量的相关技术,包括无线通信技术;数据采集技术及设备,如传感器;数据处理技术;智能终端技术,如常见的模拟人的思维的人工智能技术;数据存储技术,如云计算等。
1.物联网的特征及应用优势
1)物联网的特征
物联网具备三个特征:一是全面感知,即利用RFID、传感器、二维码等设备随时随地获取物体的信息;二是可靠传递,通过各种传感网络与互联网的融合,将物体当前的信息实时准确地传递出去;三是智能处理,利用云计算、模糊识别等各种智能计算技术,对海量数据和信息进行分析和处理,对物体实施智能化控制。
2)物联网的层次结构
物联网之所以具有上述特征,是由其层次结构决定的。如图1-3所示,物联网的三个层次是,最底层用来感知数据的感知层,传递和处理感知层获取信息的网络层,完成数据管理和处理的最上层,即应用层。
图1-3 物联网的层次结构
2.物联网发展的国际比较
为寻找新的经济增长点,推动科技进步,各国政府对物联网及相关技术的发展给予了高度重视。日本2004年提出“u-Japan”战略,推动物联网的全面发展;2015年10月成立了物联网IoT推进联盟,推动物联网技术的开发和应用。2006年,韩国政府推出了“u-Korea”计划,倡导智慧服务,全面推广物联网的发展;2009年出台了《物联网基础设施构建基本规划》,激发物联网的潜在动能;2014年,韩国正式发布《物联网基本规划》,并在当年下半年制定了物联网科研战略,设立了物联网实证中心,启动由九大机构协同开展的“物联网实证项目”等。2009年欧盟执委会启动了欧洲物联网行动计划,2015年5月,欧盟通过“单一数字市场(Digital Single Market)策略”,推广物联网发展的技术和标准;在提出的“欧洲产业数字化(Digitising European Industry)新措施”里,将“建构物联网的单一市场、强力发展物联网生态系统、深化以人为中心的物联网”作为发展方向;有数据显示,从2014年至2017年,欧盟共投资了1.92亿欧元,用于物联网的研究和创新。
在奥巴马执政期间,美国将新能源和物联网列为振兴经济的两大重点。2016年3月,美国在线信任联盟(The Online Trust Alliance, OTA)发布了《物联网信任框架》,作为物联网设备开发商、采购商和零售商的产品开发与风险评估指南,并于2017年1月进行了更新;2016年,几家巨头企业提出“国家物联网战略对话”倡议,适逢美国新“物联网”商业局的成立和两院两党即将签署“物联网的发展创新与成长行动”。2017年5月,美国总统特朗普签署13800号总统行政令——《加强联邦网络和关键基础设施的网络安全》,并于当年6月发布,征求评议文件《促进利益相关者对僵尸网络和其他自动威胁的行动》,探讨应对物联网安全尤其是僵尸网络分布式拒绝服务(Distributed Denial of Service, DDoS)攻击威胁的相关建议。
中国重视物联网的发展并将其作为战略性新兴产业。在《“十二五”规划纲要》中明确提出,要推动物联网关键技术研发和重点领域的应用示范。“十三五”时期,我国物联网发展面临“跨界融合、集成创新和规模化发展”的新阶段。根据Wind数据显示,2009年至2014年,我国物联网行业市场规模复合年均增长率(Compound Annual Growth Rate, CAGR)达到27.1%;前瞻产业研究院发布的《中国物联网行业应用领域市场需求与投资预测分析报告》预计,到2018年,物联网行业市场规模将超过1.5万亿元,CAGR将超过30.0%。在新的国际背景下,我国物联网将面临前所未有的发展机遇。
未来物联网产业发展有如下趋势。
1)物联网应用市场巨大
在全球物联网不断发展的过程中,各国积极部署国际战略,不断开发相关技术和标准,推广相关应用和服务,全球物联网市场规模呈现递增趋势。据有关研究显示,在相关技术的推动下,正在涌现出越来越多的实用性应用产品,预计到2020年,全球物联网整体市场规模将达到11000亿美元。
2)物联网标准体系渐进完善
物联网产业标准体系涵盖面广,涉及众多技术、众多行业、众多领域,通过行业标准带动关键技术标准,将逐步形成符合市场规范的标准化体系。
3)物联网产业集群发展
物联网概念提出以后,随着全球公共治理、管理体制的不断完善,逐步形成了统一的应用服务市场,应用解决方案更加贴近消费者的需求;同时,在相关产业的发展过程中,出现了大量上、中、下游企业的聚集,核心技术开发层出不穷,相对成熟的物联网产业链条在不断延长。
4)物联网公共技术平台将成为发展主流
随着行业应用的逐渐成熟,将逐步形成统一的数据接口和标准,从而支持不同设备和互联协议,大量具有相似特性的技术服务平台逐步集成化,越来越多的物联网技术平台的通用性将不断增强,成为未来发展的主流趋势。
3.物联网与地理空间信息
物联网的建设为地理空间信息技术提供了巨大的发展机遇。当前,物联网网络系统规模是互联网的30倍,甚至更多。在未来,地理空间信息技术应用的广度和深度将不可估量。地理空间信息技术也为物联网提供了关键性的技术支撑。物联网感知物品信息时,需要感知其物品的位置存在等空间信息,这就可以借助地理信息系统的工业化标准平台来高效地进行处理。物联网对信息的存储和管理手段在不断更新,从而可以提升对空间和非空间数据的分析挖掘能力,进一步强化物联网应用的信息管理水平,对我国大力发展物联网建设将大有裨益。地理空间信息技术可以在以下6个方面促进物联网的发展。
1)精确导航与定位服务
智能管理作为物联网的特征之一,对所有入网互联的“物”进行跟踪和准确定位,需要精准的定位技术。卫星导航系统具有实时三维导航与定位能力,能够快速、高效、准确地提供精确三维坐标、精确目标导向和地理定位信息。卫星导航信息广泛应用于军事和民用领域,如:智慧城市、精准农业,智慧交通和智能物流。它为地理空间信息数据提供翔实、关键的内容。全球定位系统(Global Positioning System, GPS)是当前全球导航定位的主要信息服务系统。
2)准时、实时数字图像处理
准时、实时数字图像、全面感知是物联网的另一个重要特征。在大面积监测地理目标时,对地观测卫星系统可以直观、动态、快速响应,并可提供遥感图像、电磁信号等卫星遥感信息,它以更高的分辨率和更快的响应速度来构成地球空间信息的重要数据源。在军事、科技、城市规划管理与监测、国土测绘与监测、气象观测与服务、地质勘探与考察、环境监测与防灾减灾、海洋监测、农林牧副渔监测等众多领域有着广泛应用。
3)准确气象服务
物联网的重要组成部分包括数字化网格城市、智能农业、智能家庭和智能气象服务。通过智能气象服务终端(IMST)、智能气象服务中心(IMSC)组成的智能气象服务系统,可实现全面信息数据的共享共通,通过智能化地分析用户的需要,可最大限度地实现数据应用,提供满足用户需要的或潜在需要的气象服务。
4)远程通信服务
卫星通信是实现物联网可靠传递特性的保证之一。卫星通信的优势在于覆盖范围广,不受地理条件限制,可以在国际国内通信、宽带多媒体通信、移动通信和广播电视等领域广泛应用;频带宽、容量大、性能稳定,适用的领域较为宽泛,通过提供远程通信服务,可实现卫星通信网、地面电信网、计算机网络和有线电视网络的互联互通,多方面提供信息和应用成果。
5)资源与环境监测
地球资源与环境监测也是物联网应用的一个重要领域。通过利用地球资源卫星,借助电荷藕合器件图像传感器(Charge Coupled Device, CCD传感器)、光学或微波成像仪、红外扫描仪及其他设备,提供资源与环境监测的服务,有效获取环境和灾害信息,为应对环境与资源问题、解决相关民生问题,提供全面的数据来源,科学辅助国家政策、专项政策的制定与执行。
6)精确作战信息服务
物联网时代,可视化的数字战场将成为竞争的核心要素,通过卫星系统及其星载传感器,搜集精准、实时的数据,构建全方位、全频谱、全时域的多维侦察监视预警和指挥控制体系。
随着相关网络技术的发展,地理空间大数据的技术将不断完善,辅之以物联网的发展,将发挥积极有效的作用。
(三)移动互联网技术
移动互联网技术涉及移动通信技术和互联网技术。用户采用形式多样的移动终端,通过移动通信网络访问互联网并使用互联网业务,这在当前经济社会中已经全面普及。从有线的、固定的网络到无线的、移动的网络,是互联网的巨大进步,用户终端由固定变为可移动,使得网络无处不在。移动互联网技术市场潜力巨大,将继续引领各行业的快速发展。
1.移动互联网的特征及应用优势
1)移动互联网的特征
(1)时间空间的随意性。
移动互联网终端的可移动性为人类带来空前的便捷性。移动互联网的出现,使得个体连接网络、使用网络不受时间和空间的限制。随着智能终端的不断更新,移动物联网的用户不断攀升,覆盖群体范围不断扩大。到目前为止,全球移动互联网用户的数目呈现不断攀升的态势。就我国而言,根据工信部2017年3月发布的数据,2017年1~2月,我国移动互联网用户总数达到11.2亿户。移动互联网的出现,正在深刻地改变人类获取信息的路径和方式。
(2)使用方式的私有性。
相对于个人计算机(Personal Computer, PC)用户,手机更具有个人化、私密性的特点,如每部手机都有专属人,包括手机号码、手机终端的应用,基本上都是私人来使用的。智能终端的使用者,拥有各自的社会交际网络,也更加明显地显示出网络之间的关联性,并成为互联网应用开发的基础和新的增长点,个体社交网络正在逐步成为互联网创新应用的新领域。
(3)服务定向性。
智能终端应用的不断开发,使得移动互联网可以借助各种定位方式,获取使用者的地理位置信息,由此进一步开发更加个性化、针对性的应用服务。借助大数据技术、数据挖掘技术,移动互联网应用开发商可以实现对数据的整理和挖掘,针对用户的习惯性消费偏好,开发更加精准实用的产品,提供更加全面的个性化服务,如打车服务、地图热图服务等。
(4)适用时间的灵活性。
移动互联网的即时性有效改善了时间分配,基于其显著的便捷性特点,可以改善传统工作模式的低效率问题,在移动互联网的模式下,个体、企业、国家可以更加实时地处理、接收各类信息,实现高效化运转。移动互联网为生活、工作、学习提供了便利,也为社会和谐稳定发展创造了新途径和新空间。
(5)终端多样化。
移动终端、移动通信设备是移动互联网的基本载体。科技进步的推陈出新,实现了新型移动通信设备的快速更新,使用终端趋向于轻便化、可携带化。产品的革新速度加快,微型设备等给人类社会带来了极大的便利。
2)移动互联网的层次结构
移动互联网具有3个层次,由此决定了其如上所述的主要特点。综合来看,移动互联网最典型的特征是应用广泛,服务多样,通信模式各异。
图1-4是世界无线研究论坛给出的移动互联网参考模型,对移动互联网进行的研究表明,移动互联网可以提供个性化、感知式、自调整式的应用服务。各种应用通过开放的应用程序接口(Application Programming Interface, API)获得用户交互支持或移动中间件支持。移动中间件包括数据建模服务、移动数据管理等。互联网协议簇包括IP服务协议和联网协议等在内的各种协议组合。操作系统实现不同层级之间的交互;硬件/固件是指组成终端和设备的器件单元。
图1-4 移动互联网的参考模型
移动互联网支持多种无线接入方式,根据覆盖范围的不同,可分为个人域网(Wireless Personal Area Network, WPAN)接入、无线局域网(Wireless Local Area Networks, WLAN)接入、无线城域网(Wireless Metropolitan Area Network, WMAN)接入和无线广域网(Wireless Wide Area Network, WWAN)接入,各种技术客观上存在部分功能重叠的相互补充、相互促进,具有不同的市场定位,共同组成宽带无线接入的网络架构。
2.移动互联网的发展现状
根据中国互联网络信息中心发布的第39次《中国互联网络发展状况统计报告》显示,截至2016年12月,中国网民规模达7.31亿,相当于欧洲人口总量,互联网普及率达到53.2%。其中,手机网民占比达95.1%。截至2016年12月,我国手机网民规模达6.95亿,增长率连续三年超过10%。相比之下,台式电脑、笔记本电脑的使用率均出现下降,2016年我国手机网上支付用户规模增长迅速,达到4.69亿,年增长率为31.2%。网民手机网上支付的使用比例由57.7%提升至67.5%。
移动互联网的发展势不可当。未来智能手持终端比例将不断加大,在智能连接发展情况方面,中国移动物联卡用户规模超过3400万户,集团客户有1.9万家,预计到2017年年底将超过4000万用户。目前每用户平均收入(Average Revenue Per User, ARPU)值为56元/年,平均每户每月上网流量(Dataflow of Usage, DOU)为528兆/年,连接管理平台API调用次数持续增加。搜索仍将是移动互联网的主要应用,与传统互联网模式相比,移动互联网同样对搜索的需求量非常大,在移动的状态下,非常适宜去搜索相关信息。移动搜索信息的手机仍然是移动互联网的主要应用。
3.移动互联网与地理空间大数据
移动互联网的发展让位置服务或定位服务(Location Based Services, LBS)和位置应用迅速起飞,传统的地理信息市场也由此迎来新一轮发展高潮。可以这么说,地理空间大数据借LBS进入移动互联网。在社会需求和信息技术的双重驱动下,移动互联网与地理空间信息的集成成为必然,移动空间信息服务将取得突飞猛进的发展。移动地理空间信息集成服务本质上不是单纯的某一项技术,而是由多学科、多技术领域交叉的复杂技术服务系统。移动互联网为用户提供的各种服务具备体验性、沟通性、差异性、创造性和关联性等特性,大大推动了地理信息服务快速融入人们的工作和生活,并且科技进步和需求增加将强劲驱动LBS等地理空间信息应用的普及,极大地提升地理空间信息的价值。在日益强大的智能终端硬件性能(如GPS模块支持、3D加速)和系统软件(如触控界面)支持下,移动位置的应用能为用户提供更清晰、更翔实的地图,能够提供更完整的地图展现、更友好的仿真界面及3D效果;并且,智能手机能够将移动位置服务与Web 2.0理念结合起来,大大增加了LBS等地理空间信息服务的应用空间和实际价值。
移动互联网与地理空间大数据以LBS为切入点相结合,会在如下几个领域产生意义深远的影响。
1)基于地理空间大数据的导航和位置服务
电子地图厂商有先天优势,比如拥有数据优势的高德和四维图新。这二者除了做导航之外,还都涉及互联网电子地图和地理信息服务。据了解,四维图新每天通过LBS和互联网地图服务使用公司地图产品的点击量达9100万次,并且在移动位置服务领域与中国移动、中国电信等进行深度合作。高德2007年就开始和中国移动位于辽宁的位置基地合作。免费的“mini地图”是高德抢占手机客户端的重要手段。高德还具有创新性的作为,他们认为地理数据库+GIS+在线将成为LBS的主流,于是与Esri合作开发出Emapzone。
2)基于地理空间大数据的互联网应用
自2009年Foursquare发布以来,基于地理位置的移动互联网应用不断出现。如基于位置的聊天工具Yobongo,在及时沟通与反馈的基本服务基础上,建立现实的沟通情境,进行基于实景的互动;如图像分享应用Color,结合手机特性,获取用户的地理位置大数据,帮助人们感知周围环境,实现基本需求;如Facebook Places,通过跟随社交网络中其他人的足迹,发现新的热点,允许用户分享其地理位置信息,并推广了很多基于地理位置的服务;如Wechat,通过实现跨平台的位置社交网络构建,实现了开放的互联网应用。
3)基于地理空间大数据的公共管理应用
在公共管理领域,比如城市管理、公共应急管理等都开始尝试利用移动地理空间信息来提高室外办公的工作效率。在城市管理的移动地理空间信息解决方案中,巡检人员在城市巡检中若遇到公共设施遭到破坏,或者发生影响行人正常出行的异常事件时,其就可通过随身携带的移动终端上的GPS定位得到位置信息,并利用移动终端上的移动地理空间信息应用程序将管理信息发送到城市管理中心的服务器上,以便管理机构做出决策,并且通过移动终端接收来自管理中心的任务指派,从而完成整个巡检工作。
除此之外,在不同行业,也有不同的移动地理空间信息的应用案例,比如基于移动地理空间信息的油气巡检系统、基于实景三维地理空间信息的水库移动巡查系统等,不再一一赘述。
(四)大数据技术
著名社会思想家阿尔文· 托夫勒最早在1980年提出了“大数据”的概念。但是,大约从2009年开始,“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便可翻一番,而目前世界上90%以上的数据是最近几年才产生的。
云计算、物联网、移动互联网,无一不是大数据来源或者承载的方式。在物联网时代,成千上万的网络传感器嵌入到现实世界中;云计算则为物联网产生的海量数据提供存储空间,并使得在线处理成为可能。过去,企业知识存储数据,简单地存与读,或者进行简单的数据分析,然而,随着数据呈现爆炸式增长趋势,企业不再满足于这种简单的数据处理,而是希望通过数据对企业做出更好的决策,正是这种对数据的需求催生了大数据。
维基百科将大数据定义为:大数据或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内截取、管理、处理、并整理成为人类所能解读的信息。Amazon大数据科学家John Rauser将大数据描述为“任何超过了一台计算机处理能力的庞大数据量”。Informatica中国区首席产品顾问但彬认为:大数据=海量数据+复杂类型的数据。
1.大数据的特征及应用优势
1)大数据的特征
业界对大数据特征的定义有3V和4V。其中价值(Value)既是特征,又是对大数据应用的描述。下边对大数据的3V特征进行阐述。
(1)大量(Volume):是指数据量是非常庞大的,主要体现为数据存储量大、计算量大。大数据中的数据不再以几个GB或者几个TB为单位来衡量,而是以PB、EB或ZB为计量单位。根据IDC的预测报告显示,2011年全球数据总量已经达到0.7ZB,2015年全球的数据总量为8.6ZB,目前全球数据的增长速度为每年40%左右,预计到2020年全球的数据总量将达到40ZB。
(2)速度快(Velocity):一是指数据在不断更新,变化的速度快。根据2017年思科Mobile Visual Networking Index(VNI)报告预测,全球移动数据流量在2016年至2021年间将增长7倍,用户上传的内容将爆发式增长。二是指数据存储、传输等处理速度快。传统数据仓库系统、BI应用都是批处理方式,但对于大数据应用,必须进行实时数据流处理。
(3)多样性(Variety):是指数据来源广泛、数据类型多样、数据交易频繁。企业所面对的传统数据主要是交易数据,而互联网和物联网的发展,形成了大量的数据来源;大数据中有四分之三以上的数据是以非结构化和半结构化的数据进行存储的,如音频、视频、图片、链接等;与空间信息为主的数据之间具有很强的关联性,包括语音、照片、位置、行程、日期、坐标等。
2)大数据的流程结构
大数据的存储和应用,对数据处理的高效性和可用性提出了更高的要求。传统数据处理方法的不足表现在:第一,采集来源单一,且存储、管理和分析数据量也相对较小,无法满足相关的大数据应用需求;第二,传统的数据处理方法无法满足大数据的要求。因此,只有符合新架构的大数据处理技术才能解决新出现的数据需求。
大数据处理流程包含图1-5所示的5个环节,大数据的基本处理流程与传统数据处理流程的主要区别在于:由于大数据要处理大量、非结构化的数据,所以在各个处理环节中都可以采用MapReduce等方式进行并行处理。MapReduce是通过对海量数据进行分割、任务分解与结果汇总,经过映射和化简两个阶段,先分后合,实现对数据的有效处理。Map即“分解”,把海量数据分割成了若干部分,分给多台处理器并行处理;Reduce即“合并”,把各台处理器处理后的结果进行汇总操作以得到最终结果。在数据采集、数据预处理、数据存储、数据分析/挖掘、结果展现5个步骤中,大数据技术均采用了不同于以往的新方法,典型工具也在图1-5中列出。
图1-5 适用于各处理环节的MapReduce等大规模并行处理方式
2.大数据的发展趋势
在2013年举行的第一届CCF大数据会议上,122位专家委员共同预测了如下的大数据发展趋势。
1)大数据从“概念”走向“价值”
大数据向更多新领域扩张,并会出现更多数据驱动的商业模式。互联网金融等将会成为大数据应用的新的商业模式,特别是基于海量数据的信用体系和风险控制,将成为新的发展方向。资本高度关注大数据领域,特别是社会资本会以更加灵活的方式,如PPP模式,来注资、助力大数据的发展。
2)大数据处理架构的多样化模式并存
大数据处理架构的模式多样化,目前看来,实时流计算、分布式内存计算、图计算等框架并存的局面占据主流。由于硬件加工工艺及技术的提升,内存的容量越来越大,体积越来越小,价格越来越低,使得应用内存来计算、解决大数据实时性的问题成为可能,从而提高了实时处理效率及数据性能。
3)大数据更加安全与注重隐私
由于大数据更具开放性,因此需要关注存储数据的物理安全性,避免成为网络攻击的目标。数据获得的便利性使得黑客也比较容易获得大数据的分析技术,这样大数据更容易成为不易被追踪且难以防范的犯罪手段。因此,大数据的安全问题将越来越被重视。特别是,随着个人隐私数据越来越被动地被搜集,有偿性隐私保护服务会成为未来的发展趋势,由此将会推进大数据个人数据保护和隐私问题立法的相关工作。
4)大数据分析与可视化成为热点
人们能够及时地了解和获得决策信息,与对大数据的实时查询和分析是分不开的。内存计算模式的大量运用及大数据的实时处理将成为大数据分析的重要抓手。大数据即将成为新一代技术革命的发动机,在大数据的深度数据挖掘和AI技术的深度学习基础上,融合其他之前的各种处理方法,将会产生革命性的大数据分析方法。
5)大数据作为战略性产业
大数据作为各个国家的战略新兴产业,在分析提高国家经济决策和社会服务能力、保障国家安全等方面发挥着重要的作用。同时,大规模的企业已成为大数据使用最活跃的群体,中小企业也越来越重视大数据给企业带来的重大影响。在政府层面,一些拥有大数据的政府部门利用自己积累的数据,采用大数据技术分析,科学有效地指导行业、企业的发展,解决地方政府治理等问题,成果显著突出。
6)数据商品化与数据共享联盟化
数据的私有化和独占性将日益成为关注的焦点,数据产权界定问题日益突出。在数据权属确定的情况下,数据商品化将成为必然选择。数据共享联盟将逐渐壮大成为产业的核心一环,数据共享将扩展到企业层面,逐步实现共享联盟化。
7)基于大数据的预测应用
通过对海量历史数据分析,帮助捕捉现在和预测未来,进而通过大数据进行决策支持,是基于大数据的预测应用模式。可以看到,大数据分析下的美国总统选举,通过数据分析成功预测了2016年美国总统选举的结果。不得不说,基于大数据的推荐系统更加了解用户,更精确,更个性化,成为最具效果的大数据商业应用。在积累了多年用户和数据基础后,基于社交网络的广告营销模式初现端倪,从而实现了更精准的广告投放,满足人们的各种需求。
8)深度学习成为支撑
在大数据时代,深度学习将依靠高性能计算的支持,成为大数据智能处理的核心技术之一。智能机器会依赖对捕捉到的数据进行分析,做出相应的判断和决策。基于海量知识的智能、群体智能与众包计算将会成为支撑技术。
9)数据科学的兴起
通过建立基准测试框架,对各种大数据分析系统的应用进行比较及测验,是当前数据发展的需要。大数据的使用及发展使得数学应用研究获得前所未有的发展,并极大地促进了数学学科的变革,几乎所有的数学学科正在迅速转变成数据科学,并作为一门与大数据相关的新兴学科出现。
10)大数据生态环境逐步完善
物联网、移动互联网再加上传统互联网,每天都在产生海量数据,大数据通过与云计算、物联网、移动互联网等热点新兴计算产生交融,将这些数据挑选、处理,实现有效的应用。
3.大数据与地理空间信息
随着地理空间技术的大量出现,数据产品交叉的存储能力及地理空间数据量呈乘数式增长趋势。常规来源与非常规的地理空间大数据来源,将会构建巨大的数据流和数据池。分析与挖掘地理空间信息大数据,将会对社会各方面产生深远的影响,以下分别从4个方面阐述大数据背景下地理空间信息的应用领域。
1)生态环境领域
在生态环境领域,通过对大量国内外各种主要卫星遥感影像进行信息提取和反演,已形成一系列生态遥感产品,能够展现各类生态系统的空间分布,提供生产生态系统评价所需参数,提供区域生态环境综合评价服务,并且提供气象/气候、土地资源等数据产品,服务于各行各业。
2)地震应急领域
在地震应急领域,地理空间信息从提高基础业务的数据精度入手,并运用自主研发的公里格网数据分布处理与自动更新技术,将以行政区划为单位的数据转变为以公里格网为单位,提高数据精度,有效避免数据分配计算过程中的误差,将灾区地理信息和其他相关数据进行深入分析,服务于震后信息推送、灾情评估及应急辅助决策等。
3)公共安全领域
在公共安全领域,地理空间信息基于统一的地理空间框架对各类公安警务资源进行有效整合和信息融合,为各级公安机关结合本地实际情况提供直观的可视化空间和警务处置解决方案,为各级公安部门应急工作提供了强有力的技术保障,便于各级公安机关在指挥调度、交通管理、人口管理、案件时空分析等各个方面进一步开展空间大数据的应用。
4)通信领域
在通信领域,各种通信信息与空间位置相关联,数字空间通过利用地理空间大数据的相关技术,通过对各种数据进行直观分析,从中发现隐含的规律和趋势,为快速决策提供服务。