上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人
1.5 Flink与Spark
谈到大数据处理引擎,不能不提Spark。Apache Spark是一个通用大规模数据分析引擎。它提出的内存计算概念让人们耳目一新,让程序员得以从Hadoop繁重的MapReduce程序中解脱出来,可以说是划时代的大数据处理框架。除了计算速度快、可扩展性强,Spark还为批处理(Spark SQL)、流处理(Spark Streaming)、机器学习(Spark MLlib)、图计算(Spark GraphX)提供了统一的分布式数据处理平台,整个生态经过多年的蓬勃发展已经非常完善。
然而,正在人们认为Spark已经“如日中天”、即将“一统天下”之际,Flink如一颗新星“异军突起”,使得大数据处理的“江湖”再起风云。很多读者在最初接触大数据处理时都会有这样的疑问:想学习一个大数据处理框架,到底应该选择Spark,还是Flink呢?
这就需要了解两者的主要区别,理解它们在不同领域的优势。