Spark快速大数据分析(第2版)
上QQ阅读APP看书,第一时间看更新

1.2.3 模块化

Spark 操作可以用于各种类型的工作场景,并且可以通过 Scala、Java、Python、SQL 和 R 等任何受支持的编程语言来实现。Spark 以核心组件的形式一站式地提供了带有详细文档的各种库,其中包括 Spark SQL、Spark Structured Streaming、Spark MLlib,以及 GraphX 等模块。这些模块将不同场景的工作负载整合到一起,从而在同一个引擎上执行。1.3 节将进一步介绍这些组件。

你可以在一个 Spark 应用中完成所有这些工作,无须为不同场景使用不同引擎,也不需要学习不同的 API。有了 Spark,各种场景的工作负载就有了一站式的处理引擎。