上QQ阅读APP看书,第一时间看更新
第3章 开发第一个Spark程序
上一章构建了 Spark 的运行环境,介绍了如何提交、运行Spark程序。本章将进一步深入学习Spark程序开发的基本技能,具体将解决以下几个问题:
●Spark程序开发的通用步骤?
●如何构建Scala程序的开发和运行环境?
●Spark开发工具链?
●如何构建最简的Spark开发环境?
●如何在命令行下对Spark程序进行打包和提交?
●如何使用IDEA来开编辑、编译、打包Spark程序?
●如何使用IDEA远程提交Spark程序?
通过本章的学习,大家能够对编写Spark程序,包括代码编辑、编译、打包、运行的整个过程有一个直观的认识;对一个Spark程序在 Spark 集群上是如何提交和运行的有一个清晰的概念。