Spark大数据编程实用教程
上QQ阅读APP看书,第一时间看更新

第3章 开发第一个Spark程序

上一章构建了 Spark 的运行环境,介绍了如何提交、运行Spark程序。本章将进一步深入学习Spark程序开发的基本技能,具体将解决以下几个问题:

●Spark程序开发的通用步骤?

●如何构建Scala程序的开发和运行环境?

●Spark开发工具链?

●如何构建最简的Spark开发环境?

●如何在命令行下对Spark程序进行打包和提交?

●如何使用IDEA来开编辑、编译、打包Spark程序?

●如何使用IDEA远程提交Spark程序?

通过本章的学习,大家能够对编写Spark程序,包括代码编辑、编译、打包、运行的整个过程有一个直观的认识;对一个Spark程序在 Spark 集群上是如何提交和运行的有一个清晰的概念。