Spark编程基础

封面

版权信息

内容提要

教育部高等学校计算机类专业教学指导委员会-华为ICT产学合作项目 数据科学与大数据技术专业系列规划教材 编委会

丛书序一

丛书序二

前言

第1章 大数据技术概述

1.1 大数据的概念与关键技术

1.2 代表性大数据技术

1.3 编程语言的选择

1.4 在线资源

1.5 本章小结

1.6 习题

实验1 Linux系统的安装和常用命令

第2章 Spark的设计与运行原理

2.1 概述

2.2 Spark生态系统

2.3 Spark运行架构

2.4 Spark的部署方式

2.5 本章小结

2.6 习题

第3章 Spark环境搭建和使用方法

3.1 安装Spark

3.2 在spark-shell中运行代码

3.3 开发Spark独立应用程序

3.4 Spark集群环境搭建

3.5 在集群上运行Spark应用程序

3.6 本章小结

3.7 习题

实验2 Spark和Hadoop的安装

第4章 RDD编程

4.1 RDD编程基础

4.2 键值对RDD

4.3 数据读写

4.4 综合实例

4.5 本章小结

实验3 RDD编程初级实践

第5章 Spark SQL

5.1 Spark SQL简介

5.2 DataFrame概述

5.3 DataFrame的创建

5.4 DataFrame的保存

5.5 DataFrame的常用操作

5.6 从RDD转换得到DataFrame

5.7 使用Spark SQL读写数据库

5.8 本章小结

5.9 习题

实验4 Spark SQL编程初级实践

第6章 Spark Streaming

6.1 流计算概述

6.2 Spark Streaming

6.3 DStream操作概述

6.4 基本输入源

6.5 高级数据源

6.6 转换操作

6.7 输出操作

6.8 本章小结

6.9 习题

实验5 Spark Streaming编程初级实践

第7章 Spark MLlib

7.1 基于大数据的机器学习

7.2 机器学习库MLlib概述

7.3 基本数据类型

7.4 机器学习流水线

7.5 特征提取、转换和选择

7.6 分类算法

7.7 聚类算法

7.8 协同过滤算法

7.9 模型选择和超参数调整

7.10 本章小结

7.11 习题

实验6 Spark机器学习库MLlib编程实践

参考文献