Hive大数据存储与处理

封面

版权信息

内容提要

大数据技术精品系列教材专家委员会

序

前言

第1章 广电大数据用户画像需求分析

任务1.1 需求分析与架构

1.1.1 业务需求分析

1.1.2 大数据存储技术架构

任务1.2 认识Hive

1.2.1 Hive简介

1.2.2 Hive的架构

1.2.3 Hive设计特性

小结

课后习题

第2章 部署开发环境

任务2.1 安装部署Hadoop集群

2.1.1 VMware虚拟机安装和网络设置

2.1.2 部署CentOS

2.1.3 Hadoop集群部署前准备

2.1.4 Hadoop集群部署

任务2.2 安装部署Hive

2.2.1 安装配置MySQL

2.2.2 安装配置Hive

任务2.3 使用Hive CLI

2.3.1 启动Hive CLI

2.3.2 在Hive中执行Bash Shell和Hadoop dfs命令

2.3.3 在Shell中执行Hive查询

小结

课后习题

第3章 广电用户数据存储

任务3.1 创建业务数据表

3.1.1 操作Hive数据库

3.1.2 了解Hive数据类型

3.1.3 创建与管理Hive表

3.1.4 任务实现

任务3.2 将数据导入Hive表中

3.2.1 装载数据至Hive表中

3.2.2 任务实现

小结

实训 创建轮船乘客表并导入数据至表中

课后习题

第4章 广电用户基本数据简单查询

任务4.1 查询广电用户的用户编号及开户时间

4.1.1 SELECT语句

4.1.2 任务实现

任务4.2 查询指定用户状态的用户基本数据

4.2.1 使用WHERE关键字添加查询条件

4.2.2 使用WHERE关键字添加常见查询条件

4.2.3 任务实现

任务4.3 统计用户基本数据表中品牌名称的种类数

4.3.1 使用DISTINCT关键字去重查询

4.3.2 使用聚合函数

4.3.3 任务实现

任务4.4 统计不同用户等级名称的记录数

4.4.1 设置列别名

4.4.2 任务实现

任务4.5 统计不同用户状态的记录数

4.5.1 使用GROUP BY关键字分组查询

4.5.2 任务实现

任务4.6 统计指定用户数量范围的用户等级

4.6.1 使用HAVING关键字对分组结果进行筛选

4.6.2 任务实现

任务4.7 统计用户数最多的3种用户状态

4.7.1 使用LIMIT关键字设置查询结果展示

4.7.2 使用排序关键字对查询结果排序

4.7.3 任务实现

任务4.8 查询用户发生状态变更的时间及开户时间

4.8.1 使用正则表达式查询数据

4.8.2 任务实现

小结

实训 查询电商货品订单数据

课后习题

第5章 广电用户账单与订单数据查询进阶

任务5.1 统计订单的消费类型

5.1.1 介绍Hive内置函数

5.1.2 使用条件函数

5.1.3 使用类型转换函数

5.1.4 任务实现

任务5.2 统计用户每年消费应付总额

5.2.1 使用字符函数

5.2.2 任务实现

任务5.3 统计用户每月消费应付总额

5.3.1 使用日期函数

5.3.2 任务实现

任务5.4 统计用户每月实际账单金额

5.4.1 使用数学函数

5.4.2 任务实现

任务5.5 查询用户宽带订单的地址数据

5.5.1 使用JOIN语句

5.5.2 介绍UNION ALL关键字

5.5.3 任务实现

任务5.6 抽样统计用户订购产品情况

5.6.1 使用桶表抽样查询

5.6.2 任务实现

小结

实训

实训1 查询员工数据

实训2 查询学生数据