大数据实时流处理技术实战:基于Flink+Kafka技术
上QQ阅读APP看书,第一时间看更新

项目2 Flink集群搭建

在学习流式计算及Flink的基础知识以后,为帮助读者快速入门,本项目将介绍Flink的集群部署方法,完成搭建Flink集群的任务,实现基本的单词统计程序。单词统计案例使用两种方式实现:一是批量处理方式,对文本文件中所有的单词进行一次性的统计和处理;二是流式处理方式,对网络中的数据流进行实时统计,Flink客户端程序每收到一个单词就对单词进行统计,这种处理方式更符合流式数据的实时分析应用场景。

思政目标

培养学生团队协作精神。

培养学生诚实守信的品质和遵纪守法的意识。

掌握Flink集群的安装和部署方式。

掌握基于Scala语言开发Flink程序的流程。

理解基于Flink的单词统计案例的实现原理。