大数据分析:R基础及应用
上QQ阅读APP看书,第一时间看更新

2.5 国泰安的大数据

2.5.1 大数据实验室建设

国泰安大数据实验室可根据高校的实际需求和专业及人才定位情况,根据学科研究领域及方向、师资实验室设置、运行等基本情况,针对不同院校的特色、方向课程等工作的开展情况,设计大数据研究中心、实训基地来满足学校的具体需求。

从顶层思路的大数据价值链出发,借鉴大数据通用架构图,结合市场常用软件及国泰安自有的软件形成了国泰安大数据实验室解决方案。为大数据实验室的建设提供数据源、大数据采集与ETL、大数据存储、大数据分析与挖掘、大数据展示与可视化5大模块全面系统的服务。图2.4是国泰安大数据实验室解决方案。

图2.4 国泰安大数据实验室解决方案

表2.3为国泰安大数据实验室的软件配置列表,其中包含了从数据源、大数据采集、ETL、存储、分析挖掘到可视化展示整个系统的软件配置。

表2.3 大数据实验室软件配置列表

2.5.2 大数据分析平台

国泰安金融大数据实验室由金融大数据采集、金融大数据内容与存储、金融大数据分析与挖掘、金融大数据展示与可视化、金融大数据智慧教学平台5大模块组成。其中,大数据分析平台(big data analysis,BDA)是一个面向大数据分析的教学系统。BDA是集经济金融、数理统计、数据分析模型的教学、建模、实训、交流、应用为一体,基于R的开放式教学实训平台,是一个通过提供专业的大数据分析领域常用的算法模型,用统计分析领域中应用范围最广的R语言来实现,为学校师生提供算法模型的教与学的软件平台。DBA由以下模块组成。

(1)模型演示模块:对模型从理论到实战程序、数据结果、图形的全面展示。

(2)模型DIY模块:自主创建模型的背景知识及模型的程序。

(3)模型管理模块:实现对模型的修改、导出及同步功能。

(4)教学管理模型:实现个人的在线作业,作业的发放和评阅等功能。

(5)编程ABC模块:分享你我他的资源,实现在线学习交流。

BDA的主要功能和特点如下。

1.全方位式的教学

教学内容模型化、图形化、数字化,包括模型的理论介绍及详细讲解步骤,每个步骤的推导及演算说明、参数说明、数据、程序,以及每步的计算结果和图形。

2.可视化、流程化的建模

标准化、模块化的建模流程和框架,可修改原有的案例程序及数据,也可自主建模;可使用自有的Excel、txt、RData、csv、mat格式数据计算建模,也可使用API调用CSMAR数据库的数据进行建模。对模型最多有10个步骤进行灵活分解。

3.可视化编程

从数据到程序,从中间变量到目标结果,全流程可视化,轻松有趣地学习R编程。

4.全面的教学管理平台

教师可在线完成按班级或指定的学生群体发放模型作业,查看作业模型程序、数据和结果,以及在线交流及辅导,随时随地实现作业的收发、评阅及辅导。

5.引导式的学习平台

模型难易分明,既可满足基本的教学需求,又能够实现学生对软件、理论模型的编程开发学习,最重要的是平台上有非常贴近市场的真实案例开源代码资源学习,相信能够使学者完成从基础学习到职场准备的阶梯提升计划。

6.金融建模大赛

每年两次的金融建模大赛,能够激发学生的创新和思考问题的能力。通过BDA建模,能够使读者更加规范化自己的程序,规范文章内容。

BDA的亮点主要体现在以下几个方面。

(1)模型分步演示:使得学生学会更加清晰的逻辑编程思路。

(2)丰富的理论背景知识:深刻了解模型背景、应用场景,拓宽学生解决问题的思路。

(3)R语言模型新建编译:开放编译接口、面向大数据分析领域的通用型语言。

(4)图形结果展示:一个页面展示多个图形结果、数据结果,方便用户进行结果分析。

(5)作业管理系统:提供教学的管理平台,将课程模型资源在统一的平台上进行管理。