第一天

上午：

• 大数据初体验

下午

• 分布式协调系统与非关系型数据库

理论

上午：

• 大数据的相关背景知识

• Hadoop生态圈及三大组件

• Hadoop分布式集群的搭建

• HDFS架构以及读写流程

• MapReduce第一个例子

下午：

• Zookeeper的概念与部署

• 客户端zkCli.sh的使用

• 对Zookeeper节点的相关操作

• HBase的相关概念

• HBase的部署与Shell操作

• HBase的API操作

实验

上午：

• Hadoop实验：部署HDFS

• Hadoop实验：读写HDFS文件

• Hadoop实验：部署YARN集群

• MapReduce实验：单词计数

• Zookeeper实验：Zookeeper环境搭建

• Zookeeper实验：ZooKeeper客户端的使用—zkCli.sh的使用

• ZooKeeper实验：ZooInspector桌面软件的使用

下午：

• HBase实验：HBase安装与配置

• HBase实验：Shell的基本操作

• VMware Workstation

• CentOS 7

• IDEA

• JDK1.8

• MobaXterm

• Xftp

• Xshell

第二天

上午：

• 数据离线处理

下午：

• Spark生态圈介绍及使用

理论

上午：

• 数据仓库和数据库的区别

• Hive以及其基本语法

• Hive使用案例

• Hive的DDL与DML操作

下午：

• Spark 介绍以及架构

• Spark生态圈及组件

• Spark提交作业流程

• Spark案例分析

实验

上午：

• Hive实验：部署Hive

• Hive QL应用—数据定义操作DDL

• Hive QL应用—数据操作DML

• Hive QL应用—Hive QL查询操作

下午：

• Spark实验：部署Spark集群

• Spark实验：提交作业的两种方式

• Spark实验：RDD综合实验

• Spark实验：Spark SQL

• Spark实验：Spark Streaming

第三天

上午：

• 数据采集

下午：

• 数据可视化

理论

上午：

• Flume介绍和安装

• Flume应用实例

• Kafka介绍和安装

• Kafka应用实例

下午：

• 常用的数据可视化工具

• EChart的基本使用

• SpringBoot与ECharts整合开发

实验

上午：

• Flume实验：Flume的安装与部署

• Flume实验：将文件数据Flume至HDFS

• Kafka实验：Kafka集群部署

• Kafka实验：发布订阅消息系统

下午：

• ECharts实验：SpringBoot与ECharts整合使用

第四天

• 实时流计算场景化解决方案

理论

上午：前面知识回顾,实时流计算场景化解决方案思路讲解

下午：前面知识回顾，实时流计算场景化解决方案思路讲解

实验

上午：

• Python脚本生成测试数据

• Flume实时采集数据到Kafka

• 创建MySQL结果信息存储表

下午：

• 在Flink-SQL中创建Kafka数据处理

• 将实时计算结果保存到MySQL

• 数据可视化，交易结果5s实时更新