大数据培训(7月21日)
微信扫码继续观看
直播已结束
去看看其他课程吧!更多课程>>
课程安排:
时间 | 课程安排 | 课程内容 | 所需软件环境 |
第一天 | 上午: • 大数据初体验 下午 • 分布式协调系统与非关系型数据库 | 理论 上午: • 大数据的相关背景知识 • Hadoop生态圈及三大组件 • Hadoop分布式集群的搭建 • HDFS架构以及读写流程 • MapReduce第一个例子 下午: • Zookeeper的概念与部署 • 客户端zkCli.sh的使用 • 对Zookeeper节点的相关操作 • HBase的相关概念 • HBase的部署与Shell操作 • HBase的API操作 实验 上午: • Hadoop实验:部署HDFS • Hadoop实验:读写HDFS文件 • Hadoop实验:部署YARN集群 • MapReduce实验:单词计数 • Zookeeper实验:Zookeeper环境搭建 • Zookeeper实验:ZooKeeper客户端的使用—zkCli.sh的使用 • ZooKeeper实验:ZooInspector桌面软件的使用 下午: • HBase实验:HBase安装与配置 • HBase实验:Shell的基本操作 | • VMware Workstation • CentOS 7 • IDEA • JDK1.8 • MobaXterm • Xftp • Xshell
|
第二天 | 上午: • 数据离线处理 下午: • Spark生态圈介绍及使用 | 理论 上午: • 数据仓库和数据库的区别 • Hive以及其基本语法 • Hive使用案例 • Hive的DDL与DML操作 下午: • Spark 介绍以及架构 • Spark生态圈及组件 • Spark提交作业流程 • Spark案例分析 实验 上午: • Hive实验:部署Hive • Hive QL应用—数据定义操作DDL • Hive QL应用—数据操作DML • Hive QL应用—Hive QL查询操作 下午: • Spark实验:部署Spark集群 • Spark实验:提交作业的两种方式 • Spark实验:RDD综合实验 • Spark实验:Spark SQL • Spark实验:Spark Streaming | |
第三天 | 上午: • 数据采集 下午: • 数据可视化 | 理论 上午: • Flume介绍和安装 • Flume应用实例 • Kafka介绍和安装 • Kafka应用实例 下午: • 常用的数据可视化工具 • EChart的基本使用 • SpringBoot与ECharts整合开发 实验 上午: • Flume实验:Flume的安装与部署 • Flume实验:将文件数据Flume至HDFS • Kafka实验:Kafka集群部署 • Kafka实验:发布订阅消息系统 下午: • ECharts实验:SpringBoot与ECharts整合使用 | |
第四天 | • 实时流计算场景化解决方案 | 理论 上午:前面知识回顾,实时流计算场景化解决方案思路讲解
下午:前面知识回顾,实时流计算场景化解决方案思路讲解 实验 上午: • Python脚本生成测试数据 • Flume实时采集数据到Kafka • 创建MySQL结果信息存储表 下午: • 在Flink-SQL中创建Kafka数据处理 • 将实时计算结果保存到MySQL • 数据可视化,交易结果5s实时更新 |
培训亮点:
1.本次培训主要是讲解大数据相关的基础知识以及实际场景解决方案,着重培养动手能力,从浅到深,通过实例将理论讲解融合到实验中去,并通过有代表性的案例来提升参训老师对大数据的动手能力;本次培训还将从实时流计算场景化解决方案出发进行扩展,介绍大数据开发的整体实施流程,让老师迅速体验大数据开发的过程,体会大数据开发的乐趣。
2.培训结束,经考核合格,获得协同育人培训证书。
直播讲师
邵成宽
大数据资深讲师/教研组长