直播课堂 > 大数据技术应用与实战

大数据培训(7月21日)
分享:
邵成宽

大数据培训(7月21日)

讲师:邵成宽 开播时间: 2022年07月21日 09:00 223人报名 使用手机观看

微信扫码继续观看

直播已结束

去看看其他课程吧!更多课程>>

直播介绍


课程安排:

时间

课程安排

课程内容

所需软件环境

第一天

上午:

• 大数据初体验

下午

• 分布式协调系统与非关系型数据库

理论

上午:

• 大数据的相关背景知识

• Hadoop生态圈及三大组件

• Hadoop分布式集群的搭建

• HDFS架构以及读写流程

• MapReduce第一个例子

下午:

• Zookeeper的概念与部署

• 客户端zkCli.sh的使用

• 对Zookeeper节点的相关操作

• HBase的相关概念

• HBase的部署与Shell操作

• HBase的API操作

实验

上午:

• Hadoop实验:部署HDFS

• Hadoop实验:读写HDFS文件

• Hadoop实验:部署YARN集群

• MapReduce实验:单词计数

• Zookeeper实验:Zookeeper环境搭建

• Zookeeper实验:ZooKeeper客户端的使用—zkCli.sh的使用

• ZooKeeper实验:ZooInspector桌面软件的使用

下午:

• HBase实验:HBase安装与配置

• HBase实验:Shell的基本操作

• VMware Workstation

• CentOS 7

• IDEA

• JDK1.8

• MobaXterm

• Xftp

• Xshell

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二天

上午:

• 数据离线处理

下午:

• Spark生态圈介绍及使用

理论

上午:

• 数据仓库和数据库的区别

• Hive以及其基本语法

• Hive使用案例

• Hive的DDL与DML操作

下午:

• Spark 介绍以及架构

• Spark生态圈及组件

• Spark提交作业流程

• Spark案例分析

实验

上午:

• Hive实验:部署Hive

• Hive QL应用—数据定义操作DDL

• Hive QL应用—数据操作DML

• Hive QL应用—Hive QL查询操作

下午:

• Spark实验:部署Spark集群

• Spark实验:提交作业的两种方式

• Spark实验:RDD综合实验

• Spark实验:Spark SQL

• Spark实验:Spark Streaming

第三天

上午:

• 数据采集

下午:

• 数据可视化

理论

上午:

• Flume介绍和安装

• Flume应用实例

• Kafka介绍和安装

• Kafka应用实例

下午:

• 常用的数据可视化工具

• EChart的基本使用

• SpringBoot与ECharts整合开发

实验

上午:

• Flume实验:Flume的安装与部署

• Flume实验:将文件数据Flume至HDFS

• Kafka实验:Kafka集群部署

• Kafka实验:发布订阅消息系统

下午:

• ECharts实验:SpringBoot与ECharts整合使用

第四天

• 实时流计算场景化解决方案

理论

上午:前面知识回顾,实时流计算场景化解决方案思路讲解

 

下午:前面知识回顾,实时流计算场景化解决方案思路讲解

实验

上午:

• Python脚本生成测试数据

• Flume实时采集数据到Kafka

• 创建MySQL结果信息存储表

下午:

• 在Flink-SQL中创建Kafka数据处理

• 将实时计算结果保存到MySQL

• 数据可视化,交易结果5s实时更新


培训亮点:

      1.本次培训主要是讲解大数据相关的基础知识以及实际场景解决方案,着重培养动手能力,从浅到深,通过实例将理论讲解融合到实验中去,并通过有代表性的案例来提升参训老师对大数据的动手能力;本次培训还将从实时流计算场景化解决方案出发进行扩展,介绍大数据开发的整体实施流程,让老师迅速体验大数据开发的过程,体会大数据开发的乐趣。

      2.培训结束,经考核合格,获得协同育人培训证书。


直播讲师

邵成宽

邵成宽

大数据资深讲师/教研组长

拥有多年软件开发及大数据产品研发经验;多次交付大型企业定制培训及国培项目,如重庆大数据产业联盟主讲老师、全国鲲鹏创新大赛企业赛道大数据主讲老师;全国高等院校计算机基础教育研究会外聘讲师;多次带领企业及高校团队参加竞赛并获奖。

直播口令:234567

咨 询 老 师