课程描述：

本课程是大数据专业、云计算技术与应用专业、软件技术专业的专业核心课程，该课程教学内容以任务驱动为主线，围绕企业级应用进行项目任务设计。

本课程遵循应用型本科和高等职业教育规律，以大数据技术与应用实际工作岗位需求为导向选取课程内容，完成了数据采集和预处理平台搭建、网络爬虫实践、日志数据采集实践和数据预处理实践等完整的数据采集与预处理应用案例，课程目标是培养学生具备“大数据分析”应用项目所需数据采集与预处理的综合职业能力；坚持开放性设计原则，吸收企业专家参与，构建以“工作任务”为载体的“项目化”课程结构；课程教学实施教、学、做一体，坚持理论为实践服务的教学原则，通过模拟企业大数据采集与预处理应用业务进行组织，锻炼学生的实践操作能力。

通过岗位技能的项目化以及大数据采集与预处理任务的序列化，对内容体系结构进行了适当调整与重构，以适应教学课程安排。以项目案例及其任务实现为驱动，凭借翔实的操作步骤和准确的说明，帮助学生迅速掌握大数据采集与预处理的相关知识与技能，并且充分考虑学习操作时可能发生的问题，并提供了详细的解决方案，突出岗位技能训练。

教学目标：

本课程的培养目标是使学生以大数据分析岗位需求为依托，以实际工作任务为导向，理清大数据采集与预处理中常用工具的作用及应用，培养学生大数据采集与预处理的实际操作技能。教学目标包含知识目标、素质目标和能力目标三部分：

1、知识目标

（1）要求学生系统掌握Scrapy、Flume、Pig、Kettle、Pandas、openrefine和urllib、Selenium基本库和BeautifulSoup解析库等的相关技术知识；

（2）熟悉企业典型应用案例；

（3）熟悉数据采集常用与典型操作；

（4）熟悉数据预处理常用与典型操作。

2、素质目标

（1）培养学生动手能力、自主学习新知识的能力；

（2）培养学生团队协作精神；

（3）培养学生勇于探索的创新精神。

3、能力目标

（1）通过该课程的学习，学生能利用所学的相关技术，能根据企业具体大数据分析业务；

（2）能够结合采集的海量数据，针对性的进行数据的预处理；

（3）学会数据采集与预处理的常用与典型操作。

主要教学范式：

本课程以任务驱动为主线，围绕企业级应用进行项目任务设计，完成了数据采集和预处理平台搭建、网络爬虫实践、日志数据采集实践和数据预处理实践等完整的数据采集与预处理应用案例。

在授课过程中，将首先介绍数据采集的基本概念和技术原理，包括数据采集的分类、采集方式、采集工具等。然后，将通过实际案例，详细介绍如何搭建数据采集和预处理平台，包括平台的架构设计、数据采集策略的制定、数据预处理的方法等。

在教学过程中，需要注意以下几点：首先，需要确保学生能够理解和掌握数据采集的基本概念和技术原理；其次，需要通过实际案例，让学生了解数据采集和预处理的全过程；最后，需要引导学生思考如何将所学知识应用到实际工作中，提高他们的实践能力。

此外，还需要注意教学方法的选择和使用。可以采用讲解、示范、实践相结合的方式，使学生在理论学习的基础上，通过实际操作，掌握数据采集和预处理的技能。同时，还应鼓励学生积极参与课堂讨论，提出自己的观点和疑问，以提高他们的思考能力和创新能力。