一、项目名称:大数据应用开发
二、项目负责人:吴继兵、罗海峰
三、竞赛目的:
本赛项旨在对接安徽省职业院校技能大赛(高职组)大数据应用开发赛项,选拔备赛选手。旨在落实国家“建设数字中国”战略,协同推动大数据相关产业的创新与发展,大力推进大数据技术及相关专业的技术技能型人才培养,全面提升相关专业毕业生的综合能力,展现选手团队合作、工匠精神等职业素养,赋能经济社会高质量发展。竞赛内容结合当前大数据相关产业中的新技术、新要求,全面检验参赛选手的工程实践能力和创新能力。竞赛内容围绕大数据相关产业岗位的实际技能要求进行设计。
四、竞赛班级及指导教师
2024级大数据技术专业学生
指导教师:吴继兵、朱毓、罗海峰。
五、竞赛时间
2026年6月29日- 7月2日
六、竞赛地点及设备要求:
(一)地点:T404
(二)设备要求:
自备笔记本电脑,性能高于 i5 处理器,不小于 8GB 内存,不小于 500GB 硬盘,显示器分辨率要求 1024*768 以上。
操作系统:Windows7或 Windows10
开发环境: VMware虚拟机、jdk-8u212、CentOS-7、hadoop-3.1.3
七、竞赛方式与内容:
(一)竞赛方式
1.竞赛采取个人比赛方式;
2.学生以结果答题卡文档的形式提交比赛结果。
(二)竞赛内容
本赛项涉及的典型工作任务包括大数据平台搭建、离线数据处理、数据挖掘、数据采集与实时计算、职业素养,引入行业内较为前沿的技术作为创新、创意的范围与方向,考查的技术技能如下:
(1)大数据平台搭建: Hadoop完全分布式安装配置、Hadoop HA安装配置、Spark on Yarn安装配置、Flink on Yarn安装配置、Hive安装配置、Flume安装配置、ZooKeeper安装配置、Kafka安装配置、HBase分布式安装配置。
(2)离线数据处理:基于Spark的数据清洗处理方法、基于Hive的数据清洗处理方法、数据仓库基本架构及概念、MySQL基本操作、Azkaban 基本操作。
(3)数据挖掘:特征工程应用、SparkML机器学习库应用开发、推荐算法的召回和排序、回归模型、聚类模型、决策树模型、随机森林模型应用。
(4)数据采集与实时计算:基于Flume及Kafka的数据采集方法、基于Flink的实时数据处理方法、HBase基本操作、Redis 基本操作、MySQL基本操作。
八、竞赛规则:
1.参赛选手应严格遵守赛场纪律,服从指挥,着装整洁,仪表端庄,讲文明礼貌。
2.在竞赛过程中,参赛选手如有疑问,应举手示意,考场裁判应按要求及时予以答疑。如遇设备或软件等故障,参赛选手应举手示意,考场裁判应及时予以解决。确因计算机软件或硬件故障,致使操作无法继续的,经考场裁判确认,予以启用备用设备。
3.参赛选手原则上不得因各种原因提前结束比赛。现场比赛结束,经裁判员确认后方可离开赛场。
九、评分标准:
根据参赛选手比赛过程中的表现和提交的比赛结果,严格按照项目指标体系进行评分,竞赛名次按照得分高低排序。
序号 | 比赛模块 | 考核内容 | 比例 |
1 | 大数据平台搭建 | 大数据平台及相关组件的安装、配置、可用性验证等内容。 | 20% |
2 | 离线数据处理 | 选手对Hadoop平台、Spark平台、 Hive数据仓库、任务调度工具等的综合应用能力,使用Scala开发语言,完成离线数据 抽取、数据清洗、数据指标统计等操作,并存入MySQL中。 | 30% |
3 | 数据挖掘 | 运用常用的机器学习方法对数据进行数据挖掘分析。 | 20% |
4 | 数据采集与实时计算 | 对Flink平台、Flume组件、Kafka组件等的综合应用能力,基于Flume和Kafka进行实时数据采集,使用Scala开发语言,完成实时数据流相关数据指标的分析、计算等操作,并存入HBase、MySQL中。 | 20% |
5 | 职业素养 | 操作规范,文明竞赛,结果文档规范。 | 10% |
十、成果公示:
1、学院信息工程系网站
十一、评奖方式:
1.评委组成
吴继兵、朱毓、罗海峰
2.奖项设定
一等奖1人,二等奖2人,三等奖3人。
皖公网安备34070202000061号