2018年全国职业院校技能大赛

2018年全国职业院校技能大赛

赛项申报书

赛项名称：大数据技术与应用

赛项类别：常规赛项行业特色赛项□

赛项组别：中职组□高职组

涉及的专业大类/类：电子信息大类

方案设计专家组组长：

手机号码：

方案申报单位（盖章）：中国职业技术教育学会信息化工

作委员会

方案申报负责人：

方案申报单位联络人：

联络人手机号码：

电子邮箱：

通讯地址：

邮政编码：

申报日期：2017.8.30

2018年全国职业院校技能大赛

赛项申报方案

一、赛项名称

（一）赛项名称

大数据技术与应用。（已有赛项，2017年国赛赛项）（二）压题彩照

（三）赛项归属产业类型

电子信息产业---战略新兴产业。

（四）赛项归属专业大类

赛项归属高职610000电子信息大类。

说明：以上专业代码来自于《普通高等学校高等职业教育专科（专业）目录（2015年）》和《普通高等学校高等职业教育（专科）专业目录（2016年增补专业）》。

二、赛项申报专家组

三、赛项目的

（一）引领专业建设与课程改革

国务院印发的《促进大数据发展行动纲要》（以下简称《纲要》），系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。《纲要》提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。

同时，《纲要》中明确指出，要加强专业人才培养，创新人才培养模式，建立健全多层次、多类型的大数据人才培养体系。鼓励采取跨校联合培养等方式开展跨学科大数据综合型人才培养，鼓励高等院校、职业院校和企业合作，加强职业技能人才实践培养，积极培育大数据技术和应用创新型人才。依托

社会化教育资源，开展大数据知识普及和教育培训，提高社会整体认知和应用水平。大数据技术与应用专业是2016年9月教育部批准设立的新专业，各高职院校陆续开设相应的专业和方向，作为新技术和新专业，通过调研，大部分高职院校缺乏相应的师资，本赛项申报单位联合社会各界力量根据各高职院校师资现状组织不同层次的师资培训，共同开发大数据技术与应用专业相关课程和教学资源，共同研究实训装备条件及设备标准。

大数据技术与应用赛项是为适应大数据技术应用产业对高素质技术技能型人才的职业需求，覆盖大数据行业典型工作流程岗位，包括大数据平台与相关工具配置、数据抓取与清洗、数据处理与计算、数据分析与可视化展现等，通过赛项丰富完善学习领域课程建设，使人才培养目标更贴近岗位实际需求，提升专业建设服务社会和行业发展的能力。

赛项考察内容覆盖大数据技术与应用专业核心课程，适应大数据技术应用产业对高素质技术技能型人才的职业需求，覆盖大数据行业典型工作流程岗位，涉及大数据平台与相关工具配置、数据抓取与清洗、数据处理与计算、数据分析与数据可视化等典型大数据技术及其应用。

（二）促进产教融合、校企合作、产业发展

以大数据技术与应用赛项为纽带，搭建校企合作的平台，提升高职院校大数据技术与应用专业及其他电子信息类专业学生的技能及职业素养，满足企业用人需求，实现行业资源、企

业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面紧跟行业及社会发展的需求，缩小学生能力与行业需求之间的差距，促进专业教学建设和教学改革。

（三）展示职业教育教学改革成果及反应师生良好精神面貌

赛项选取真实的典型大数据业务分析应用场景，重点检验参赛选手掌握大数据业务分析方法和方案架构能力、运用大数据相关工具软件解决具体业务问题的能力，激发学生对大数据技术与应用专业知识和技术的学习兴趣，提升学生职业素养和职业技能，努力为中国大数据应用产业发展储备及输送新鲜血液。

2018年大数据技术与应用赛项是2017年全国职业院校大数据技术与应用赛项的延续，通过赛项检验参赛选手运用大数据技术解决实际问题的能力，通过对实际业务数据的分析，运用大数据处理相关算法，揭示业务数据隐含的业务规律，实现对业务运行发展状态的推断和决策。同时，检验参赛队计划组织和团队协作等综合职业素养，强调学生创新能力和实践能力培养，提升学生职业能力和就业质量。

四、赛项设计原则

（一）坚持公开、公平、公正

遵循大赛一贯坚持的公开、公平、公正原则。

通过全国职业院校技能大赛官网及时发布大数据技术与应用赛项相关信息及通知，主要包括赛项样题、赛项规程、赛项说明会通知，按照赛项要求及时召开赛项说明会，对赛项规程和赛项平台环境给予解读、说明，解答参赛师生的疑问。竞赛组织评判工作严格遵守《全国职业院校技能大赛制度汇编》各项要求，整个竞赛过程公开透明，及时发布竞赛进程和成绩。

（二）赛项关联专业人才需求量大、职业院校开设专业点多，服务“一带一路”、“大数据”等国家重点战略

大数据技术是近几年来应用范围不断扩大的朝阳产业技术，信息管理、数据处理、智能制造、电子商务、金融财务、物联网、电子政务等专业领域都大量融入与渗透有关大数据技术及应用内涵，引发复合型技术技能型人才培养的新需求。

国务院中华人民共和国国民经济和社会发展第十三个五年规划纲要（简称“十三五”规划（2016～2020））中提出：“实施国家大数据战略，推进数据资源开放共享”。“未来五年信息化建设将重点实施网络强国战略，实施国家大数据战略”。习近平总书记在“一带一路”国际合作高峰论坛开幕式上提到我们要坚持创新驱动发展，加强前沿领域合作，推动大数据、云计算、智慧

城市建设，连接成21世纪的数字丝绸之路。

根据中国信息通信院（原工信部电信研究院）发布的《中国大数据发展调查报告（2017）》中指出，超过三分之一的受访企业认为数据人才短缺是企业发展大数据所面临的主要问题之一。

图2-1 制约企业大数据发展的主要因素

国家信息中心和南海大数据应用研究院联合发布的《2017中国大数据发展报告》显示，数据分析、系统研发等技术类岗位大多供不应求，数据分析类岗位工作机会最丰富，虽然求职人数占比第一，但人才供给仍然相对不足。

目前全国范围内的高职院校普遍开设“大数据技术与应用”专业或方向。除大数据技术与应用专业学生外，计算机应用技术、计算机网络技术、软件技术、软件与信息服务、云计算技术与应用、电子商务技术等相关专业的学生，经过短期培训和备赛也可以参加大数据技术与应用赛项竞赛。

大数据技术与应用赛项以国家大数据战略规划为依据进行竞赛内容的设计，服务国家大数据战略，推进大数据相关的技术资源开放共享；通过赛项检验高职院校大数据技术与应用及相关专业的教学水平、人才培养模式，协助高职院校大数据技术与应用等专业及方向的人才培养，缩小大数据人才与行业需

求的差距，是响应国家大数据战略实施的具体措施。

（三）竞赛内容对应相关职业岗位或岗位群、体现专业核心能力与核心知识、涵盖丰富的专业知识与专业技能点

大数据技术与应用赛项对应的职业岗位或岗位群包括ETL 研发工程师，数据爬虫工程师、Hadoop开发工程师、数据可视化工程师、数据仓库管理员、企业数据管理员、数据分析师、售前售后工程师、大数据平台技术支持等应用型工程师岗位。重点突出对大数据技术应用能力的考察，涵盖大数据技术与应用专业的主要知识点和核心技能点。

大数据技术与应用赛项的竞赛内容涵盖大数据技术与应用专业、软件与信息服务专业、电子商务专业等专业面向的职业岗位或岗位群技能要求，涵盖Hadoop、HDFS、MapReduce、Hive、Flume、Spark等常见大数据平台组件的安装与维护；网络爬虫的编写与管理；数据清洗、数据整理等计算模型及数据处理过程的设计与实现；机器学习算法与数据分析技术的综合应用；数据可视化方案的设计与实现；现场问题处理；团队协作等多方面的专业知识技能及职业素养。

（四）竞赛平台成熟。根据行业特点，赛项选择相对先进、通用性强、社会保有量高的设备与软件

硬件方面，采用的个人计算机、服务器、网络设备均符合电信级标准且参赛校都有，保障设备可靠、安全、通用。

比赛软件方面，拟采用的大数据实训管理系统，在以下竞

赛和实训中得到检验。

1．2017年全国职业院校技能大赛（高职组）大数据技术与应用赛项（国赛）采用大数据实训管理系统作为竞赛平台，成功地支撑了比赛，比赛过程顺利，竞赛平台稳定、成熟，圆满完成了比赛任务。

2．2017年全国17个省、市、自治区的大数据技术与应用赛项（省赛）采用大数据实训管理系统作为竞赛平台，成功支撑了17个省赛，竞赛平台稳定、成熟，为各省参加国赛前的选拔保驾护航。

3．2016年由中国职业技术教育学会教学工作委员会主办的全国高等职院校大数据技术与应用行业技能大赛采用大数据实训管理系统作为竞赛平台，圆满完成了比赛任务。

4．在全国高等职业院校中，超过120余家职业院校采购大数据实训管理系统用于大数据技术与应用赛项赛前训练和大数据技术与应用专业实训室建设。

经过2017年全国职业院校技能大赛大数据技术与应用赛项（国赛）、2017年17个省、市、自治区的大数据技术与应用赛项（省赛）及2016年全国高等职院校大数据技术与应用行业技能大赛以及两年各职业院校的实训过程检验，大数据实训管理系统运行稳定可靠，平台成熟度较高。

在2018年各省省赛及国赛中，进一步对竞赛中使用的硬件设备和软件进行测试与优化，保证比赛平台的稳定性，提高比赛流畅度。

采用大数据实训管理系统搭建竞赛平台，除了可以支撑竞

赛所需的技术和场景，还可在赛后直接转化为实训平台，满足计算机应用技术、大数据技术与应用、云计算及网络技术、软件技术应用等相关专业实训教学需要。

五、赛项方案的特色与创新点

赛项设计重点突出以下几个方面的特征：

（一）体现先进技术

本方案设计从整体架构、系统平台、应用发布，技能培养目标等方面经过充分论证，赛项充分体现以Hadoop架构为核心的大数据技术应用，采用国际主流先进技术，符合大数据行业相关技术标准和工作规范，直接与市场同步，实现教学应用和产业前沿技术水平的对接。

（二）竞赛内容覆盖行业主流大数据技术

竞赛内容选用大数据行业企业的真实工作过程，从需求到具体实施都体现行业实际业务及大数据应用场景。

大数据技术与应用赛项涵盖大数据平台安装部署、数据采集、数据清洗、整理、计算、分析、展示等标准过程，综合考察大数据技术与应用知识技能；覆盖大数据行业企业主要工作岗位，竞赛过程中所使用的工具和方法符合当前大数据行业企业的相关岗位技能要求。

通过赛前准备及竞赛，让参赛选手及教师在Linux操作系统、Hadoop、Spark、Flume等大数据领域主流框架及工具的使用方式和配置方法、大数据采集与清洗的基本方法、大数据

分析技术、大数据相关算法的应用、数据可视化技术、大数据应用架构设计思路与方法、大数据项目开发流程及项目执行方法等技术、知识技能方面得到的充分锻炼和认知，具备了大数据应用开发及运维的能力。

（三）竞赛过程是大数据技术应用的实战过程

赛项方案设计采用项目实战的模式，从项目背景、项目需求、项目任务、项目目标等方面进行设计和实施。

参赛选手的竞赛过程就是一次完整的大数据企业应用项目实战过程。赛项联合微软、阿里云等国际国内知名企业，采用真实大数据项目工作过程进行设计，竞赛任务覆盖大数据技术企业应用项目研发全过程。竞赛任务按照环境搭建、数据采集、数据处理、数据分析、数据可视化及项目交付物（分析报告）提交等标准项目流程逐步进行，参赛选手基于项目管理相关要求进行分工合作，按照竞赛任务规范操作，完成每个阶段任务，从而完成竞赛。让学生体会和提高大数据处理方面的职业技能。为大数据技术与应用专业提供了一个非常好的综合实训方面的典型案例,引领了专业建设的方向。

（四）竞赛过程公开透明

大数据技术与应用赛项的竞赛方式、考察的知识技能范围、样题、赛项规程、赛项平台环境等内容按照组织规划通过全国职业院校技能大赛官方网站进行公开、公示，按时召开赛项说明会，让参赛选手、教师对竞赛组织过程有充分的了解，安排赛场参观及竞赛现场观摩等组织过程，对赛场现场参观环

节、赛场实况进行实时转播、网络直播或其它媒体等多渠道宣传报道，充分体现了竞赛的公平、公正、公开的原则。

（五）竞赛评分公平、公正

在赛题设计方面，按照客观赛题评判唯一性，主观赛题评判客观化的设计原则，进行赛题和评分标准的设计，考察参赛选手对关键知识技能掌握程度，保证了竞赛的公平、公正性。

赛项评分采用结果评分，客观性竞赛任务占比70%，主观性竞赛任务占比30%。其中客观性竞赛任务采用自动化评分方式，降低人为因素对竞赛结果的影响，主观性竞赛任务评分标准清晰，设定详细评分细则，使主观评分过程客观化。

（六）竞赛资源转化

本着赛项为专业建设服务、为教学服务的原则，积极贯彻“以赛促教、以赛促改、以赛促学”的精神，努力探索竞赛内容向教学资源的转化。结合本赛项的教学资源转化工作，协调相关专业院校及其行业优势企业，建立健全高职大数据技术与应用专业核心技能标准、教学资源及其相关资源库建设，将竞赛内容转化为综合人才培养解决方案，实现对各院校相关专业现有基础资源的提升，达到赛项资源转化目标。

●赛项竞赛任务均可转化为实际教学当中的课程建设资源

或项目教学实验实训案例。

●赛项考核技能点可转化为大数据技术与应用专业核心技

能标准。

●通过对技能训练指导书和操作规范学习，计算机应用、

计算机网络技术等相关专业的学生也能够学习到大数据

相关知识技能，胜任企业的大数据应用相关岗位需要。

●大数据技术与应用赛项的教学资源库转化成果可并入大

数据技术与应用专业及其相关专业的学习资源库。

（七）赛项设备利用

赛项所选择使用的竞赛平台，基于大数据主流技术开发完成，是一个教学与训练为一体的系统。该系统既可以比赛使用，也可在赛后直接转化成学校的实训教学使用设备，满足教学、实训使用，可以帮助学校构建一个小型的大数据应用实训平台，直接用于日常专业课实训教学。

参加2017年大数据技术与应用（高职组）各省省赛、2017年全国职业院校技能大赛（高职组）大数据技术与应用赛项（国赛）的已经购买大数据实训管理系统的院校以及购买大数据实训管理系统作为实训装备的院校，不用再重复购买设备。

（八）竞赛内容设计理念先进，与国际大赛接轨

1．赛项内容的设计充分参考大数据技术与应用相关的国内、国际竞赛，覆盖市场先进大数据技术工具、框架及知识点，重点考核参赛选手使用大数据技术解决实际问题的能力，清晰展现大数据价值路径，与大数据技术与应用相关国际赛事设计理念一致。

2．2017年全国职业院校技能大赛（高职组）大数据技术

与应用赛项赛题中关于大数据平台的考核，侧重于大数据平台的环境部署，通过2017年大数据技术与应用国赛检验，大部分参赛选手能够部署大数据平台的环境，2018年全国职业院校技能大赛（高职组）大数据技术与应用赛项赛题中关于大数据平台的考核，侧重于大数据平台参数的调优，提高运行效率。

3．人工智能技术在大数据领域的应用，有了更高效方便的计算工具出现，本次赛题设计加入了TensorFlow相关内容。

六、竞赛内容简介

赛项名称：大数据技术与应用（Big Data Technology And Application）

赛项简介：

赛项竞赛设计遵循《全国职业院校技能大赛制度汇编》的总体指导思想及原则。竞赛内容的设计适应国家大数据人才战略与行业发展需要，聚焦大数据技术与应用专业人才培养特点，覆盖大数据技术与应用领域岗位的主要技能，围绕大数据技术与应用领域的先进技术，主流产品及开发框架、标准化工作流程及工作步骤，力求突出面向应用的知识技能考核。

参赛选手需要按照赛题要求完成业务需求分析，形成设计文档，考察选手的业务分析能力；基于大数据实训管理系统，综合运用数据抓取工具、Hadoop、HDFS、Hive、Flume、Spark等主流大数据平台及框架，TensorFlow、Scikit-learn机器学习库，numpy 、matplotlib、D3.js、EChart.js、HighChart.js等数据可视化库、Python等开发语言和技术，匹

配和链接数据源，完成数据采集、数据提取、清洗、转换、分析等操作，生成分析结果并实现可视化呈现，最终依据项目需求完成数据分析报告。

本赛项是对参赛选手大数据知识、技能和应用能力的综合检验，从实际企业项目出发完成大数据项目各阶段需要掌握的技能的考察，在一定程度上促进了高职院校大数据技术与应用相关专业及课程建设促进学生综合应用能力和职业素质的同步提高，提升毕业生的就业竞争力。

The contest design follows the general guiding ideology and principles of the Compendium of National Vocational College Skills Competition. The design of the competition content to adapt to the national large data talent strategy and industry development needs, focusing on large data technology and application of professional personnel training characteristics, covering large data technology and application areas of the main skills, around the large data technology and application of advanced technology, mainstream Product and development framework, standardization of work processes and work steps, and strive to highlight the application of knowledge and skills assessment.

According to the requirements of the competition requirements to complete the business needs analysis, the formation of design documents, study the player's business analysis capabilities; based on large data training

management system, the comprehensive use of data capture tools, Hadoop, HDFS, Hive, Flume, Spark and other mainstream Data platform and framework, TensorFlow, Scikit-learn machine learning library, numpy,matplotlib, D3.js, EChart.js, HighChart.js and other data visualization library, Python and other development language and technology, matching and linking data sources, complete data collection, data extraction, Cleaning, conversion, analysis and other operations, generate analysis results and achieve visual presentation, and ultimately based on project needs to complete the data analysis report.

This competition is a comprehensive examination of the knowledge, skills and application ability of the contestants. It is necessary to master the skills of the large-scale data projects from the actual enterprise projects, and to a certain extent, to promote the large data technology of higher vocational colleges And application-related professional and curriculum to promote the comprehensive application of students and professional quality of the simultaneous increase, improve the employment competitiveness of graduates.

七、竞赛方式

参考《全国职业院校技能大赛参赛报名办法》的相关要求，确定本赛项的竞赛方式。

本赛项是团体赛，以院校为单位组队参赛，不得跨校组队。每个参赛队由3名参赛选手组成，其中队长1名，可配2名指导教师。选手必须是2018年普通高等学校全日制在籍专科学生。2018年本科院校中高职类全日制在籍学生、2018年高职类全日制、五年制高职4-5年级在籍学生，性别与年级不限，年龄不超过25周岁。

本赛项以省、自治区、直辖市为单位组织报名参赛。报名通过全国职业院校技能大赛网络报名系统统一进行。

鼓励各省组织省赛。

本届比赛拟邀请境外代表队参赛。

赛项采用统一规格的硬件、软件和辅助工具，确保竞赛平台统一。

八、竞赛时间安排与流程

（一）竞赛时间安排

（二）竞赛流程

九、竞赛试题

2018年全国职业院校技能大赛高职组

大数据技术与应用赛项任务书（样题）

（一）需求背景

利用大数据分析地区出行人流，科学调配共享单车投放量，解决共享单车的投放量过剩问题。

据不完全统计，全国累计投放共享单车1000万辆，根据北京政府新闻办披露的数据，北京市的共享单车投放总量已达70万辆。国家交通部运输服务司表示，在部分城市、部分地区共享单车存在投放量过剩的情况。

共享单车的投放量过剩导致了一系列的问题，其中许多城市的共享单车乱停乱放现象严重，挤占公共出入口、人行道、盲道、非机动车道等，严重影响了城市道路交通的顺畅运行。

为了解决共享单车投放量过剩导致的公共交通问题，北京市有关部门委托公司对指定的三个试点商圈的共享单车投放量进行预测分析，形成分析报告，为后续的共享单车区域投放量提供决策依据。

（二）项目需求

构建大数据分析平台，接入北京市人口网格数据（公开数据）、企业数据（公开数据）、停车场数据、公共交通数据、共享单车停放位置（脱敏数据）等数据约10G，完成数据清洗、转化等数据处理，形成指定的三个试点商圈的数据仓库并对三个商圈的数据进行分析，提交共享单车区域投放量数据分析报告。

要求采用Hadoop或Hadoop／Spark计算框架提升数据计算性能，系统平台安全可用，应采用较为成熟的开源框架构