大数据工程技术人员
- 职业概况
- 基本要求
- 职业功能
- 权重表
- 关联政策
职业名称
大数据工程技术人员
职业编码
2-02-10-11
职业技能等级数量
五个
普通受教育程度
高中(或同等学历)
职业概况
职业定义
从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、 维护和服务的工程技术人员。
职业环境条件
室内,常温。
职业能力特征
具有较强的学习能力、计算能力、表达能力及分析、推理和判断能力。
职业技能鉴定要求
鉴定方式
监考人员、考评人员和考生
鉴定时间

鉴定场所设备
基础知识
职业道德
申报条件
职业功能
- 大数据处理方向
- 大数据分析方向
- 大数据管理方向
| 职业功能 | 工作内容 | 技能要求 | 相关知识要求 |
|---|---|---|---|
| 大数据系统搭建 | 1.1硬件系统搭建 |
1.1.1 能根据施工方案,进行需求
沟通并确认设备参数
1.1.2 能参照施工方案,对大数据
机架及大型设备进行机房空间规划并
部署服务器
1.1.3 能根据组网规划方案,对各
服务器或需联通网络设备进行组网布
置
1.1.4 能根据现场 设施及 电力 系
统,对设备进行上电测试及点亮测试 |
1.1.1 硬件设备功能知
识
1.1.2 服务器组网知识
1.1.3 服务器配置知识 |
1.2软件系统部署 |
1.2.1 能根据系统部署方案,安装
集群环境、硬件环境、虚拟化环境所
需的各类系统
1.2.2 能根据软件部署方案使用脚
本部署产品或用原生方法安装各类大
数据功能组件
1.2.3 能根据节点连接信息配置大
数据集群
1.2.4 能根据集群功能对组件进行
启动调试 |
1.2.1 操作系统安装及
操作知识
1.2.2 云计算及虚拟化
部署知识
1.2.3 大数据组件安装
知识
1.2.4 大数据集群配置
知识
1.2.5 大数据组件基础
操作知识 | |
| 大数据平台管理与运维 | 2.1平台管理 |
2.1.1 能对现有大数据集群的各类
组件进行应用变更或版本更迭
2.1.2 能根据上线计划,按时完成
功能上线
2.1.3 能对提交代码的版本进行管
理 |
2.1.1 应用变更管理知
识
2.1.2 代码仓库托管知
识
2.1.3 功能持续集成知
识
2.1.4 代码版本控制知
识 |
2.2系统运维 |
2.2.1 能使用工具对集群的软硬件
运行状态进行监控管理
2.2.2 能使用工具对大数据集群的
各类组件、服务的运行状态进行监控
管理
2.2.3 能使用工具对作业运行情况
和资源占用情况进行监控管理
2.2.4 能根据故障报告,参与故障
排查,处理故障问题
2.2.5 能根据容灾计划,定期备份
和迁移关键数据 |
2.2.1 管理平台操作知
识
2.2.2 系统环境监控知
识
2.2.3 常见故障排查知
识
2.2.4 容灾备份知识 | |
2.3安全维护 |
2.3.1 能根据权限规范,使用工具
配置和管理用户权限
2.3.2 能针对各类突发的外部攻击
或异常事件进行应急处理
2.3.3 能对安全系统进行升级和维
护 |
2.3.1 权限管理知识
2.3.2 常见异常处理知
识
2.3.3 网络攻防知识 | |
| 大数据技术服务 | 3.1技术咨询 |
3.1.1 能根据团队既定计划, 收集
市场目标信息
3.1.2 能配合销售团队制作宣讲材
料及解决方案展示材料
3.1.3 能配合工程师解决客户技术
咨询问题并提供参考信息 |
3.1.1 大数据行业应用
知识
3.1.2 大数据技术体系
知识 |
3.2解决方案设计 |
3.2.1 能根据已有的产品解决方案
调整输出具体的项目解决方案
3.2.2 能进行产品演示和讲解产品
特性
3.2.3 能根据客户沟通反馈整理需
求文档
3.2.4 能根据客户需求提供产品咨
询及软件架构 |
3.2.1 大数据基础理论
知识
3.2.2 大数据行业发展
知识
3.2.3 大数据软件架构
知识 | |
| 大数据处理与应用 | 4.1数据采集 |
4.1.1 能根据业务需求进行在线、
离线数据采集
4.1.2 能根据调度策略使用框架设
置调度作业
4.1.3 能根据存储策略进行数据存
储 |
4.1.1 网络爬虫知识
4.1.2 离线数据采集知
识
4.1.3 实时数据采集知
识
4.1.4 作业调度知识
4.1.5 文件系统数据存
储知识
4.1.6 关系型数据库知
识
4.1.7 非关系型数据库
知识 |
4.2数据预处理 |
4.2.1 能根据业务 需求对遗漏数
据、噪音数据、不一致数据等进行清
洗
4.2.2 能根据业务需求对多源数据
进行整合
4.2.3 能根据业务规则对数据格式
进行转换
4.2.4 能根据数据归一性原则对数
据进行单位、数值规约 |
4.2.1 数据清洗知识
4.2.2 数据 ETL 知识
4.2.3 数据库基础操作
知识
4.2.4 SQL 函数知识
4.2.5 结构化、半结构
化与非结构化知识 | |
4.3数据计算 |
4.3.1 能根据业务需求编写批量、
实时数据计算作业
4.3.2 能根据数据特征计算数据标
签并进行汇总
4.3.3 能根据数据指标规则计算关
键业务指标 |
4.3.1 分布式计算知识
4.3.2 内存计算知识
4.3.3 数据结构封装知
识
4.3.4 关键业务指标知
识 | |
4.4数据查询 |
4.4.1 能根据数据平台构建联机事
务分析系统并进行即席查询
4.4.2 能根据检索引擎创建索引库
并进行数据检索
4.4.3 能使用交互式查询工具创建
数据接口并提供对外服务接口
4.4.4 能使用交互式查询平台制作
报表及展示图表 |
4.4.1 OLAP 系统应用知
识
4.4.2 数据检索知识
4.4.3 交互式计算知识
4.4.4 报表制作知识 | |
| 大数据应用开发 | -- | -- | -- |
| 大数据分析与挖掘 | -- | -- | -- |
| 大数据管理 | -- | -- | -- |
- 大数据处理方向
- 大数据分析方向
- 大数据管理方向
理论知识权重表
| 项目技能等级 | 五级/低级工(%) | 四级/中级工(%) | 三级/高级工(%) | 二级/技师(%) | 一级/高级技师(%) | |
|---|---|---|---|---|---|---|
| 基本要求 | 职业道德 | 5 | 5 | 5 | - | - |
| 基础知识 | 20 | 15 | 10 | - | - | |
| 相关知识要求 | 大数据系统搭建 | 20 | 15 | 10 | - | - |
| 大数据平台管理与运维 | 20 | 20 | 10 | - | - | |
| 大数据技术服务 | 10 | 10 | 15 | - | - | |
| 大数据处理与应用 | 25 | 20 | 10 | - | - | |
| 大数据应用开发 | 0 | 15 | 15 | - | - | |
| 大数据分析与挖掘 | 0 | 0 | 15 | - | - | |
| 大数据管理 | 0 | 0 | 10 | - | - | |
技能要求权重表
| 项目技能等级 | 五级/低级工(%) | 四级/中级工(%) | 三级/高级工(%) | 二级/技师(%) | 一级/高级技师(%) | |
|---|---|---|---|---|---|---|
| 基本要求 | 职业道德 | - | - | - | - | - |
| 基础知识 | - | - | - | - | - | |
| 相关知识要求 | 大数据系统搭建 | 30 | 15 | 10 | - | - |
| 大数据平台管理与运维 | 20 | 25 | 20 | - | - | |
| 大数据技术服务 | 10 | 15 | 20 | - | - | |
| 大数据处理与应用 | 40 | 30 | 10 | - | - | |
| 大数据应用开发 | 0 | 15 | 15 | - | - | |
| 大数据分析与挖掘 | 0 | 0 | 15 | - | - | |
| 大数据管理 | 0 | 0 | 10 | - | - | |
杭州市居住积分管理办法(试运)
一、为完善和创新流动人口服务管理,保障流动人口合法权益,加快市民化进程,提高城市治理水平,促进本市经济、社会、资源、环境与人口协调发展,根据《浙江省流动人口居住登记条例》及杭州市流动人口服务管理相关规定,结合本市实际,制定本办法。 二、在本市市区范围内持有效《浙江省居住证》(以下简称《居住证》)的积分申请人的积分管理工作,适用本办法。 三、本办法所称的居住证积分是指通过设置积分指标体系,将《居住证》持有人的个人情况和实际贡献转化为相应的分值。积分达到一定分值的,可以按相关规定享受相应的公共服务或申请积分落户。 四、市流动人口服务管理委员会办公室负责居住证积分管理工作,牵头建设、维护全市积分管理信息系统,推进各部门涉及流动人口信息资源的整合、共享,组织、协调、指导和督促居住证积分管理工作。 发改、公安、建设、人力社保、财政、交通、市场监管、住保房管、城管、文广新闻出版、卫生计生、教育、司法、民政、国土资源、规划、税务、科委、工会、团委、红十字会等有关部门按照各自职责,负责居住证积分材料审核以及积分应用等相关工作。 各区政府(管委会)负责本办法在本辖区范围内的具体组织实施工作,并负责在相应服务中心设置居住证积分受理窗口,提供一站式服务。受理窗口负责积分申请受理、材料初审、资料录入等工作。 各区政府(管委会)流动人口服务管理委员会办公室负责组织实施本辖区居住证积分管理工作,承担积分审核、积分汇总、积分认定、积分调整、异议核查等工作。 五、居住证积分指标体系由基础分指标、加分指标、减分指标和一票否决指标组成。基础分指标包含年龄、文化程度、专业技术职称和技能等级、在本市工作及缴纳社会保险年限、住所及居住年限情况等指标。加分指标包括奖项荣誉、社会服务、投资纳税、科技创新等情况。减分指标包括刑事犯罪、行政拘留、违反计划生育政策、个人不良信用记录等。一票否决指标是指有严重刑事犯罪记录和参加国家禁止的组织或活动的。 相关部门在积分应用时,应当充分考虑引导人口合理流动,优化人口空间布局,可以增设特定公共服务领域、重点区域等引导性指标。 六、基础分指标和加分指标中,同一单项指标的积分不重复计算,取该单项指标的最高分。基础分指标中的“文化程度”“专业技术职称或技能等级”两项指标,选择其中分值高的一项进行积分。“住所及居住年限”指标根据不同的住所及居住年限情况进行积分。减分指标按照减分项目对积分进行累计扣减。申请人的总积分等于基础分与加分之和减去扣减积分,最低分值为0分。 申请人有严重刑事犯罪记录,或参加国家禁止的组织或活动的,取消申请积分资格。 七、流动人口在办理居住证申领、居住证签注、居住证变更手续等相关业务时,公安机关或者受公安机关委托的服务管理机构工作人员应当向其告知积分管理制度。 八、申请人可以通过互联网或手机客户端等登录应用服务平台开展模拟积分。 九、申请人可以向居住地积分受理窗口提出积分申请,也可通过互联网、手机客户端等登录应用服务平台提出积分申请和预约办理。在提出申请时申请人应递交相关材料,包括《居住证》《杭州市居住证积分管理申请表》以及杭州市居住证积分管理指标体系(试行)规定的相应证明材料。积分受理窗口已实现信息共享或联审联办的,申请人可以不提交相关证明材料。 申请人可以书面委托用人单位提出积分申请。未满16周岁的未成年人和行动不便的老年人、残疾人等,可以书面委托用人单位提出积分申请。未满16周岁的未成年人和行动不便的老年人、残疾人等,可以由其监护人、近亲属代为提出积分申请。用人单位管理部门、监护人、近亲属代为提出申请的,应当同时提供委托人、代办人的有效身份证件或者身份证明。 十、积分受理窗口依托积分管理信息系统开展积分申请受理和信息录入,对材料齐全的,应当场受理并出具收件凭证;对材料不齐全的,应一次性告知申请人需要补齐的材料。申请人应当对积分申请材料的真实性负责。 十一、积分受理窗口对申请材料进行初审后录入积分管理信息系统,尚未实现系统数据共享和在线审核比对的,应即时通过系统推送至相关职能部门和单位进行审核。相关职能部门和单位应当在15个工作日内完成审核并反馈。
