TipDM

大数据 成就未来 http://www.tipdm.org

大数据应用型人才技能需求

与鱼骨教学法

张良均

TipDM TipDM

目录

从案例看大数据技能要求

人才培养模式探索：鱼骨教学法

1

2

TipDM

案例1：招标数据服务推送项目

如何及时获取招标信息？

竞争对手有哪些？

公司产品该如何优化？

招标信息繁多，如何及时获取当前匹配的招标信息及竞争对手情况？

哪些跟公司是匹配的？

TipDM

招标云项目

TipDM

案例1：招标数据服务推送项目

TipDM

案例2：法律网站用户行为分析与智能服务推荐

法律快车是一家大型的法律资讯信息网站，它一直致力于为用户提供丰富的法律资讯信息与丏业法律咨询服务，并为律师与律师事务所提供卓有成效的互联网整合营销解决方案。

TipDM

面临以下问题：

1、大量的访问用户，每天上千万次的点击量，为其带来发展也带来瓶颈。

2、如何留住需要帮助的用户，快速找到其感兴趣的页面？并进一步为其推荐律师？

3、自身寻求解决思路，并且尝试做过一部分推荐系统，但是推荐效果不佳。

案例2：法律网站用户行为分析与智能服务推荐

TipDM

大数据技术的主要应用场景

纳税评估 信用审查 交易反欺诈 ……

广告优化 精准投放 ……

舆情监测 日志分析 ……

商圈分析 商业选址 ……

客户细分 用户行为分析 客户关联性分析 ……

人脸识别 语音识别 ……

基因检测 临床医疗 ……

客户服务类 网络安全类 社交类 法律研究类 …… 1

5

6

7

N

4

文本挖掘

地理商业智能

风控类

营销类

音频类

生命科学

广告媒体类

3

2 ……

TipDM

大数据工程对人员技能要求

提供包括数据存储在内的基础设施，Hadoop、Hive、HBase、

Spark、Sqoop、Storm等是其中最热门领域 底层：基础平台

中层：通用技术

上层：行业应用

数据管理相关技术，连接数据源与数据处理之间桥梁，包括数据

采集、网络爬虫、数据分析、可视化等数据处理技术

将数据与垂直行业进行融合，如征信、反欺诈、刑侦破案，营销

推荐等

技术分类 技术能力描述

TipDM

大数据主要技能岗位

主要岗位（群） 典型工作任务 核心能力 核心知识 核心课程

大数据分析工程师 数据挖掘建模

利用 python 对数据探

索、预处理、建模、评

价的能力

数据挖掘建模思

想

数据挖掘和机器学习、

Python 数据挖掘与应

用、数据库应用技术

大数据开发工程师 海量数据处理 对海量数据进行分布

式存储和分布式计算 分布式并行计算

Hadoopda大数据开发、

大数据存储、Spark大数

据快速运算、Oozie大数

据工作流技术

大数据运维工程师 大数据系统运维 运营维护大数据系统 操作系统和

Hadoop 生态

操作系统、数据库应用

技术、Hadoopda大数据

开发、大数据存储、

Spark 大数据快速运算

大数据可视化工程

师 数据可视化展现

熟练运用 js组件对数

据进行可视化展现

数据展现原则与

思想 数据可视化

数据采集/网络爬

虫工程师 网络数据爬取

网络数据爬取、分布式

数据采集 数据爬取存储

网页设计、Python 网络

爬虫

TipDM TipDM

目录

从案例看大数据技能要求

人才培养模式探索：鱼骨教学法

1

2

TipDM

大数据项目研发主要流程

TipDM

课程体系（围绕鱼骨教学法展开）

大数据存储技术

数据分析与应用

数据整合与预处理

数据可视化

大数据数学基础

企业 案例

数据采集 数据存储 数据预处理 数据分析/挖掘 数据可视化

大数据应用技术基础

数据库应用技术

网络爬虫技术

大数据处理技术

TipDM

“数据科学与大数据技术”本科课程体系（理学）

数学

统计学

计算科学

数据价值不断提升

课 程 体 系

传统课程 深入学习课程 整合后核心课程

高等数学

解析几何

矩阵运算

线性代数

……

概率论

数理统计

多元统计

时间序列分析

……

C程序设计

JAVA程序设计

操作系统基础

数据结构

数据库概论

……

数学分析

高等代数与解析几何

概率论

数理统计

……

Linux基础

数据库应用技术（MySQL）

面向对象分析与设计（JAVA）

R语言基础

数据挖掘基础（R语言）

ETL数据整合与预处理

数据采集与网络爬虫（R语言）

数据可视化

深度学习

文本挖掘

图像数据挖掘

……

Python编程技术

Hadoop大数据开发基础

大数据存储技术

金融大数据

健康医疗大数据

交通大数据

物流大数据

……

TipDM

“数据科学与大数据技术”本科课程体系（工学）

数学

统计学

计算科学

数据价值不断提升

课 程 体 系

传统课程 深入学习课程 整合后核心课程

高等数学

解析几何

矩阵运算

线性代数

……

概率论

数理统计

多元统计

时间序列分析

……

C程序设计

JAVA程序设计

操作系统基础

数据结构

数据库概论

……

数学分析

高等代数与解析几何

概率论

数理统计

……

Linux基础

JAVA程序设计

Python语言基础

数据库应用技术

数据挖掘基础（Python）

数据采集与网络爬虫

ETL数据整合与预处理

Hadoop大数据开发基础

大数据存储技术

Spark大数据技术与应用

数据可视化

……

智能推荐技术

深度学习

文本挖掘

图像数据挖掘

金融大数据

健康医疗大数据

交通大数据

物流大数据

……

TipDM

TipDM

应用技术基础

TipDM

数据整合与预处理

ETL

TipDM

数据分析与应用

TipDM

TipDM

TipDM TipDM

8/15/2017

Thank you.

谢谢！

TipDM TipDM

8/15/2017

竞赛网站：www.tipdm.org

手机：13560356095

微信：13560356095

QQ：13560356095

张良均