大数据paas平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合...

16
深圳天源迪科信息技术股份有限公司 大数据 PaaS 平台解决方案 ( 迪数产品 )

Upload: others

Post on 22-Jul-2020

24 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

深圳天源迪科信息技术股份有限公司

大数据PaaS平台解决方案(迪数产品)

Page 2: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

面向数据湖架构解决当前存在的问题

当前存在的问题

• 数据应用创新难

• 技术创新成本高

• 缺少统一数据分析平台

• 企业内部的信息存在壁垒

• 缺少统一数据标准

• 数据源类型结构繁多

• 开发代码和知识无法沉淀 希望不要求统一的格式,可供任意目的的分析

数据应用创新

汇聚各方数据,融入企业数据湖

SMP

一体机

MPP

hadoop

结构化数据

半结构化数据

非结构化数据

数据目录+

分析工具

Page 3: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

建设目标

打造面向未来、高性能、可扩展的,融合的数据湖

大数据平台具备“集中、开放、云化、产品化”

要求

平台和应用分离,实现数据应用百花齐放

大数据时代,企业急需建设企业级大数据平台,解决“计算资源、存储资源、数据资源、

工具及服务”共享问题,汇集各方数据,打造融合的数据湖,建设企业级数据目录,需要加

强基础能力产品化和工具建设思路,实现企业数据和应用共享,降本增效

Page 4: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

提供PaaS平台解决方案(迪数)

数据应用 运营商行业应用 金融行业政府行业应用

云基础设施(私有云、公有云)

数据资产管理

数据治理套件

运营监控

计算存储套件

实时计算平台 离线计算平台

开发分析套件

能力开放门户

数据安全套件

实时多维

数据质量

主数据

其他行业

智能调度

数据可视化

报表工具

服务封装

隐私保护

日志审计

租户管理

权限

认证

加密

脱敏

水印

数据交换工具(多源异构) 分布式爬虫工具

数据开发

产品兼容(CDH、 Apache Hadoop、Hortonworks 等)

Page 5: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

我们的优势

多种部署模式

可以根据行业客户要求,提供

私有云和公用云两种部署模式

技术保持领先技术保持领先性和独立性,系统架构具有良好的灵活性、可扩展性、安全性

一站式体系化产品能力提供一站式全套体系化产品能力,

覆盖了商业智能、数据开发、数据可视化等领域

产品成熟度高产品成熟度高,实现集成化、

流程化、可视化和智能化

Page 6: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

天源迪科具备丰富数据处理经验

✓ 结构化:

✓ 半结构化:上网行为数据、DPI、电商交易数据、电子邮件

✓ 非结构化:视频、图片

数据处理技术种类

✓ 流数据处理

✓ 离线数据处理

当前运行的单个案例

最大非结构化数据量

数据处理规模(己商用全国级项目案例)

300+T

当前运行的单个案例

最大结构化数据量

当前运行的单个案例

集群数据处理节点

120+PB 5000+个

Page 7: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

天源迪科大数据PaaS平台—客户分布

项目使用

• 数据治理套件 18+• 数据开发分析套件 57+• 数据安全套件13+• 计算存储平台9+

持续增长中共18个省份,覆盖电信,移动,联通,公安,广电,新

能源,财政等多个行业

Page 8: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

8

提供一条龙数据开发和运营服务

大规模计算处理能力

研发全流程支持 多团队协作开发

租户开通

数据采集

数据探索

数据加工

统一调度

挖掘建模

服务封装

数据可视化

运营监控

一站式的数据工场

系统之间数据融合

Web化的软件服务

开放的平台

所有模块已实现组件化、服务化

无需安装部署,开箱即用

汇聚各方数据打造融合数据湖

提供可视化工作流程设计器功能

大数据集群能力轻松处理海量数据

大数据PaaS平台—为客户创造价值

为企业提供一站式大数据平台解决方案,帮助客户降低创新成本,助力企业在DT时代更敏捷、

更智能、更具洞察力

Page 9: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

数据治理套件—数据资产解决方案

SaaS

PaaS

DaaS

IaaS

电信/广电行业应用 公安行业应用 金融行业应用 政企行业应用

计算 存储 网络

数据开发

数据安全

数据目录

数据资产管理

数据质量

采集组件(数据源/应用/日志…)

资产检索

资产图谱主数据管理

资产注册 数据安全

运营监控

数据资源(数字、文本、图片、声音、视频)

资产盘点 资产评估

数据血缘

标准化

Page 10: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

数据治理套件—数据资产盘点(资产检索和血缘分析)

Page 11: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

开发分析套件—能力开放门户

Page 12: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

开发分析套件—产品价值及定位

为企业大数据实施提供的一套完整的一站式大数据解决方案产品定位

从数据导入、查找、开发、ETL、调度、部署、建模一站式集成开发环境,降低数据创新成本产品价值

数据运维者

数据开发者

需求提出者需求申请

①数据项注册模型注册

③ETL流程设计数据稽核配置

ETL流程发布申请

④ETL运行监控ETL异常处理数据质量评估

②数据开发

脚本发布申请

数据管理者 数据发布审批 脚本发布审批需求审批 ETL流程上线审批

数据开发 任务调度 运维监控数据注册需求申请

多用户场景

数据管理、开发和运营一体化

Page 13: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

开发分析套件—任务调度和监控提供分布式调度引擎、监控视图、数据稽核报告、异常推送和异常重处理等能力,为企业各类批量处理任务

执行提供支撑,与数据开发工厂贯通,提高工作效率

任务监控视图单任务监控

任务日志

Page 14: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

实时分析 实时营销 预警比对 关系运算

接入层

业务场景

后台引擎

前台界面

统一接入层(消息)

流式计算引擎

SQLContext API DataSet API

标准SQL/StreamSQL

DataTable API

流作业开发 调试 发布上线 自动化监控 数据质量保障 智能化运维 资源、引擎管理

流式计算开发平台 ……

数据源

文件数据源 数据库数据源 事件数据源 第三方数据源IoT数据源

计算存储套件—实时计算平台

Page 15: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

计算存储套件—构建一站式在线流式开发

Page 16: 大数据PaaS平台解决方案 迪数产品 · 一站式的 数据工场 系统之间 数据融合 Web化的 软件服务 开放的 平台 所有模块已 实现组件化、服务化

深圳市高新技术产业园区南区南七道T3大厦B三层

ADD:3/F,T3 Building,Nanqi Road,South Area Shenzhen Hi-Tech Industrial

Park,Shenzhen, P.R.C

电话(TEL):+86-755-26745688

传真(FAX):+86-755-26745666

邮编(P.C.):518057

更多信息,敬请关注微信公众号“天源迪科大数据”

谢谢聆听T H A N K Y O U

无限数据,有形价值天源迪科,帮您挖掘数据价值的专业伙伴!