big data world forum

31

Upload: bigdatawf

Post on 02-Nov-2014

612 views

Category:

Documents


9 download

DESCRIPTION

Big Data World Forum (BDWF http://www.bigdatawf.com/) is specially designed for data-driven decision makers, managers, and data practitioners, who are shaping the future of the big data.

TRANSCRIPT

Page 1: Big Data World Forum
Page 2: Big Data World Forum

中国联通云计算研究与实践

张云勇

Page 3: Big Data World Forum

云计算发展现状

目 录

1

2 中国联通云计算应用思考

3 中国联通云计算研发实践

提纲

Page 4: Big Data World Forum

云计算发展背景

技术驱动

需求驱动经济与环

境的驱动

云计算驱动力

宽带通信与互联网

技术应用发展

虚拟化和分布式处

理技术发展

经济、社会信

息化大发展

海量信息的处

理与普适化、智能

化应用

低成本信息

处理与应用

全球低碳经

济与节能减排行

Page 5: Big Data World Forum

云计算内涵

维基百科定义 云计算是一种基于互联网的计算新方式,通过互联网 上异构、自治的服务为个人和企业用户提供按需即取的 计算,软件和信息。

Gartner咨询公

司定义

云计算是一种使用网络技术并由IT能力,而具有可扩 展性和弹性能力,并作为服务提供给多个外部用户的计 算方式。

中国联通定义 云计算是一种新的计算方法和商业模式,即:通过虚 拟化、分布式处理和宽带网络等技术,按照“即插即用”

的方式,自助管理运算、存储等资源能力,形成高效、 弹性的公共信息处理资源,使用者通过公众通信网络,

以及按需分配的服务形式获得动态可扩展信息处理能力 和应用服务,也是电信运营商新的信息服务产品和ICT

交付模式。

Page 6: Big Data World Forum

国外典型案例

Amazon Technology PlatformAWS –

Amazon Web Services

电子商务网络能力开放

计费

支付

搜索

订单管理、广告

人工智能

IT基础服务

存储资源出租

计算资源出租

数据库

消息队列

媒体传送

Amazon以在线书店和电子零售起家,成为资格最老的云计算提供商之一Amazon以在线书店和电子零售起家,成为资格最老的云计算提供商之一

5

100万台X86服务器

GAE引擎服务

Google应用

搜索 广告

VoIP/IM 地图服务

照片分享 邮件

视频分享

办公套件 日历

Google通过云计算支撑自有业务,同时把业务范围扩

大到消费者搜索市场以外的领域

Google通过云计算支撑自有业务,同时把业务范围扩

大到消费者搜索市场以外的领域

目前已经服务于

77000家公司,

110万个注册用户

500强中1/3以上

企业使用

Salesforce业务

年收入超过10亿

美金

Salesforce以CRM为主要产品,目前已经发展成为最成

功的SaaS服务商

Salesforce以CRM为主要产品,目前已经发展成为最成

功的SaaS服务商

打造产业链丰富业务应

合作伙伴共建,丰富业务应

数据中心资源平台整合,对外提供公用服务

作为云计算的推动者,Amazon 历经2年多时间,形

成了基本成熟的云计算服务。存储对象数从07年4月

份50亿增长到09年底的400亿,在一年半的时间里增

长8倍

到09年底,已经有49万开发者基于Amazon IaaS和

AWS开发应用,云服务收入约4亿美金

Page 7: Big Data World Forum

国外运营商云业务开展情况

公司名称 主要业务 商业模式 经营规模 营收能力

Rackspace 物理托管、云托管虚拟化、存储备份安全和电子邮件等

CPU使用时间+存储量

5万服务器存储量月1PB递增

0.6亿美元/年

Joyent 负载均衡计算、存储虚拟专用网(VPN)

内存使用量定制套餐

3万客户近5万应用服务3千万以上用户

0.1亿美元/年

AT&T 负载均衡计算、存储网络

CPU使用时间+存储量+IP数量+传输流量

‐ ‐

Verizon 云备份计算资源出租云存储

CPU使用时间+存储量 ‐ ‐

Alatum和Starbus 开发环境租用虚拟资源租用网络带宽租用

CPU核数+存储容量+使用时间+传输流量+带宽

‐ ‐

国外云计算相关技术、业务和商业模式发展较为成熟,有较强的营收能力。

Page 8: Big Data World Forum

云计算带来的机遇及挑战

国家实施的新型经济增长模式和产业结构调整对信息技术的依赖

我国移动互联网、三网融合、物联网的发展,带动了海量信息运算、

存储和开发应用的产业发展

我国宽带与移动通信网络基础设施发展迅速,云计算关键技术基本成

普遍缺乏对云计算的“规模化、集约化和专业化”新型生产力、生产关系

的认识和对云计算产业布局的统筹规划

缺乏具有我国自主知识产权的关键技术储备和统一的云计算产业标准

机遇

挑战

Page 9: Big Data World Forum

云计算发展总体趋势

技术趋势 业务趋势

关键技术从封闭向开源、

开放方式发展;

计算机从高档小型机向

简单的x86机群发展;

IT架构从分散烟囱式向

超大规模扁平化发展;

IT资源从独占向虚拟化

共享方式发展;

软件从单机系统向分布

式并行架构发展;

终端从复杂向简单、智

能化发展。

计算资源将按“全程全网”统 一、集中、高效、共享原则管

理,其物理位置与职能无关,

使用者按需以服务方式获得能

力(网络、存储、计算、平台)

或应用;

信息产业将按资源管理、数

据托管、流程外包、平台维护、

应用开发、服务提供进行专业

化分工与合作;

共享基础设施、开放平台能

力、汇聚应用,将采用面向服

务体系的产业组织模式。

Page 10: Big Data World Forum

云计算内涵及发展现状

目 录

1

2 中国联通对云计算应用的思考

3 中国联通云计算研发实践

提纲

Page 11: Big Data World Forum

符合国家低碳经济政

策建设高效、精细、

智能的IT支撑系统业务支撑的

快速响应

通过IaaS技术,

实现支撑系统的节

能降耗,符合 国家

低排放经济战略,

满足绿色信息化需

求的发展需要

通过PaaS等技术,

,实现IT支撑系统的

平台化信息能力,实

现全网统一数据服务

、实现市场销售行为

、产业整合能力

通过能力开放实现

,快速响应新型业务

上线

中国联通已经确立了成为“信息生活的创新服务领导者”的战略愿

景 ,以“聚焦增长,提升效率”为目标, 云计算为此提供了技术的保障。

云计算对中国联通IT系统支撑的意义

Page 12: Big Data World Forum

联通内部IT支撑系统应用云策略

结算系统

计算

门户

数据分析

…OA

应用

CRM应用

DB服务(云)

网络存储

中间件服务(云)

业务应用能力

企业基础设施服务

传统IT系统架构

传统IT系统架构基于EDC的IT系统架构

基于VDC的IT系统架构

面向应用型的云架构

Page 13: Big Data World Forum

IaaS层面IT系统整合策略

应用选择和创新

高效整合资源,服务模式创新

基于电信运营商IT基础资源优势,

提供开放化的IT能力

整合IT产业链资源、有能力的客户

或社会资源,协作提供差异化应

根据应用不同,提供不同的

IaaS服务及策略,以应用为

导向,提供个性化数据中心

方案

运作

运作

模模式式

集中建设,多级运营集中建设,多级运营

初期构建集中IaaS统一平

制定统一的服务规范、合

作规范和运营体系

构建电信运营商统一构建电信运营商统一IaaSIaaS云云

Page 14: Big Data World Forum

IT系统整合迁移策略

由于技术限制,IT资源池当前先分为小机资源池,PC Server资源池

核心系统原采用小型机的应用,可放置到小型机池,

对具有迁移可能的应用,迁移至PC Server 池

边缘系统尽可能使用PC Server资源

Page 15: Big Data World Forum

SaaS层面IT系统整合策略

从简单的应用提供模式,向SAAS、PAAS、IAAS模式演进,打造IT应用商场。

客户

PAASPAAS服务服务 SAASSAAS服务服务 IAASIAAS服务服务

Page 16: Big Data World Forum

云终端引入策略

桌面虚拟化应用呼叫中心和营业厅改造:用 云终端 + 云服务器 替换 现有 PC

只需用 键盘型云终端 替换 键盘,PC主机搬入云资源池

Page 17: Big Data World Forum

电信运营商的潜在外部云计算业务

“云”资源租用服务 云应用服务三网融合、物联网

智能处理

通过传统IDC业务与云技术

相结合,新建统一、创新型

VDC运营管理系统,应用虚

拟化、自动化部署等技术,

构建可伸缩的、虚拟化的基

础架构,采用集中管理、分

布服务模式,向用户提供一

点受理、全网服务的基础IT

设施方案与服务。

面向消费者,提供各项互联

网应用服务:

-

第一类,云应用商店-

第二类:云终端及浏览器智

能应用

数字化、智能化交互的三网

融合、三屏统一应用

围绕民生热点,建设各种公

共信息采集、监控中心,并

利用云平台的海量存储和技

术能力提供多种物联网智能

处理服务

Page 18: Big Data World Forum

云资源出租业务——VDC

数据中心 集群存储

其他云

VDC业务 云存储业务VPS业务 物理机出租业务…

弹性IP服务 安全增值服务

应用开发支撑业

仿真、测试业务 通信业务开放引

广告推送引擎

③ VDC SaaS务

②开发平台类业务

①基础VDC业务

云邮服务 容灾备份服务 手机云服务

IDC资源出租业务

QoS

SLA

③以Saas 模式,为开发

的业务及第三

方业务提供运

营平台,提供

云服务②以Paas模

式,开放电信

能力接口,提

供开发者的开

发平台,实现

新型业务开发

模式① 改造IDC

,提供基于云

计算的弹性

IaaS云服务,

实现基础通信

能力的新型运

营模式

Page 19: Big Data World Forum

云互联网应用服务

公众业务

工作管理类 办公类 管理类 经营类

生活娱乐类 SNS、在线游戏

云浏览器应用 云应用商店

通信类云存储、在线容灾备

份存储

云安全 云安全终端应用 18

云应用及开发平台

应用开发

应用开发

应用开发

数据中心

8~100M到桌面1~10G接入通道

FTTx、WCDMA/LTE、WiFi

Page 20: Big Data World Forum

物联网智能处理应用

• 云计算构架在互联网之上,而物联网将主要依赖互联网来实现有效

延伸,云计算模式可以支撑具有业务一致性的物联网集约运营,实

现物联网智能处理应用。

感知 网络传输 信息处理与决策

公众 服务

前端 后端

19

Page 21: Big Data World Forum

云计算内涵及发展现状

目 录

1

2 中国联通对云计算应用的思考

3 中国联通云计算研发实践

提纲

Page 22: Big Data World Forum

研究背景背景分析

IT

支撑挑战

同行抢先的压力

IT系统多为两级或多级架构,难以统一管理,维护成本高,系统负载不均衡。

物联网及三网融合以及未来业务发展,对目前的IT支撑技术带来挑战。

为满足业务数据分析,以及业务中的突发计算需求对IT成本带来极大压力。

- 从目前业界发展看,云计算是解决IT支撑问题的首选技术

- 云计算需要与现有业务系统进行衔接,实现平滑过渡

- 云计算还在不断发展,贸然在核心系统中引入风险较大

需要通过试验来

对云计算进行尝试和研

究,指导下一步的推广

落到工作

国外运营商已经开始研究云计算业务并使用云计算支撑内部IT系统。

中国移动发布大云研究计划,并在IT支撑系统中试点使用云技术。

中国电信启动云业务,着手启动BI云化系统的改造工作

Page 23: Big Data World Forum

中国联通IT支撑系统发展趋势 需要云计算技术

硬件平台n硬件平台n

CRM

硬件平台2硬件平台2

Billing PRM CRM Billing PRM

硬件平台1硬件平台1

服务器1存储设备1容灾备份1……

服务器2存储设备2容灾备份2……

服务器n存储设备n容灾备份n……

传统—分散管理模式 统一管理模式

统一管理维护系统1维护 系统2维护 系统n维护

数据库n数据库n数据库2数据库2数据库1数据库1

中间件n中间件n中间件2中间件2中间件1中间件1

统一硬件平台

统一数据库服务

统一中间件服务

Page 24: Big Data World Forum

中国联通IT支撑系统集中需要“ 池化”技术支撑

针对解决IT集中化的目标,是通过虚拟化和动态资源管理技术,建立共享的资源池和开放的接口,使

得基础架构可以快速、灵活地响应各种业务发展需要。

现状

• 架构不够灵活

• IT架构复杂

• 单位成本高

• 资源利用率低

• 响应时间慢

分散的IT架构/孤立的资源目标

•资源利用率高

•IT架构简化整合

•系统管理简便

•动态资源管理

•响应时间快

动态整合的IT架构/集中化的资源

待用资源

在用资源

资源池

采用虚拟化和

动态资源管理

Page 23

池化是手段-共享是效果-节省是目标

Page 25: Big Data World Forum

中国联通IT支撑系统需要建立适应 云架构的松耦体系

硬件平台n硬件平台n

CRM

硬件平台2硬件平台2

ERP MSS

硬件平台1硬件平台1

数据库n数据库n数据库2数据库2数据库1数据库1

中间件n中间件n中间件2中间件2中间件1中间件1

紧耦合的、垂直化的应用系统

CRM ERP MSS

统一资源服务

SOA服

务接口

解耦合的、水平化的应用系统

RISCRISC X86X86 SANSAN NASNAS

统一数据服务OracleOracle MysqlMysql HadoopHadoop DB2DB2 GPGP

统一中间件服务WebLogi

c WebLogi

cTomCatTomCat

成本高企的两个方

面:•硬件和软件资源

独占•单业务系统对高

端硬件和软件的要

从两方面降低成本:•各业务系统共享

硬件资源和软件资

源•由高端硬件和软

件所实现的需求,

可由低端硬件和软

件来实现

业务

资源

业务

资源

建立与基础设施云相适应的符合云计算架构的软件体系,实现云计算的落地,实现面向

服务的松耦合架构。

松耦是手段-服务是效果-重用是目标

Page 26: Big Data World Forum

IT支撑系统参考云架构

Page 27: Big Data World Forum

中国联通IT系统云架构重要研究内 容

小型机资源

池化

X86资源池存储资源池 网络资源池

异构计算平台 异构CPU 异构存储系统

计算资源池

数据库服务数据仓库服

务中间件服务

服务化

通用性服务

Oracle池 Mysql池

传统与分布式数据库混合池

开源与商业数据库混合池

Weblogic池

TomCat池

ESB池

API接入认证

API接入监控

云化

API接入注册

API接入计量

Mail业务系

统数据分析系

统CRM业务系

统ERP业务系

认证 API 工作流API 报表API 通信能力

API

Page 28: Big Data World Forum

试验研究私有基础设施云相关内容

验证基于SOA的PaaS云架构及技术

试验验证海量数据低成本方案及数据封装

1、试验pc server

的虚拟化技术,试验云

存储相关技术。

2、部分试验云管理的

弹性部署和调度技术。

3、试验

研究异构

IaaS的统一管理技术和

方案。

1、试验基于SOA的PaaS

服务技术架构和方案。

2、试验电信IT统一DB服

务的DBaaS服务技术方案,

验证统一应用中间件服务

的APPaaS。

3、试验适合电信运营商

的云计算体系及架构,以

数据分析系统试验IT系统

的云架构的自动扩展

(scale up &scale out)。

4、试验松耦合的开放式

IT架构,以数据分析来验

证基于REST框架约束的开

放体系。

1、试验验证分布式文

件用于数据分析系统的

存储方案。

2、试验试验数据封装

技术。

3、验证基于传统数据

库和云数据库的应用场

景。

4、验证DBaaS的服务

方式和技术方案。

本次主要内容

以数据分析和邮件试验SaaS业务应用

1、针对电信IT支撑系

统业务特点,选择数据

分析的详单查询等业务

进行贯通性验证。

2、针对MSS业务特

点,基于云存储技术,

选择邮件系统进行云化

试验。

3、试验基于SNS的

SaaS服务技术方案。

Page 29: Big Data World Forum

试验主要内容构成图

中间件服务

DB 服务池

基础设施服务平台

应用服务

数据分析、客户服务、计费结算、……

详单查询 社交网络分析 …

门户及应用

研究中间件

池的支撑技

研究中间件

池的支撑技

试验DB池技

术,验证扩展

性及多租户按

需使用资源

试验异构DB的

统一管理技术

数据分析及邮

件系统业务展

选取公司代表性的常用IT支撑业务为切入点,试验数据管理及基础资源调度对应用变化的支撑能

力。以高性能、低成本、高可用性、高扩展性的理念为本次试验目标。

研究基于开

放式架构的

IT系统的系

统级可扩展

研究基于开

放式架构的

IT系统的系

统级可扩展

研究PC服务

器的IaaS技

研究PC服务

器的IaaS技

Page 30: Big Data World Forum

谢谢 谢谢 !!

Page 31: Big Data World Forum