胡涛:cdn支撑平台构建实践分享
TRANSCRIPT
CDN支撑平台构建分享
北京蓝汛通信技术有限责任公司
2 Speed up China
目录
ChinaCache CDN现状介绍
CDN运营支撑平台简介
CDN管理平台设计思路分享
3 Speed up China
用户(北京)
访问http://www.a.com
•LDNS
用户源站
IP=1.1.1.1
DNS解析
实现域名到IP地址的转换 访问实际的网页内容
2、请求域名www.a.com
对应IP
3、返回域名CNAME
www.a.cc.net
6、返回域名对应
IP=2.2.2.2
网站a.com
授权DNS
SSR系统
FDNS
CC.Net域
4、请求
www.a.cc.net
对应IP
5、返回域名对应
IP=2.2.2.2
上海节点设备
IP=9.9.9.9
北京节点设备
IP=2.2.2.2
7、请求 www.a.com
的内容
8、返回内容
200 OK
边缘服务器如果
没有内容就回源站
1、请求域名www.a.com
对应IP
CDN基本原理介绍
4 Speed up China
ChinaCache CDN现状介绍 ChinaCache网络覆盖情况
中国电信
中国联通
中国移动
专用支撑网节点
北京
上海
沈阳
哈尔滨
南京
银川
重庆 武汉
广州
武汉 其他ISP
中国教育网
广电
研发中心
国内公司
5 Speed up China
4. 网络监控中心
7X24小时监控
2-7层监控
实时告警
ChinaCache CDN组成部分
数据库
数据库
1. 边缘服务器
内容缓存在本地
响应用户的访问
2. SSR
实现用户就近接入
增强网络的可用性
掌控全网服务质量
3. 网络管理中心
设备及网络配置管理
内容日志计费管理
用户数据配置管理
6 Speed up China
ChinaCache CDN运营支撑平台介绍
CDN计费系统
CDN刷新系统
CDN日志系统
CDN管理系统(RCMS+COP)
CDN监控系统(IMS)
CDN客户服务系统(Portal)
7 Speed up China
ChinaCache CDN运营支撑平台介绍
8 Speed up China
支撑系统的一些数据
CDN计费系统 每天入库数据量超过1.5亿条记录
Oracle RAC
CDN刷新系统 每天处理1000万条以上刷新请求,3分钟以内完成全
网内容更新
支持目录刷新
MySQL 集群
CDN日志系统 每天要处理30TB以上的访问日志(不同于网站)
分布式处理,Hadoop
9 Speed up China
CDN监控系统(IMS)
CDN的千里眼,基于以下几个方面监控 节点、设备、应用监控
链路质量监控
服务质量监控
全网的资源使用状态、链路状态随时掌握
支持多种告警方式 声音
邮件
短信
集中展示(NOC)
10 Speed up China
监控系统(IMS)
集中展示、处理平台
11 Speed up China
监控系统(IMS)
12 Speed up China
设备告警状态图
13 Speed up China
节点间链路图
14 Speed up China
节点服务链路图
15 Speed up China
频道服务质量
16 Speed up China
服务监控
17 Speed up China
CDN客户服务系统(Portal)
CDN服务数据集中展示的窗口 计费带宽
日志统计分析
服务质量数据
CDN服务自助化的窗口 内容管理(实时刷新)
投诉反馈
频道管理(源站变更、过期策略等)
自助服务开通(即将推出)
18 Speed up China
CDN客户服务系统(Portal)
19 Speed up China
CDN管理系统(RCMS)
CDN资源管理中枢,管理所有物理和逻辑资源 只有清楚掌握了资源,才能做好资源的优化配置
CDN资源调度、业务配置管理中枢 配置信息决定资源分布和资源效率
自动化配置,保证配置可靠,并提高运维效率
CDN应用系统管理中枢,管理各种应用 各应用系统独立工作,互不干扰
通过标准接口和RCMS结合,由RCMS统一控制
随时掌握全网各应用的工作情况
20 Speed up China
CDN管理系统 1.0
21 Speed up China
CDN管理系统 1.0
22 Speed up China
CDN管理系统 1.0
其实就是一个远程的配置文件编辑器
没有业务抽象,需要手写大量的原始配置信息
设备、软件版本众多,管理混乱
23 Speed up China
CDN管理系统 2.0
参考联通BOSS,规划了一个庞大复杂的系统
配置系统设计理想化,期望一次开发满足所有可能的扩展需求
一切皆配置项
24 Speed up China
联通的BOSS
数据架构
集成架构
基础架构
综合结算系统
综合采集系统
计费结算类系统
客户关系管理系统
合作伙伴管理系统
经营分析系统
客户关系管理类系统
分析型系统
企业应用集
成
企业集成平台
企业决策
支持系统
报表
智能愿景
OLAP分析
订单处理
客户资料管理
产品管理结算协议管理
结算处理 结算对帐
使用数据采集预处理
企业决策支持系统市场营销管理 客户问题管理
企业资源
计划系统
企业协同
办公系统
流程管理
通信服务
协同工作区
知识管理
企业资源计划系统 企业协同办公系统
日常事务管理
财务管理
采购和库存
工程项目管理
人力资源管理
合同管理
服务开通类系统 服务保障类系统
资源管理系统
专业综合网管类系统
综合生产调度系统
综合资源管理系统
集成定单管理系统网络规划设计系统
综合告警监控系统定单管理
定单分解
定单接收与确认
定单跟踪
作业计划管理
工单管理
人工绩效管理
故障管理
集中监控
告警过滤/收敛
告警相关性分析告警处理
告警/性能数据采集
资源数据同步 设计与分配 资源调拨管理资源数据管理 网络拓扑展示
网络需求收集 网络容量规划 网络实施设计
异地业务管理
服务交付平台
第三方服务访问
网关
服务创建与
执行
服务控制
数据架
构
集成架
构
基础架
构
传输网管 移动网管 数据网管 增值业务网管 IT系统网管动力监控系统
协作与培训 结算管理
资料管理开发与绩效管理
产品目录
问题管理
BSS分析BSS报表
销售管理
性能管理
外部门户系统 内部门户系统企业外部门户系统 表现层管理 SSO 表现层管理统一安全服务目录服务
企业内部协同门户系统
25 Speed up China
庞大复杂的BOSS规划
物理网络管理
物理资源ERP
企业应用集成 (EAI)
网络监控系统
设备监控(NetGain) 带宽监控(BRS) 链路/性能监控(PRS) MRTG图/计费流量监测
计费系统
计费查询
计费数据采集
帐单/收入预测
客户关系管理系统 (CRM)
市场营销
产品管理销售支持
综合客户服务
合作伙伴管理
客户管理
营销分析系统
业务分析 客户分析 竞争分析 渠道分析
外部门户系统 (report.chinacache.com) 内部门户系统
ERP系统
人力资源管理
采购和库存管理
合同管理
财务管理
企业决策支持系统
OLAP分析
各类报表
综合告警监控管理
业务告警相关性分析
集中监控
告警过滤和处理
告警/性能数据采集
网络规划建设系统 网络需求收集
网络规划 网络建设流程
服务开通管理
订单管理
综合网络激活
服务质量管理
服务开通
流程管理
运维综合管理系统
生产指挥调度
工单管理
故障管理
运维知识管理 资源管理系统
(RCMS)
频道开通
资源统计分析
节点开通
PBL开通、维护
节点撤销 设备增删 带宽开通和调整
资源调配
配置管理
操作流程管理
资源数据管理
负载均衡系统
(SSR)
实时中央运算
负载告警
实时数据采集
数据查询
路径选择
解析调度
专业子系统管理
(配置和告警)
文件分发/FDS
页面
刷新系统
FC
/Cluster
流媒体
SN、FMS
日志统计
和发布
流量策略管理 自动选点 动态增减设备 服务分级
计费
服务监控
结算系统
结算对帐 结算处理
产品报价
成本分析
工程项目管理
企业协同办公系统
知识管理
流程管理
SLA监控
26 Speed up China
CDN管理系统 2.0
失败了
27 Speed up China
CDN管理系统 3.0
业务真的很重要 CDN管理系统不同于电信BOSS、不同于网站运维
充分理解自身业务,进行业务抽象,建模
不要试图一下子构造一个宏伟的系统
不能指望有万能扩展的系统,一定要有规范
找出一个典型业务,先解决
28 Speed up China
管理系统业务核心抽象逻辑
29 Speed up China
规范应用
规范安装和升级
规范启动、停止
规范配置接口
规范监控方式
规范日志文件、 文件数据文件处理
AMR
AMR
TA
NG
DM/MFTT
30 Speed up China
管理系统核心数据流
31 Speed up China
RCMS逻辑结构图
32 Speed up China
RCMS内部框架图
Business Manager
Data Storage (database, file system)
Data Access Objects File Manager
Granite Data Services (AMF/HTTP)
Flash View (flash compoent)
Controller
(Action Script)
Model
(Action Script)
Flex
GDS
J2EE
Storage
Java A
PI
API & Remote Data Access
WebS
erv
ice
HT
TP
/PO
ST
Remote Request Proxy
业务逻辑层
数据存储层
界面展示层
对外接口层
{
{
{
}
33 Speed up China
RCMS 3.0
34 Speed up China
应用管理
35 Speed up China
设备NG图
36 Speed up China
规范配置接口
37 Speed up China
规范监控方式
38 Speed up China
规范数据文件处理
39 Speed up China
解析配置
40 Speed up China
RCMS目前的一些数据
管理全网上万个频道的业务配置 自动根据频道的服务信息(服务类型、带宽、源站)
选择最佳的设备提供服务
服务配置调整,3分钟内全网生效
管理全网上万台设备的应用和配置 自动安装、自动升级、自动配置
自动切换设备角色
管理公司100多个自主研发的应用 应用开发者只关注应用本身逻辑的实现和优化
按照RCMS规定的管理规范实现相关接口即可自动纳入管理系统(享受自动安装、升级、配置、开关、切换、日志处理、数据收集、监控等)
41 Speed up China
一台设备上线过程
42 Speed up China
一个新频道的上线过程
1. 录入频道信息
2. 自动选择设备
3. 生成DNS解析策略
4. 频道自动添加配置
信息
5. 自动添加服务监控
到IMS
6. 确认配置监控正常
7. 解析下发SSR
8. CDN加速服务准备就
绪
谢谢!
www.chinacache.com