speedycloud 云计算平台资源调度系统要点解析

北京迅达云成科技有限公司 www.speedycloud.cn

北京迅达云成科技有限公司

www.speedycloud.cn2015年8月北京

WELCOME

云计算平台资源调度系统要点解析


云计算平台资源调度系统的进化过程

或许改成这个名字更贴切：


什么是调度系统


云计算平台的资源调度系统是干什么的？


云主机云存储 SDN 网络防火墙其他服务负载均衡云分发


怎么干？

罗马不是一天建成的系统不是一天写好的

所以，我们尝试从头来，拆开这个东东看看，看看TA 是怎么进化成现在的样子的


场景一：

功能描述：通过 Web 分配云主机给客

户使用

环境设定： (后文同此设定)1. 展示层有专人开发

2. 只开发后端业务逻辑

3. 忽略参数验证和异常流

Web

DB 物理机

1

2

34

5

6

技术选型：

开发语言：Python + Django + Shell

虚拟化技术：KVM

数据库：MySQL


场景二：

问题描述：客户一次分配多台云主机时

需要等待的时间太长

解决办法：将之前顺序分配的方式变成

多线程

北京迅达云成科技有限公司 www.speedycloud.cn场景三：

问题描述：单数据中心完全没办法满足用户

需求，于是部署了多个数据中心，但是

有些客户说分配时间很长，经常等到超

时，但是我们用 PDB没法调试。

解决办法：将之前分配的方式变成由多线程

变成多进程。

Web

DB 物理机

Web

DB

数据中心 A

数据中心 B

数据中心 C

数据中心 D

数据中心 E

北京迅达云成科技有限公司 www.speedycloud.cn场景四：

问题描述：经过反复测试，发现执行任务不

成功是因为某些数据中心到控制中心的

网络不稳定造成的，而且时常发现云主

机实际上分配成功了，但是控制中心拿

不到状态。

解决办法：

1. 换BGP数据中心

2. 引入了消息队列解决多任务等

待时间久问题，提升用户体验

Web

DB

数据中心 A

数据中心 B

数据中心 C

数据中心 D

数据中心 E

数据中心 B

数据中心 C

数据中心 D

数据中心 E

Web

DB

数据中心 A

MQ

Worker


该告以段落休息一下了

下一阶段还有新的任务

北京迅达云成科技有限公司 www.speedycloud.cn场景五：

问题描述：1. 随着设备越来越多，设备故

障率也上来了，需要进行升级维护。

2. 随着用户访问增大，对于

Web 端的可用性要求提高，要求在

升级 Web 端的时候也允许用户提

交资源申请

数据中心 B

数据中心 C

数据中心 D

数据中心 E

Web

DB

数据中心 A

MQ

Worker

解决办法：

1. 对宿主机进行热迁移 + 操作

系统打热补丁。

2. 增加系统挂起状态

3. 增加节点挂起状态

数据中心 B

数据中心 C

数据中心 D

数据中心 E

Web

DB

数据中心 A

MQ

Worker

JobTracker

1. 增加系统挂起状态2. 增加节点挂起状态


• 中国运维高端垂直社区组织

• 微信群：2015年4月29日– 高效运维主群（280） //No.1

– 高效运维 1号群（400）

– 高效运维 2号群（400）

– 高效运维聊聊群（300）

– 高效运维互动群（200）

• 公众号：2015年5月17日– 纯粹技术原创，每周多篇

– 3个月订阅用户数突破1.6万


Thanks!

北京迅达云成科技有限公司

地址：北京市朝阳区酒仙桥路12号电子城科技大厦917

网址：www.speedycloud.cn

电话： 400-6911-816

speedycloud 云计算平台资源调度系统要点解析

Technology