基于mysql开放复制协议的同步扩展

1

简朝阳@mbaobao.com

2011.06.12

基于MySQL开放复制协议的数据同步

2


简朝阳(sky000)

Oracle ACE (Expertise MySQL)

技术保障部 @麦包包

http://isky000.com

http://twitter.com/sky000

http://weibo.com/isky000

http://isky000.com/

http://isky000.com/



mailto:[email protected]

mailto:[email protected]

3


主题纲要

原生现状介绍

4


主题纲要

原生现状介绍

现实业务需求

5


主题纲要

原生现状介绍

现实业务需求

应该如何扩展

6


主题纲要

原生现状介绍

现实业务需求

应该如何扩展

架构示例展示

7

原生 MySQL Replication 现状

原生现状

8


原生现状

实现机制

9


原生现状

实现机制• 3个线程：2 个 io 线程,1个 sql线程• 2种日志：binlog，relaylog

• 1种实现：全程异步

10


原生现状



优点

11


原生现状



• 稳定可靠：已经历多年实践验证• 代码集成：和 MySQL Server 绑定• 维护简单：配置简单，信息清晰• 能耗较低：单线程，Slave 端请求

优点

12


原生现状




优点

缺点

13


原生现状




优点

缺点

• 数据可能丢失：异步机制无法保证安全• 主从容易延时：单线程串行机制造成• 1从只能1个主：避免可能的数据冲突？• Master切换难：日志ID不是全局唯一

14

现实场景对 Replication的需求

现实需求

15


现实需求

无丢失

16


现实需求

无丢失• 日志：故障情况下不丢失日志内容• 数据：故障情况下不丢失数据

17


现实需求


低延时

18


现实需求


低延时• 主从延时小：希望Master 与Slave 之间数据延时较小，更有效的提升扩展性

19


现实需求



易切换

20


现实需求



易切换• 异常切换快：Slave能够在无人工干预的环境下快速更换 Master的，并确保数据无丢失

21


现实需求



易切换

多个主

• 异常切换快：Slave能够在无人工干预的环境下快速更换 Master的，并确保数据无丢失

22


现实需求



易切换

多个主

• 异常切换快：Slave能够在无人工干预的环境下快速更换 Master的，并确保数据无丢失

• 多主复制：能够让1个 Slave 从多个 Master 复制数据，实现数据合并

23

我们该如何对 Replication 进行扩展

如何扩展

24


如何扩展

自行解析

25


如何扩展

自行解析• 可行性：协议开源• 目的性：易于控制(分拆/合并/持久化…)

• 必要性：避免入侵原生代码，方便后续升级

26


如何扩展



中继缓冲

27


如何扩展



• 易控制：合并，分拆，转发…

• 降低能耗：一个请求多个解析，解放主节点• 持久化：集中处理变更(备份/转发…)

• 易切换：日志不丢失，可全局控制

中继缓冲

28


如何扩展






中继缓冲

并行加载

29


如何扩展






中继缓冲

并行加载 • 高性能：多线程提高处理能力• 低延时：避免大事务阻塞问题• 易排错：一个错误不影响整体复制进度

30

复制扩展后架构示例

示例扩展

31


示例扩展

准实时数据分析

32


示例扩展

准实时数据分析• 实时反映数据变化至数据分析中心• 合并多个数据源至单个目的数据库• 目标端可能不是 MySQL 数据库

33

准实时数据分析系统架构示例

app1 app2 app3 app4… … … …App Cluster

34



… … …DB Cluster db1 db2 db3

35



… … …DB Cluster

Data Analyze Center

db1 db2 db3

昨日数据报表

凌晨低峰时期提取数据

36




Data Analyze Center

db1 db2 db3

37




Data Analyze Center

db1 db2 db3

BinlogSyncer

实时分析报表

38


示例扩展

准实时数据分析• 实时反映数据变化至数据分析中心• 合并多个数据源至单个目的数据库• 目标端可能不是 MySQL 数据库

高并发主读应用 • 写入量相对较少，数据相对静止• 读取请求特别多，并发量很高

39

高并发主读系统架构示例


40



Master

write

(all data)

41



Master

db3db2 db…db1

write

(all data)

each db with part of all dataRead DB Cluster :

同步所有日志

42



Master

db3db2 db…db1

write

(all data)


同步所有日志

read read

43



Master

db3db2 db…db1

write

(all data)


read read

44



Master

db3db2 db…db1

write

BinlogSyncer

read read

(all data)


45

互动环节

Q & A

http://isky000.com

Thanks!

基于mysql开放复制协议的同步扩展

Technology