链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 ....

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

吕毅 2016.09

链家网存储架构变迁

自我介绍

吕毅 • 链家网架构师

• 曾供职于新浪平台架构部、百度移动云事业部

• 参与项目新浪SAE，百度移动搜索、手机百度APP

• 2015年9月加入链家网

• 2015.10~2016.8，负责链家网平台服务建设

• 2016.8至今，负责链家网大数据平台建设

目录

• 链家网与存储架构变迁

• 一场持续半年的存储改造工作

• 我们所熟悉的AWS S3

• Q&A

链家网与存储架构变迁

链家网线上业务历程

链家地产成立

链家在线、HERP系统上线运营

“楼盘字典”项目启动

2001年

2007年

2008年

2012年

链家提出“真房源” SE(Sales Effectiveness)系统上线

TE(Transaction Effectiveness)系统上线 “掌上链家”APP发布

“链家在线”更名为“链家网” 域名变更为Lianjia.com

着手重建to C业务 着手自研SE、TE系统

2014年

2016年

SE、TE合并为Link系统 “楼盘字典”项目积累6000万房产信息

链家网存储架构变迁

链家地产成立

链家在线、HERP系统上线运营

“楼盘字典”项目启动

2001年

2007年

2008年

2012年

链家提出“真房源” SE(Sales Effectiveness)系统上线

TE(Transaction Effectiveness)系统上线 “掌上链家”APP发布

2014年

2016年

SE、TE合并为Link系统 “楼盘字典”项目积累6000万房产信息

传统文件系统

FastDFS

Ceph

AWS S3

“链家在线”更名为“链家网” 域名变更为Lianjia.com

着手重建to C业务 着手自研SE、TE系统

链家网存储服务相关数据

总存储文件： 8270万+

总存储容量：

43TB 房源实勘图

66%

其他图片 15%

音视频 13%

文件备份 4%

其他 2%

一场持续半年的存储改造工作

为什么要改造?

使用Ceph遇到了问题：

容量不够

维稳成本

数据备份

使用Ceph遇到了问题：

容量不够

维稳成本

数据备份

使用S3不需要操心的事：

容量规划

存储管理

数据备份

维修硬件

为什么选用AWS S3?

云存储为何选用S3? (1/2)

十年 S3

云存储为何选用S3? (2/2)

11个9的持久性

链家网存储架构 2015年

corporate data center

AWS Direct Connect

ELB (internal)

EC2 （Web Services）

ELB (public)

Ceph

Business group

Business A

Business B

Projects (Web services)

80% 20%

链家网基于AWS S3的存储架构

corporate data center AWS Direct

Connect

Projects (internal)

ELB (internal)

EC2 (auto scaling)

ELB (public)

S3 Redshift

Cache

security group

Availability Zone

存储架构改造中遇到的问题

存量与增量的问题

业务方迁移成本

写入数据双写

数据迁移

我们所熟悉的AWS S3

关于Bucket

Bucket名全球唯一

可以建立Huge Bucket

关于文件检索与统计

使用数据库存储文件Meta信息供检索

关于存储成本

冷数据 使用AWS Glacier存储

代理S3服务

在S3能力之上 封装公司通用逻辑

Q&A

Thank you！