QingStor™ 对象存储场景化应⽤用实践 宁安 | QingStor 对象存储研发⼯工程师

► QingStor 对象存储产品核⼼心价值

► QingStor 对象存储系统架构

► API & SDK

► QingStor 对象存储应⽤用场景

► QingStor 对象存储产品体系

Agenda

QingStor 对象存储产品核⼼心价值

海海量量弹性

通⽤用Web Oriented

平台⽣生态

扁平 ⾮非结构化

Global

Zone

Zone

Zone

Bucket

Bucket

Bucket

Bucket

Zone

Bucket

Object

Object

Object

Object

Object

Object

Object

QingStor 对象存储全局架构

https://bucketname.zonename.qingstor.com/object_name

QingStor 对象存储⾼高度可扩展的区域架构

接⼊入⼦子系统 缓存 调度⼦子系统

⽂文件上传、下载、查询

索引⼦子系统 监控⼦子系统

⾃自动管理理机器器⼈人

⽀支持⽔水平扩展，⽆无节点数量量限制

⽀支持⽔水平扩展，⽆无节点数量量限制

数据三副本保护，⽀支持⽔水平扩展，⽆无节点数量量限制

存储⼦子系统

集群 0

……

集群 1 集群 2

集群 3 集群 N

对象存储是云服务的存储引擎

QingCloud 数据平台服务

QingStor对象存储

⻘青云基础架构云服务

PaaS 层框架（计算资源调度、监控、备份）

QingCloud ⼤大数据平台

MySQL PostgreSQL

MongoDB Memcached

Redis

Hadoop Spark

HBase Kafka

Elasticsarch Storm

►

►

►

►

►

►

负载均衡

应⽤用服务器器 应⽤用服务器器 应⽤用服务器器

数据库 数据库从节点 对象存储

对象存储作为应⽤用数据的持久化存储

对象存储直接与⽤用户交互

►

A

企业各类数据的备份和归档

商业数据备份软件

Commvault

英⽅方 i2dot

LSYNCD/CRON + qsctl

QingStor对象存储备份

⾼高级命令⾏行行⼯工具 qsctl

► 类 UNIX 命令

► 命令包括：cp、ls、rm、mv、mb、rb 和sync

► 所有的命令⾏行行都⽀支持批量量操作且⽀支持通配符，include 和 exclude 过滤器器

如复制本地 /tmp/foo 下的所有⾮非 abc 开头的⽂文件到对象存储，但 abc 开头的 jpg ⽂文件同样需要被复制，则 qsctl 命令可以为：

$ qsctl cp /tmp/foo/ qs://mybucket/ -r --exclude “abc*.*” --include “*.jpg”

⼀一个⾮非常有⽤用的命令为 sync，可以实现本地⽬目录和远端对象存储内的对象⽂文件保持同步，如下⾯面命令保持 /tmp/foo 和云端对象存储 mybucket 中的 /foo 下的⽂文件保持同步：

$ qsctl sync /tmp/foo qs://mybucket/foo

企业⽹网盘和⽂文档管理理的存储后端

企业⽹网盘和⽂文档管理理的存储后端

* Nextcloud 服务架构

* Nextcloud 数据访问⽅方式

对象存储和 CDN 加速服务的整合

QingStor 对象存储CDN

⼚厂商 0 ⼚厂商 1 ⼚厂商 2 ⼚厂商 N ⾃自建……

⼴广东电信 昆明联通 陕⻄西移动 ⽢甘肃联通 ……🌝

⼀一键开启 Bucket CDN 加速

静态⽹网站托管

Browser

Gateway

Static Files

Services

Bucket

Application

CDN

静态⽹网站托管

视频存储和处理理

视频服务器

视频服务器

实时视频

实时视频 QingStor对象存储

视频⽂文件

视频查看

► 没有⽂文件数量量限制

► 存储空间海海量量扩展

► 数据可靠性 99.9999%

► 快速⽂文件检索和查看

对象存储和⼤大数据平台⽆无缝集成

QingStor 对象存储

QingStor RESTful API

Hadoop Spark Elasticsearch HIVE HDW

对象存储作为舆情系统的海海量量数据保存场所

对象存储数据迁移⽅方案

源站

Object Storage

Client

qscamel请求源站数据

获取源站数据

请求数据

触发迁移

主动抓取数据

命令⾏行行⼯工具 qscamel► qscamel 是把 HTTP(s) 形式的数据⾼高效地批量量迁移到 QingStor 对象存储的命令

⾏行行⼯工具

► 输⼊入可以是包含源链接的⽂文件，也可以是其他对象存储平台的Bucket名称

如从 S3 迁移数据⾄至 QingStor 对象存储

$ qscamel -t s3 -s s3-bucket-name -z us-east-1 -a "S3ACCESSKEYID" -S "S3SECRETACCESSKEY" -b qingstor-bucket-name -d "migrate data"

► QingStor Scala SDK

► QingStor Plugin for WordPress

开源

► S3FS

► QSFTP

Legacy 应⽤用

QingStor 对象存储产品体系

QingStor对象存储

Event Bus

存储⽹网关

数据处理理

点播／直播

SDK／Utilities

CDN

⼤大数据

Portal AppCenter

Open Source

数据迁移 （软／硬）