© 2020, amazon web services, inc. or its affiliates. …...amazon efs |...

© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

AWS 中国（宁夏）区域由西云数据运营AWS 中国（北京）区域由光环新网运营

AWS 云上网络文件系统的探索与实践

郭松，AWS 解决方案架构师

分会场二：基础设施



议程

Amazon EFS 网络文件系统

Amazon EFS 深入探索与实践

Amazon EFS 服务集成

Amazon EFS 客户案例

Amazon EFS 最佳实践



Amazon Elastic File System (Amazon EFS)

高可靠性

Amazon EFS

完全托管的网络文件系统

成本优化云原生



Amazon EFS 使用场景

大数据分析

媒体工作流

企业级应用

Web 服务

内容管理

数据库备份

主目录

容器存储

应用开发测试

大规模并行访问Metadata 密集型负载

高并发高吞吐单线程低延时



云原生 | Amazon EFS

• 按需扩展和收缩

• 全托管，无需预测容量

• 按需付费

• 简单易用，秒级构建

• 提供 PB 级容量

• 两种性能模式

• 性能随容量自动扩展

• 可预置性能

• 本地数据中心，跨区域访问

• 计算服务集成

• 容器服务集成

• AI 服务集成

灵活可扩展高度集成

云原生



多种访问方式

VPC VPC

跨区域VPC Peering

跨区域VPC

Peering

其它 AWS 区域

本地服务器

AWS Direct

Connect

AWS VPN

Amazon EFS

NFS 客户端

NFS 客户端

NFS 客户端NFS 客户端

云原生



多种服务集成

VPC VPC



其它 AWS 区域

本地服务器

AWS Direct

Connect

AWS VPN

Amazon EFS

NFS 客户端NFS 客户端Amazon EC2 Amazon EKS

Amazon ECS Amazon SageMaker

云原生



高可靠 | Amazon EFS

高可靠安全

• 三可用区三副本

• 多可用区访问

• 强一致性

• 网络访问可控

• 文件访问可控

• 传输加密和静态加密

• NFS 客户端 AWS IAM 集成

高可靠



三可用区三副本 | Amazon EFS

AZ

AZ

AZ

Amazon EFS

高可靠



成本优化 | Amazon EFS

无最小承诺和预支费用

无需预测容量生命周期管理利用竞价实例

成本优化



生命周期管理

* Pricing in the US East (N. Virginia) region

标准存储类型

$0.30/GB-每月* 存储费用

非经常访问存储类型

$0.025/GB-每月* 存储费用

$0.01/GB* 访问费用

成本优化



Amazon EFS | 高可靠性和持久性架构

VPC

可用区 A

可用区 B

可用区 C

NFS 客户端

Amazon EFS

文件系统NFS 客户端

NFS 客户端

挂载目标

挂载目标

挂载目标

区域

DN

S 名

称/ 文

件系统

ID

99.9% 可靠性SLA 及 11 个9 的数据持久性

无单点故障



Amazon EFS 非经常访问存储类型

自动化节省 92% 成本应用透明



启用 EFS 生命周期管理

自动迁移非经常访问数据到 Amazon EFS IA

启用生命周期管理选择生命周期策略

Amazon EFS IA 支持所有的 EFS 功能

生命周期策略可配置为上次访问之后的 7 New! ,14, 30, 60, or 90 天



Amazon EFS 性能模式

通用型(默认)

推荐用于大多数常规负载



通用模式(默认)

适用于大多数常规负载

最大 I/O

性能模式

适用于大规模高并发应用

Amazon EFS 性能模式



Amazon EFS 性能模式比较

使用场景通用负载和

对延迟敏感应用大规模和数据密集型应用

优势低延迟扩展到更高级别的

吞吐量 / IOPS

权衡

最大 7k OPS 略高的延迟

通用模式(默认)

适用于大多数常规负载

最大 I/O

性能模式

适用于大规模高并发应用



Amazon EFS 吞吐量模式

突增吞吐量模式(默认)

适用于大多数工作负载






预置吞吐量模式

适用于需要更高吞吐量存储容量比的应用






适用于需要更高吞吐量存储容量比的应用

使用场景

吞吐量波动的工作负载

吞吐量稳定的工作负载

优势

自动扩展吞吐量

用户定义吞吐量

权衡

固定的吞吐量/存储比例

单独的吞吐量费用





独立性能配置

与存储容量无关

性能扩展

在任意时刻

切换或降低

每 24+ 小时



安全性与合规性

可控的网络访问

使用安全组和VPC访问控制列表

可控的文件和目录访问

使用 POSIX 权限

数据加密

静态加密和传输加密

合规认证

HIPAA

GDPR

PCI-DSS

SOC

ISO

FedRAMP

可控的管理操作(API 级别)

使用 AWS IAM, 操作和资源级别权限, 基于身份的

策略



使用安全组控制网络访问

NFS 客户端

NFS 客户端

安全组 sg-5678

ALLOW 192.168.1.50 Port 2049

ALLOW sg-1234 Port 2049

安全组 sg-1234Amazon EFS

文件系统

EFS 挂载目标



使用 AWS IAM 控制 API 访问AmazonElasticFileSystemReadOnlyAccess

AmazonElasticFileSystemFullAccess

Amazon EFS

文件系统



使用 IAM 认证 NFS 客户端

Orchestrates

IAM Creds

{

"Statement" : {

"Effect" : "allow",

"Action" : "elasticfilesystem:Client*",

"Resource": "fs-deadbeef"

}

}



Orchestrates

IAM Creds

{

"Statement" : {

"Effect" : "allow",

"Action" : "elasticfilesystem:Client*",

"Principal" : { "AWS": "myrole" }

}

}

使用 IAM 认证 NFS 客户端



数据传输和静态加密

Orchestrates

AWS KMS

NFS 客户端

Amazon EFS

文件系统

sudo mount -t efs -o tls fs-12345678:/ /mnt/efs



AWS 服务集成 | Amazon EFS

Amazon

VPC

AWS

IAM

AWS

KMS

Amazon

CloudWatch

AWS

CloudTrail

AWS

CloudFormation

Amazon

ECS

Amazon

EC2

Amazon

SageMaker

Amazon

EKS

AWS Backup AWS

DataSync

AWS Direct

Connect

Amazon EFS

AWS

VPN

AWS

Fargate Coming

soon!



Amazon EC2 启动向导 | Amazon EFS

• 直接通过 Amazon EC2 启动向导 Mount Amazon EFS 文件系统

• 选择可用的文件系统或创建新的文件系统



在 Amazon ECS 上使用 EFS

2. 配置 Docker Volume 3. 引用 Volume

"volumes": [

{

"name": "efs-demo",

"host": null,

"dockerVolumeConfiguration": {

"autoprovision": true,

"labels": null,

"scope": "shared",

"driver": "local",

"driverOpts": { "type": "nfs",

"device": ":/home/mycontainer",

"o": "addr=fs-deadbeef.efs.us-east-

1.amazonaws.com,nfsvers=4.1,rsize=1048576,wsize=1048576,hard,tim

eo=600,retrans=2,noresvport"

}

}

}

]

"containerDefinitions": [

{

...

"mountPoints": [

{

"containerPath": "/mnt/efs/",

"sourceVolume": "efs-demo"

}

]

}

],

"networkMode": "bridge",

1. 创建 EFS Amazon Elastic

Container Service



创建 Storage Class 创建 Persistent Volume

kind: StorageClass

apiVersion: storage.k8s.io/v1

metadata:

name: efs-sc

provisioner: efs.csi.aws.com

mountOptions:

- tls

apiVersion: v1

kind: PersistentVolume

metadata:

name: efs-pv

spec:

capacity:

storage: 5Gi

volumeMode: Filesystem

accessModes:

- ReadWriteOnce

persistentVolumeReclaimPolicy: Retain

storageClassName: efs-sc

mountOptions:

- tls

csi:

driver: efs.csi.aws.com

volumeHandle: fs-deadbeef

volumeAttributes:

path: /home/mycontainer/

Amazon Elastic

Kubernetes Service

在 Amazon EKS 上使用 EFS



创建 Persistent Volume Claim 启动 Pod

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: efs-claim

spec:

accessModes:

- ReadWriteOnce

storageClassName: efs-sc

resources:

requests:

storage: 5Gi

apiVersion: v1

kind: Pod

metadata:

name: efs-app

spec:

containers:

- name: web-container

image: httpd

ports:

- containerPort: 80

name: “http-server”

volumeMounts:

- name: persistent-storage

mountPath: /mnt-efs

volumes:

- name: persistent-storage

persistentVolumeClaim:

claimName: efs-claim

Amazon Elastic

Kubernetes Service

在 Amazon EKS 上使用 EFS



Amazon EFS 数据备份

冷数据存储

AWS Backup

热数据存储

Amazon EFS

备份数据加密

Coming soon!

• 使用 AWS Backup 备份和恢复Amazon EFS 文件系统

• AWS Backup 提供用户自定义策略的自动化备份和 automated backup scheduling and retention per user defined policy

• AWS Backup 提供两个备份存储类型，支持生命周期管理

• 单文件/目录恢复功能



迁移到 Amazon EFS

AWS DataSync: 简化, 自动化并加速本地数据中心和EFS之间的数据迁移

共享文件系统

NFS TLS

本地数据中心

Amazon S3

桶

AWS 存储资源

AWS 区域

Amazon EFS

文件系统

AWS DataSync

AgentAWS DataSync

服务



Amazon EFS 使用场景

大数据分析

媒体工作流

企业级应用

Web 服务

内容管理

数据库备份

主目录

容器存储

应用开发测试

大规模并行访问Metadata 密集型负载

高并发高吞吐单线程低延时



Web 服务

“We now have capacity on demand. We only pay

for what we use. We are confident that we will

NEVER run out of storage space.

We are always on the latest hardware.

Our bandwidth is no longer capped, and we

don’t have to worry about hitting limits.

We have the added security of WAF with

Advanced Shield.

Best of all, we were able to get a better service,

for 67% less!”

- Edward ZhitnitskyMedia technology manager

• 每个月来自五千万单一用户超过两亿次的页面访问量

• 在存储成本上，使用 EFS 每个月可以节省$10K，无先期投资

• 总体带来 67% 的成本节约并且更加安全

• 不再有容量和带宽焦虑，不再需要升级维护硬件



容器存储

““We are a large organization with lots of

applications with varying requirements for

availability and performance. EFS provides us

with a common storage platform that meets

these requirements across the board.”

- Amreth Chandrasehar

Principal Architect, T-Mobile

• 运行在 Kubernetes 和 Mesos 上的大规模容器集群，管理着超过一万六千个容器

• 因为灵活安全而选择 EFS, 减少了应用和服务的上线时间

• 依据应用类型同时采用了通用性能模式和最大 I/O 性能模式

• 在数据存储上减少了 40%～70% 的成本



大规模高并发应用

“Amazon EFS is easy, scales,

works with what we have and was

key to accelerating innovation.

Ultimately it speeds our time to market and

enables us to help our patients faster.”

- Lance Smith

IT director

• 使用 EFS 作为研发和关键应用的存储

• EFS 提供的标准文件系统接口和现有工作流无缝集成

• 基因和化学分析的 HPC 任务从几周缩短到几天

• 使用 AWS Storage Gateway 归档数据避免了 $25M 的备份软件 License 费用



Amazon EFS | 最佳实践

从通用性能模式下

开始测试

从突增吞吐量模式

开始使用建议客户端使用

Linux kernel 4.3+

使用较大的 IO

size 可以获得更好的吞吐带

宽

使用多线程可以获得更大的吞吐量

更多的客户端可以获得更大的吞吐量

从合理的目录结构设计上获得最佳的扩展性

迁移超过 2TB 容量的数据

时使用预置吞吐量模式

EFS mount helper

(NFSv4.1)



Amazon EFS | 最佳实践

通过备份计划

进一步保护您的数据

对敏感数据使用

传输加密和静态加密

使用生命周期管理

可以节省最多92%

的成本

使用 CloudWatch 监控性能数据

Burst credits 和 PercentIOLimit



为您的业务选择正确的服务

Amazon FSx

for Lustre

Amazon FSx

for Windows File Server

Amazon Elastic

File Service (EFS)

Windows

工作负载Linux

工作负载计算密集型工作负载



Amazon EFS | 快速开始

https://aws.amazon.com/efs/getting-started/

注册 AWS 账户

获得 AWS 免费资源10 分钟示例教程

学习如何使用Amazon EFS

一步步构建您的运原生文件系统

https://github.com/aws-samples/amazon-efs-tutorial

https://d1.awsstatic.com/whitepapers/aws-load-store-protect-linux.pdf

快速开始:

使用示例:

迁移指南:

https://aws.amazon.com/efs/getting-started/

https://github.com/aws-samples/amazon-efs-tutorial

https://d1.awsstatic.com/whitepapers/aws-load-store-protect-linux.pdf



我们希望您在这里找到感兴趣的内容！

也请帮助我们完成投票打分和反馈问卷。

欲获取关于 AWS 的更多信息和技术内容，可以通过以下方式找到我们：

感谢参加 AWS INNOVATE 2020 在线技术大会

微信订阅号：AWS 云计算（awschina）

新浪微博：https://www.weibo.com/amazonaws/

视频中心：http://aws.amazon.bokecc.com/

更多线上活动：https://aws.amazon.com/cn/about-aws/events/webinar/

微信服务号：AWS Builder 俱乐部（amazonaws）

抖音：亚马逊云计算（抖音号：266052872）

博客：https://aws.amazon.com/cn/blogs/china/

AWS 中国账户注册

AWS 全球账户注册

© 2020, amazon web services, inc. or its affiliates. …...amazon efs |...

Documents