citrix xenserver® 6.5 和 emc™ xtremio™ 全闪存阵列 · citrix xenserver ® 6.5 和 emc ......
TRANSCRIPT
参考体系结构
CITRIX XENSERVER® 6.5 和 EMC™ XTREMIO™
全闪存阵列
摘要
此参考体系结构介绍了在 EMC XtremIO 全闪存阵列上部署 XenServer 6.5 所带来的性能和运营优势，
并且介绍了该解决方案如何增强 XenServer 6.5 环境的整合与虚拟化。
2016 年 3 月。
2
要详细了解 EMC 产品、服务和解决方案如何帮助您解决业务和 IT 难题，请联系当地代表或授权经销商、访问 china.emc.com 或者在 EMC 商店浏览和比
较产品
版权所有 © 2016 EMC Corporation。保留所有权利。
EMC 确信本出版物在发布之日内容准确无误。该信息如有更改，恕不另行通知。
本出版物的内容按“原样”提供。EMC Corporation 对本出版物的内容不提供任何形式的陈述或担保，明确拒绝对有特定目的的适销性或适用性进行默示担
保。
使用、复制和发行本出版物所描述的任何 EMC 软件都要有相应的软件许可。
有关 EMC 产品名称的最新清单，请参见 china.emc.com 上的 EMC Corporation 商标。
VMware 和 VMware vSphere® 是 VMware, Inc. 在美国和/或其他司法辖区的注册商标或商标。
Citrix® 和 Citrix XenServer
® 是 Citrix Systems, Inc. 在美国和/或其他司法辖区的注册商标或商标。
此处使用的所有其他商标均为其各自所有者的资产。
部件号 H14965
3
目录
执行摘要 ...................................................................................................... 4
目标受众 ............................................................................................................ 4
文档用途 ............................................................................................................ 4
业务要求 ............................................................................................................ 4
概述 ........................................................................................................... 5
解决方案 ............................................................................................................ 5
关键组件 ............................................................................................................ 5
虚拟化 ............................................................................................................... 6
概述 .......................................................................................................................... 6
Citrix XenServer 6.5 ....................................................................................................... 6
XenCenter 6.5/XenServer CLI........................................................................................... 6
EMC XtremIO 存储 ................................................................................................ 6
群集设计 .................................................................................................................... 6
重复数据消除带来的容量节省 ........................................................................................... 7
精简资源调配 ............................................................................................................... 7
故障保护 .................................................................................................................... 7
可扩展性 .................................................................................................................... 7
内存中元数据操作 ......................................................................................................... 7
解决方案体系结构........................................................................................... 8
概述 .................................................................................................................. 8
逻辑体系结构 ....................................................................................................... 8
硬件资源 ............................................................................................................ 9
软件资源 ............................................................................................................ 9
参考体系结构 .............................................................................................. 10
概述 ................................................................................................................ 10
多路径 ............................................................................................................. 10
HBA 和 XtremIO 设备 I/O 调度程序和队列深度配置 ....................................................... 13
存储库 ............................................................................................................. 14
控制域 — Dom0 ................................................................................................. 14
空间回收 .......................................................................................................... 15
测试结果 .................................................................................................... 16
4
执行摘要
在过去十年中，服务器虚拟化一直是推动数据中心效率提高的一股力量。但是，在单台物理服务器上混合多种虚拟机 (VM) 负载的情况导致产生存储阵列
的 I/O 随机化，这阻碍了 I/O 密集型工作负载的虚拟化。EMC XtremIO 全闪存阵列不仅经济高效地解决了这一性能难题，还为虚拟化环境带来了更快的速
度和更高的资源调配敏捷性。
此参考体系结构针对 XenServer 6.5 虚拟化解决方案的特定技术方面提供了一个综合指南。服务器容量作为通用术语用于表示所要求的最小 CPU、内存和
网络接口数量。您可以选择达到或超出此处所列的最低要求的服务器和网络硬件。
目标受众
此参考体系结构面向 EMC 员工、合作伙伴和客户，包括那些想要了解 EMC XtremIO 全闪存阵列和 Citrix XenServer 6.5 如何为 VSI 和 VDI 环境提供一种
易于使用的高性能存储解决方案的存储管理员和 XenServer 管理员。
假定本文档的读者熟悉下列产品：
EMC XtremIO 全闪存阵列
Citrix XenServer 6.5 和 XenCenter
文档用途
本文档介绍利用 EMC XtremIO 全闪存阵列实现服务器/桌面虚拟化的 Citrix XenServer 6.5 基础架构的参考体系结构。
业务要求
目前，业务应用程序正在向整合式计算、网络和存储环境转变。EMC XtremIO 全闪存阵列和 Citrix XenServer 服务器虚拟化可降低传统部署模型中配置每
个组件的复杂性。虚拟化可降低集成管理的复杂性，同时又能维持应用程序设计和实施选项。管理统一化，同时可适度控制和监视流程分隔。
此解决方案可提供以下主要优势，从而解决部署和管理复杂整合环境的复杂性：
端到端虚拟化，利用统一基础架构组件的功能
一种 Citrix XenServer 服务器虚拟化解决方案，可高效地提供数千个虚拟机 (VM) 以用于各种客户使用情形，并具有可靠、灵活且可扩展的参考设计
简化的数据中心环境管理界面
更好地支持服务级别协议和法规遵从性计划
降低了运营和维护成本
5
概述
解决方案
本解决方案利用 EMC XtremIO 全闪存阵列和 Citrix XenServer 6.5 提供存储和服务器硬件整合，以实现私有云或服务器虚拟化。
这种新型虚拟化基础架构方便用户集中管理，能高效部署和管理数量可扩展的虚拟机及所需的相关共享存储。
图 1 显示了此解决方案的组件。
图 1：服务器虚拟化组件
关键组件
本解决方案的关键组件包括：
虚拟化 — 虚拟化层可将资源的物理实施与使用该资源的应用程序相分离。因此，可用资源的应用程序视图不再直接绑定到硬件。
存储 — 存储层对于实施服务器虚拟化至关重要。此解决方案中使用的 EMC XtremIO 全闪存阵列可提供超高性能并支持许多节省容量和数据服务相
关的功能。
6
虚拟化
概述
虚拟化层是任何服务器虚拟化和/或私有云解决方案的关键组件。此组件可将应用程序资源需求与底层物理资源相分离，从而为应用程序层带来更高的灵活
性。之所以能提高灵活性，是因为消除了因维护和物理系统更改而导致的硬件宕机，同时不影响所托管的应用程序。在服务器虚拟化或私有云使用情形中，
虚拟化层支持多台独立虚拟机共享同一物理硬件，而非在专用硬件上直接实施。
Citrix XenServer 6.5
XenServer 6.5 是来自 Citrix 的完整服务器虚拟化平台。XenServer 软件包中包含创建和管理在 Xen 上运行的虚拟 x86 计算机部署所需的一切要素；开放
源代码的半虚拟化虚拟机管理程序具有近乎本机的性能。
XenServer 针对 Windows 和 Linux 虚拟服务器进行了优化，并且无需底层操作系统，可直接在服务器硬件上运行，从而形成了一个高效且可扩展的系统。
XenServer 的工作原理是从物理机（例如硬盘驱动器、资源和端口）提取元素，并将它们分配给在物理机上运行的虚拟机。
虚拟机的行为与物理计算机完全一样，其中包含自己的虚拟（基于软件的）CPU、RAM、硬盘和网络接口卡 (NIC)。
XenServer 使您能够创建虚拟机，创建虚拟机磁盘快照并管理虚拟机工作负载。
XenCenter 6.5/XenServer CLI
用来管理 XenServer 的两种方法是：
XenCenter — 一个基于 Windows 的图形用户界面，可以管理 XenServer 主机、池和共享存储，并支持从 Windows 桌面计算机部署、管理和监视虚
拟机。
XenServer 命令行界面 (CLI) — 是一种联机帮助，可提供有用的 XenCenter 入门资源，并帮助用户获得上下文相关帮助。XenServer CLI 使用基于
Linux 的 XE 命令来管理 XenServer。
EMC XtremIO 存储
群集设计
XtremIO 采用横向扩展群集设计，可提供均衡的容量和性能以满足各种存储需求。每个群集构造块提供无单点故障的高可用性、完全主动/主动存储服务器。
XtremIO 群集自动平衡所有主机的工作负载，并且随着群集扩展也会自动平衡性能。
XtremIO 操作系统 (XIOS) 可管理存储群集并提供以下功能：
确保均衡地加载群集中的所有固态驱动器 (SSD) 以提供尽可能高的性能和耐久性，满足阵列整个生命周期内高需求工作负载的要求。
无需执行传统阵列的复杂配置步骤。XIOS 无需设置 RAID 级别、确定驱动器组大小、设置条带宽度、设置缓存策略、构建聚合或执行任何其他手动
配置。
自动以最佳方式配置卷，确保现有卷和数据集的 I/O 性能随着群集横向扩展自动提高。
管理群集扩展流程，并确保数据在所有新添加的 X-Brick（XtremIO 的基本群集构造块）之间保持平衡。XIOS 还可确保现有卷的 I/O 性能和数据集的
I/O 性能自动随着群集横向扩展而提高。如果应用程序需求发生更改，它不需要重新将数据分条。每个卷都能够获得整个 XtremIO 群集的全部性能潜
力。
7
重复数据消除带来的容量节省
EMC XtremIO 全闪存阵列根据一个算法来执行线内重复数据消除，该算法会进行检查来确保 SSD 中不存储重复的数据块。结果是每个存储 I/O 都在接收
数据期间实时消除重复数据，仅将唯一的数据块写入闪存存储。此外，XtremIO 的重复数据消除还有助于显著提高性能，因为所有元数据是在内存中，从
而确保获得最高的主机 I/O 性能。
精简资源调配
除了提供高性能，XtremIO 全闪存阵列以本机方式提供精简资源调配功能，从而可在应用程序需要时按需分配容量，并且不会影响阵列或存储 I/O 性能。
XtremIO 精简资源调配还非常精确，以 4KB 的数据块为单位分配容量来确保节约地使用闪存容量，这与 VMware vSphere 使用 I/O 数据块大小的方式保
持一致。
故障保护
EMC XtremIO 阵列通过完全冗余的组件提供极高的可靠性和可用性，并且能够承受任何组件故障而不中断服务。
XtremIO 提供以下故障保护：
存储控制器和磁盘阵列机箱 (DAE) 中的双电源可在失去任何电源时提供补偿，同时保持存储控制器/DAE 继续运行
冗余的主动/主动存储控制器可在控制器出现故障时提供补偿
DAE 中具有冗余的串行连接 SCSI (SAS) 互连模块
冗余的控制器间通信链路
具有多路径功能的多个主机连接，在出现路径故障时仍可正常工作
XtremIO 数据保护 (XDP) 可以承受 SSD 故障
通过多种技术来确保初始和持续的数据完整性
可扩展性
XtremIO 群集支持完全分布式的横向扩展设计，可在容量和性能方面线性增长，实现基础架构敏捷性。XtremIO 使用构造块方法，通过添加 X-Brick 来横
向扩展阵列。XtremIO 系统使用 N 向主动/主动控制器提供主机访问，可线性扩展性能和容量，简化了对不断增长的虚拟化环境的支持。因此，阵列容量
增加时，可通过增加存储控制器成比例地提高性能。
内存中元数据操作
XtremIO 群集均衡地在所有存储控制器中分发元数据，因此可在运行时保持元数据位于内存中。元数据附于 SSD 中，以便使阵列能承受故障和断电。但
是，在正常操作期间，所有元数据检索是基于内存，其方法是将元数据表分段并将它们均匀地分配在所有存储控制器中。相比之下，双控制器设计可能没
有足够的 RAM 来存储内存中的所有元数据，并且需要将大量元数据转储至闪存，这会导致若干相关的性能损失。
XtremIO 内存中元数据与独特的线内重复数据消除模型相结合，为虚拟化数据中心提供了前所未有的全新功能。
8
解决方案体系结构
概述
此部分提供了各种配置的摘要和特征描述，实施这些配置是为了验证 EMC XtremIO 全闪存阵列和 Citrix XenServer 6.5。验证过程涉及在 XtremIO 中构建
高度可用的群集化虚拟机环境并集成新的平台功能，以提供一个高性能、极具吸引力且经济高效的服务器虚拟化平台。
已定义的配置为创建自定义解决方案奠定了基础。
逻辑体系结构
图 2 显示了解决方案的逻辑体系结构，并介绍了经验证的基础架构的特征。在该基础架构中，8 GB 光纤通道承载存储流量，而 10GbE 承载管理和应用程
序流量。
图 2：逻辑体系结构
9
硬件资源
Table 1. 硬件资源
组件 配置
XenServer
服务器
CPU 每台服务器 2 个物理 CPU
每台服务器 40 个 vCPU
每个虚拟机 4 个 vCPU
内存 每台服务器 256 GB
每个虚拟机 8 GB RAM
网络 4 个 10 GbE NIC
网络基础架构 2 台物理交换机
3 个 10 GbE 用于管理和应用程序流量
1 个 10 GbE 端口用于虚拟机迁移和 XenServer 高可用性
EMC XtremIO 全闪存阵列 单个 X-Brick 包含 25 个 400 GB eMLC SSD 驱
动器
软件资源
Table 2. 软件资源
软件 配置
Citrix XenServer
XenServer XenServer 6.5（免费）
XenCenter 6.5.2 XenCenter
EMC XtremIO
XtremApp 4.0.2
虚拟机
Windows Microsoft Windows Server 2012 R2
Linux Centos 7.1
工作负载生成器
btest 174.6
vdbench 5.0.4
10
参考体系结构
概述
本部分介绍配置与 EMC XtremIO 全闪存阵列搭配使用的 XenServer 6.5 所需的步骤，这种配置旨在实现最出色的性能和最高的存储容量。由于
XenServer 是基于 Linux 的虚拟机管理程序（基于 XenSource Project 4.X），因此其配置过程从底层的（基于 Red Hat）Linux OS 启动。配置完成后，
还要配置 XenServer 6.5 虚拟机管理程序 (Dom0) 和 Storage Repositories (SR) 以实现 XtremIO 群集的最大利用率。
多路径
配置完成后，在使用 XenServer 6.5 附带的本机多路径之前，XtremIO 配置即会添加到 /etc/multipath.conf。
要配置与 XtremSW Cache 搭配使用的群集，请执行以下操作：
1. 通过 Linux 开始配置。
2. 配置 XenServer 6.5 虚拟机管理程序 (Dom0) 和 SR。
3. 将 XtremIO 配置添加到 /etc/multipath.conf。
device { vendor XtremIO product XtremApp path_selector "queue-length 0" rr_min_io_rq 1 path_grouping_policy multibus path_checker tur failback immediate fast_io_fail_tmo 15 }
4. 从 XenCenter 的 GUI 中，右键单击 XenServer，然后从菜单中选择“Enter Maintenance Mode”（如图 3 所示）。
注意：将 XenCenter 设置为维护模式之前，应将现有的虚拟机关闭电源或进行迁移。
图 3：将 XenCenter 设置为维护模式
11
5. 单击“Enter Maintenance Mode”（如图 4 所示）。
图 4：“Enter Maintenance Mode”
6. 右键单击 XenServer，然后从菜单中选择“Properties”（如图 5 所示）。
图 5：“XenServer Properties”
12
7. 在“XenServer Properties”窗口左侧窗格中选择“Multipathing”，并勾选“Enable multipathing on this server”（如图 6 所示）。
图 6：“Enabling Multipathing”
8. 单击“OK”。
9. 在右键单击菜单中选择“Exit Maintenance Mode”（如图 7 所示）。
图 7：“Exiting Maintenance Mode”
10. 重复上述步骤 1 至 9，以配置与 EMC XtremIO 全闪存阵列搭配使用的 XenServers。
有关如何通过 CLI 配置与 EMC XtremIO 全闪存阵列搭配使用的 Citrix XenServer 6.5 和/或利用运行的虚拟机在现有的 SR 中进行配置，请参阅 Citrix 支持
文章“CTX118791”（网址：http://support.citrix.com/article/CTX118791）。
13
HBA 和 XtremIO 设备 I/O 调度程序和队列深度配置
按照 HBA 制造商的要求，XenServer HBA 队列深度应配置为 128 个。您也可以参阅《EMC XtremIO 存储阵列主机配置指南》中的 Linux 部分，了解队
列深度配置信息。
XenServer 6.5 支持使用 UDEV 规则，当通过 XenServer 主机检测到这些规则时可帮助自动配置 XtremIO 卷。
在 XenServer shell 中，将以下各行添加到 /etc/udev/rules.d/99-XtremIO.rules：
# Use noop scheduler ACTION=="add|change", SUBSYSTEM=="block", ENV{ID_VENDOR}=="XtremIO", ENV{ID_MODEL}=="XtremApp", ATTR{queue/scheduler}="noop" ACTION=="add|change", SUBSYSTEM=="block", KERNEL=="dm*", ENV{DM_NAME}=="??14f0c5*" , ATTR{queue/scheduler}="noop" # Reduce CPU overhead due to disk entropy contribution ACTION=="add|change", SUBSYSTEM=="block", ENV{ID_VENDOR}=="XtremIO", ENV{ID_MODEL}=="XtremApp", ATTR{queue/add_random}="0" ACTION=="add|change", SUBSYSTEM=="block", KERNEL=="dm*", ENV{DM_NAME}=="??14f0c5*" , ATTR{queue/add_random}="0" # forces the IO processing completion to run on the requesting cpu ACTION=="add|change", SUBSYSTEM=="block", ENV{ID_VENDOR}=="XtremIO", ENV{ID_MODEL}=="XtremApp", ATTR{queue/rq_affinity}="2" ACTION=="add|change", SUBSYSTEM=="block", KERNEL=="dm*", ENV{DM_NAME}=="??14f0c5*" ,
ATTR{queue/rq_affinity}="2" # increase queue depth on the volume ACTION=="add|change", SUBSYSTEM=="scsi", ATTR{vendor}=="XtremIO ",ATTR{model}=="XtremApp", ATTR{queue_depth}="128" ACTION=="add|change", SUBSYSTEMS=="scsi", ATTRS{vendor}=="XtremIO ", PROGRAM="/bin/sh -c 'echo 128 > /sys$devpath/../../queue_depth'"
Noop 调度程序 — NOOP 调度程序将所有传入的 I/O 请求插入到一个简单的 FIFO 队列，并实施请求合并。如果已预先决定主机不会尝试将基于其中包含
的扇区编号的请求进行重新排序，在这种情况下调度程序就能发挥重要作用。换言之，调度程序“假定”如果在 I/O 堆栈中的较低层处理 I/O 调度，主机就完
全“不知道”如何高效地将请求重新排序。例如，在数据块设备上，是通过将智能 RAID 控制器，网络连接存储，或通过外部连接的控制器（例如，通过交
换机连接的存储区域网络访问的存储子系统）来处理。由于在较低级别，I/O 请求可能会重新调度，因此在主机级别将 IOPS 重新排序可能会造成主机的
CPU 时间被浪费在操作上的情况，只有达到较低级别才能消除这样的影响，于是导延迟增加、吞吐量降低以及生产力低下。
磁盘熵值贡献 — Linux 默认使用所有磁盘设备，以生成随机数据。此行禁止访问 XtremIO 卷以用于随机数据生成。
磁盘 CPU 相关性 — 在 Linux 系统中，CPU 相关性的默认值是“循环”。因此，I/O 可以在一个核心上启动并在另一个核心上完成，因此导致核心之间不必
要的数据传输，并增加了 I/O 延迟。
卷队列深度 — 仅在 HBA 级别上将队列深度更改为 128 不会影响内核使用的各种路径。队列深度保持为默认设置 32。使用此规则，所有 XtremIO 卷都被
指定队列深度为 128。
14
存储库
XenServer 的外部存储库 (SR) 称为“硬件 HBA”。使用 XenCenter（或 XE CLI）创建 SR 后，新的 SR 使用默认队列深度 (32)。调度程序（即 CFQ）需要
将队列深度设置为 128，并需要设置 NOOP 用于 I/O 调度程序。
使用 XE CLI，仅在 shell 上实施更改，这样就足以使其在池中的一个 XenServer 上运行。更改是全局的。
xe sr-list|grep name-descrip -B2|grep XtremIO -B2 |grep uuid|awk -F" " '{print "xe sr-param-set uuid="$5" other-config:blkback-mem-pool-size-rings=8 other-config:scheduler=noop"}'>/tmp/write_param;chmod a+x /tmp/write_param;/tmp/write_param
控制域 — Dom0
XenServer 6.5 带来了许多旨在提高整体性能的体系结构改进，并消除了 XenServer 6.2 的许多可扩展性限制。有关新的配置限制的详细信息，请参阅
Citrix 支持文章“CTX141510”（网址：http://support.citrix.com/article/CTX141510）。
新的 64 位控制域 (Dom0 使 XenServer 可以每个主机容纳更多的 PCI 设备（如 NIC、GPU 等），并支持使用仅限 64 位 的设备（包括许多固态驱动器解
决方案）。新的 64 位内核中消除了先前限制低/高内存的区块，这些区块先前会限制 Dom0 的最大可用内存量。此限制可能会导致 Dom0 中的内存达不到
最佳性能（当分配了超过 752 MB 的 RAM 时）。此外，Dom0 已从 CentOS 5.7 升级到 CentOS 5.10。
Dom0 内存是自助配置的（具体取决于可用的主机内存量），并可以进行扩展和优化，以满足最新的 vGPU 、磁盘和网络驱动程序内存需求。这样就可以
支持更多虚拟机和内部缓存，以加快磁盘访问速度。
XenServer 6.5 包括最新上市的 Xen Project 虚拟机管理程序，4.4 版提供了许多改进。XenServer 6.5 大大增加了 Dom0 可用的虚拟事件通道数量（从
1023 增加到 131071），这会导致连接的虚拟设备数量也随之增加。XenServer 6.2 版使用一种特殊的临时解决方案，提供 4096 个事件通道，这足以使
每个主机支持约 500 个虚拟机，但每个虚拟机中仅包含若干个虚拟设备。4.4 版支持额外的事件通道，而 XenServer 6.5 使每个虚拟机都能拥有更多、更
丰富的虚拟设备。
Xen 4.4 版还能更高效地处理授予拷贝锁定请求，从而极大地提高了网络和磁盘综合吞吐量。
Citrix 仍然建议的配置只有一种，是通过“host-cpu-tune”命令执行的，只有当该特定硬件，Dom0 对特定的硬件使用建议的 CPU 配置时才会显示该命令。
[root@scvdi45 ~]# host-cpu-tune advise Citrix recommends assigning 8 vCPUs to dom0, not using pinning. This can be achieved by running: /opt/xensource/bin/host-cpu-tune set 8 nopin [root@scvdi45 ~]# host-cpu-tune show dom0's vCPU count: 8, not pinned
第一条命令 (host-cpu-tune advise) 显示 Citrix 针对 Dom0 CPU 配置的建议，并打印出执行此配置更改所需运行的命令。必须重新启动才能启用该
参数。
15
空间回收
空间回收可释放经过存储阵列精简资源调配的 LUN 上未使用的数据块（如 SR 中已删除的 VDI）。它可以发送有关 LVM 中发生的删除的通知，以直接传
达给阵列。一旦释放，回收的空间可供阵列自由地重复使用。删除 XenServer 虚拟机快照时，会自动执行空间回收。
如果不每周或每月进行空间回收（具体取决于特定环境中正在删除或替换的数据量），阵列中就会填充很多旧的、未使用的数据，并且报告的存储利用率
值是比实际的值偏高。
要使用 XenCenter 回收释放的空间，请执行以下操作：
1. 从“View”菜单中选择“Infrastructure”，然后单击连接到 SR 的主机或池。
2. 单击“Storage”选项卡。
3. 从列表中选择 SR，然后单击“Reclaim freed space”。
4. 单击“Yes”。
5. 单击“Notifications”和“Events”，此时将显示“Events”窗口，其中显示操作的状态。
16
测试结果
本部分描述不同的情景和结果获得的益处，如 XtremIO 群集的图形界面中所示。主要结果包括：
实施所有调整后，总体性能提高了 37%。
在相同的 XenServer 硬件中实现了更多改进。
使用减少的基础架构来实施相同数量的虚拟机，导致解决方案的总体成本大大降低。
图 8 显示了仅使用多路径时的性能结果。
图 8：使用多路径时的性能
图 9 显示配置了 HBA 和 XtremIO 设备 I/O 调度程序和队列深度后所实现的性能结果。
图 9：配置 HBA 和 XtremIO 设备 I/O 调度程序和队列深度后的性能
17
图 10 显示配置了 XtremIO SR 后所获得的性能测试结果。
图 10：为 EMC XtremIO 配置存储库后的性能
图 11 显示实施了空间回收后所实现的性能结果。
图 11：实施空间回收后的性能