ovm for sparc规划设计v2

OVM for SPARC 规划设计 Best practice & deep dive of OVM for SPARC

郭峰

首席云计算架构师 / 甲骨文中国系统事业部

August 2014

版权所有 © 2014，Oracle 和/或其关联公司。保留所有权利。 2

《地心毁灭》

版权所有 © 2014，Oracle 和/或其关联公司。保留所有权利。

全面统一的服务器虚拟化选项

集中的虚拟化生命周期管理

广泛的服务器虚拟化技术选择

动态域 Oracle VM for SPARC

Oracle VM for x86

Zone & Kernel Zone

M 系列 T/M 系列所有 x86 所有 SPARC 和 x86

虚拟机管理程序虚拟机管理程序


统一的基础架构云管理平台 OVM for SPARC 、OVM for X86、Solaris Zones for M/T/X Server

存储信息库

X86虚拟化服务器池

存储信息库

SPARC 虚拟化服务器池

Oracle VM


OVM for SPARC虚拟化考虑因素

• 用户希望我们可以像X86一样灵活方便、同时还要有UNIX的安全可靠！

• 手工部署还是OpsCenter图形化管理？

• 通过OVM for SPARC实现高可用还是在应用层完成高可用？

• 使用虚拟IO还是使用Direct IO？

• 要不要采用OVN？

• OVM for SPARC和Solaris Zone的结合

• 如何做虚拟化资源分配？

• CLI习惯、功能全面 vs. BUI简洁、局限

5


虚拟磁盘多路径

6

# ldm add-vdsdev mpgroup=foo backend-path1 volume@primary-vds0 # ldm add-vdsdev mpgroup=foo backend-path2 volume@alternate-vds0 # ldm add-vdisk disk-name volume@primary-vds0 ldom

Virtual disk multipathing enables you to

configure a virtual disk on a guest domain

to access its back-end storage by more

than one path. The paths lead through

different service domains that provide

access to the same back-end storage,

such as a disk LUN. This feature enables

a virtual disk in a guest domain to remain

accessible even if one of the service

domains goes down.

高可用


例：定义primary 和 root domain primary# ldm add-vds primary-vds0 primary primary# ldm add-vcc port-range=5000-5100 primary-vcc0 primary primary# ldm add-vswitch net-dev=net0 primary-vsw0 primary primary# ldm set-core 2 primary primary# svcadm enable vntsd primary# ldm start-reconf primary primary# ldm set-mem 16g primary primary# shutdown -y -g0 -i6 primary# ldm add-dom alternate primary# ldm set-core 2 alternate primary# ldm set-mem 16g alternate primary# ldm start-reconf primary primary# ldm rm-io pci_14 primary primary# ldm rm-io pci_15 primary //移除T5-8中的PCI bus primary# init 6 primary# ldm add-io pci_14 alternate //为root domain添加PCI bus primary# ldm add-io pci_15 alternate //为root domain添加PCI bus primary# ldm add-vdsdev /export/home/iso/sol-11-sparc.iso s11iso@primary-vds0 primary# ldm add-vdisk s11isodisk s11iso@primary-vds0 alternate // 启动盘 primary# ldm add-vds alternate-vds0 alternate primary# ldm add-vsw net-dev=net0 alternate-vsw0 alternate primary# ldm bind alternate primary# ldm start alternate

7

高可用 CLI


例：创建多service domain虚拟机

8

primary# ldm add-dom ldg1 primary# ldm set-core 16 ldg1 primary# ldm set-mem 64g ldg1 primary# ldm add-vnet linkprop=phys-state ldg1net0 primary-vsw0 ldg1 primary# ldm add-vnet linkprop=phys-state ldg1net1 alternate-vsw0 ldg1 primary# ldm add-vdisk s11isodisk s11iso@primary-vds0 ldg1 primary# mkdir /ldoms/ldg1 primary# mkfile -n 20g /ldoms/ldg1/disk0.img primary# ldm add-vdsdev mpgroup=ldg1group /ldoms/ldg1/disk0.img ldg1disk0@primary-vds0 //虚拟磁盘多路径 primary# ldm add-vdsdev mpgroup=ldg1group /ldoms/ldg1/disk0.img ldg1disk0@alternate-vds0 primary# ldm add-vdisk ldg1disk0 ldg1disk0@primary-vds0 ldg1 primary# mkfile -n 20g /ldoms/ldg1/disk1.img primary# ldm add-vdsdev mpgroup=ldg1group1 /ldoms/ldg1/disk1.img ldg1disk1@primary-vds0 primary# ldm add-vdsdev mpgroup=ldg1group1 /ldoms/ldg1/disk1.img ldg1disk1@alternate-vds0 primary# ldm add-vdisk ldg1disk1 ldg1disk1@alternate-vds0 ldg1 primary# ldm bind ldg1 primary# ldm start ldg1

高可用 CLI


OpsCenter 12c中配置多路径

9

In the Storage Resource Assignments step,

retain the storage library selected for the

virtual disks from the profile. There is only

one path to access the backend storage

and the multipathing group name is not

provided. Therefore, multipathing group is

not created for this virtual disk. The virtual

disk server is named as root_dom1-vds0

by default. If required, you can modify the

name of the virtual disk server.

高可用 BUI


IO Domain •An I/O domain is a logical domain that has PCIe Endpoint devices assigned to it. •The number of I/O domains that you can create depends on the number of PCIe Endpoints that are available in a PCIe bus.

10

Physical IO Domain

PCIe Endpoint Type

Specify the PCIe Endpoint devices for the I/O domain

高可用 BUI


Root Domain • A root domain is a logical domain that has PCIe root complexes assigned to it. The PCIe bus and all the devices

on it are owned by the root domain. From the root domain, you can allocate PCIe Endpoint devices to other logical domains.

11

Select Root Domain in the Subtype

Specify the number of PCIe buses

Specify the PCIe bus alias for the root domain.

高可用 BUI


IPMP 实现网络高可用

12

【Service Domain】

# ldm add-vnet linkprop=phys-state net0 primary-vsw0 ldom1

# ldm add-vnet linkprop=phys-state net1 primary-vsw1 ldom1

【Guest Domain】

# ipadm create-ip net0

# ipadm create-ip net1

# ipadm create-ipmp ipmp0

# ipadm add-ipmp -i net0 -i net1 ipmp0

# ipadm create-addr -T static -a 192.168.1.1/24 ipmp0/v4addr1

# ipadm create-addr -T static -a 192.168.1.2/24 ipmp0/v4addr2

高可用 CLI


一些需要遵循的原则 • For the control domain and other service domains, use a minimum of at least 1 core (8 vCPUs) and 4GB or 8GB of

memory for small workloads. Use two cores and 16GB of RAM if there is substantial I/O load. Be prepared to allocate

more resources as needed.

• Avoid “split core” situations in which CPU cores are shared by more than one domain (different domains with CPU threads

on the same core). Split core situations are easily avoided by always assigning virtual CPUs in multiples of 8 (ldm set-vcpu 8

mydomain or ldm add-vcpu 24 mydomain).

• Use Solaris 11 in the control and service domains - Solaris 11 contains functional and performance improvements over

Solaris 10 (some will be mentioned below), and will be where future enhancements are made.

• Live Migration - Live migration is CPU intensive in the control domain of the source (sending) host. You must configure at

least 1 core to the control domain in all cases, but additional core will speed migration and reduce suspend time.

• Root Domain： a maximum of 4 root domains can be created on the SPARC T4-4 server, and a maximum of 16 on a T5-8

server.

• Oracle RAC：The main choice is to run Oracle RAC on either a guest domain or an I/O domain. it is not recommended to

run Oracle RAC in the control domain or in a service domain. The operating system in all domains should be at least Oracle

Solaris 10 10/11 (Update 10) or Oracle Solaris 11. Running Oracle RAC on Oracle VM Server for SPARC requires the use

of Oracle 10g R2 (Oracle 10.2.0.4) or later with the same patch set on all nodes.

• Each domain running Oracle RAC should have a minimum of 8 virtual CPUs (1 CPU core) and 4 GB of memory. This is a

small resource allocation for illustrative purposes.

13

原则


Oracle 网络虚拟化 The Complete Fabric Infrastructure for the Data Center

融合的基础架构和I/O整合解决方案加速应用，优化服务器之间的数据流量网络按需部署，实现真正的云架构减少70%的基础架构连接复杂度

Oracle Virtual Networking

Web服务器 (SPARC / x86) 数据库服务器

(SPARC / x86)

应用/中间件服务器 (SPARC / x86)

企业核心网络 FC 光纤存储

FABRIC INTERCONNECT Oracle Virtual Networking

IO扩展


OVN 问题归纳

在OVM for SPARC上OVN对我们来说最主要的问题有以下几个：

1. OVN不能做SAN/WAN Boot。

但是可以考虑通过虚拟的LUN作为系统盘使用，OVN看到的LUN可以作为Oracle RAC的数据盘。

或者使用物理HBA卡直接看到系统盘的LUN。

2. 光纤多路径认证仅限：Veritas DMP和MPxIO；需通过Brocade FC switches连接存储。

3. SPARC上不支持SDN、PVI私有虚拟互联。？

4. 每个IO/Root Domain最多 4个vHBAs和8个vNICs，不支持SR-IOV 。（OVN Host Drivers 5.1.2 ）

5. 在OpsCenter 12c R2中支持多个Service Domain的方案。

6. RAC通过IB卡作为Private IP心跳网，在OVN中不可行。

另外通过HCA专门组建一个Private IP的心跳网。

主要的问题影响和对应

IO扩展


方案一：虚拟LUN作为Solaris系统盘

RC 4

HCA4

RC 5

HCA5

LAN SAN

vHBA1 vNIC1

OVN

vHBA2 vNIC3 vNIC2 vNIC4

RAC Public IP IPMP

DB ASM Disk MPxIO

RAC Private IP IPMP

RC 2

HCA2

RC 3

HCA3

HCA2 HCA3

RAC Private IP QDR

IB Switch

RAC Private IP

Solaris OS System vDisk

RC 0

HBA0

RC 1

HBA1

vswitch

vds MPxIO

SAN

DB Root Domain 1 Control Domain

DB Root Domain

2

DB Root Domain

3

HBA0 HBA1

ETH

0~3

可选项目并非必须

数据库 Root Domain


方案一：虚拟LUN作为Solaris系统盘

• 每个RAC需要的PCI插槽（2~4个）

2个HCA连接OVN 虚拟出2个vHBA连接RAC数据存储

虚拟出2个Public IP vNIC

虚拟出2个Private IP vNIC

如果希望IB作为RAC的Private IP，则需要额外2个HCA连接到IB交换机

• Control Domain提供虚拟LUN作为系统盘vDisk

2个HBA卡连接存储，以便提供虚拟LUN

主板上的4个网卡供Control Domain与OpsCenter连接

Control Domain自身的OS装在本地盘上

• 总IO Root Domain数量(T5-8)

2个PCI方案： 7个 DB Root Domain，1个 Control Domain

4个PCI方案： 3个 DB Root Domain，1个 Control Domain （富余2块PCI ）

优点是节省PCI插槽；缺点是RAS可用性降低

提示：手工部署可行，尚不确定OpsCenter操作步骤；需要PoC验证

2PCI和4PCI方案可以混合使用倾向于2PCI方案



方案二：独立的物理HBA卡访问系统盘

RC 4

HCA4

RC 5

HCA5

LAN SAN

vHBA1 vNIC1

OVN

vHBA2 vNIC3 vNIC2 vNIC4

RAC Public IP IPMP

DB ASM Disk MPxIO

RAC Private IP IPMP

RC 2

HCA2

RC 3

HCA3

HCA2 HCA3

RAC Private IP QDR

IB Switch

RAC Private IP

Solaris OS System Disk

MPxIO

RC 0

HBA0

RC 1

HBA1

vswitch

SAN

DB Root Domain 1 Control Domain

DB Root Domain

2

HBA0 HBA1

ETH

0~3

可选项目并非必须 RC

n

HBAn

RC m

HBAm



方案二：独立的物理HBA卡访问系统盘优点是Domain隔离，整体可用性高；缺点是需要更多PCI插槽

• 每个RAC需要的PCI插槽（4~6个）

2个HCA连接OVN 虚拟出2个vHBA连接RAC数据存储

虚拟出2个Public IP vNIC

虚拟出2个Private IP vNIC

2个HBA连接SAN存储，作为Solaris 系统盘

如果希望IB作为RAC的Private IP，则需要额外2个HCA连接到IB交换机

• Control Domain配置

不需要PCI插槽

主板上的4个网卡供Control Domain与OpsCenter连接

Control Domain自身的OS装在本地盘上

• 总IO Root Domain数量(T5-8)

4个PCI方案： 4个 DB Root Domain，1个 Control Domain

6个PCI方案： 2个 DB Root Domain，1个 Control Domain （富余4块PCI ）

提示：手工部署可行，尚不确定OpsCenter操作步骤；需要PoC验证

4PCI和6PCI方案可以混合使用倾向于4PCI方案



关于Solaris Zone的使用

• VIO LDOM中的Solaris Zone部署于虚拟机的本地盘中，不能做迁移和克隆，不能实现Zone Pool，但是Zone可以随着VIO LDOM一起热迁移。

• DIO LDOM中的Solaris Zone可以实现Zone Pool的所有功能，可以冷迁移。

• DIO LDOM使用OVN的情形，如果Global Zone按照方案一或方案二部署。OVN虚拟出的vHBA看到的LUN可以作为Zone Pool的存储池，能够形成Zone Pool。情形应与RAC相似，需要PoC验证。

Zone更适合用于DI或CI的部署

混合虚拟化


T5-8 LDOM和Zone规划

RC

0

RC

7 RC

15

SAN

Root Domain （Zone Pool） VIO Domain Control Domain

vds vsw

HBA ETH

Switch

LUN

App Ldom

Solaris 11 on Shared Disk

VIO Guest Domain

vNet

DI Zone

Solaris 11

on LDOM

Local Disk

CI

Zone CPU MEM

SAN Switch

LUN

RC

8

HBA ETH

App LDOM

LUN Storage

Library

control dom Solaris 11 on

Local Disk

Root domain Solaris 11 on

Local Disk

DB Zone

vNet vDisk

DB Zone

LUN Storage

Library

DB Zone Solaris 11 on Shared Disk


Ops Center 12c Storage Libraries

vDisk

CI

Zone

DI

Zone

提示：App VIO Domain中的Zone不能构成Zone Pool，不能做迁移。

混合虚拟化


T5-8 LDOM和Zone规划with OVN

RC

0

RC

7 RC

15

SAN

Root Domain （Zone Pool） VIO Domain Control Domain

vds vsw

HCA HCA

Switch

LUN

App Ldom

Solaris 11 on Shared Disk

VIO Guest Domain

vNet

CPU MEM

SAN Switch

LUN

RC

8

HCA HCA

App LDOM

LUN Storage

Library

control dom Solaris 11 on

Local Disk

Root domain Solaris 11 on

Local Disk

DB Zone

vNet vDisk

DB Zone

LUN Storage

Library



Ops Center 12c Storage Libraries

vHBA vNIC

OVN Host Driver OVN Host Driver

vNIC vHBA

vDisk

DI Zone

Solaris 11

on LDOM

Local Disk

CI

Zone

CI

Zone

DI

Zone

提示：App VIO Domain中的Zone不能构成Zone Pool，不能做迁移。

混合虚拟化


VIO部署Oracle RAC和磁盘性能

The virtual disk I/O performance boost：Solaris 11.1 SRU 19.6 introduces new algorithms that remove bottlenecks caused

by serialization (Update: patch update 150400-13 provides the same improvement on Solaris 10 ).

Oracle VM Server for SPARC 3.1.1 added the ability to use Single Root I/O Virtualization (SR-IOV) for Fibre Channel (FC)

devices. This provides native performance with better resource granularity: there can be many SR-IOV devices to hand to

domains.

虚拟IO 性能

https://blogs.oracle.com/cmt/resource/ldoms.images/new.vdisk.performance.iops.png

https://blogs.oracle.com/cmt/resource/ldoms.images/new.vdisk.performance.svt.png


OpsCenter12c网络架构

24

OpsCenter 12c的采用决定了系统的架构。某些手工管理的灵活性丧失。某些特性没有了，如ZFS卷克隆部署LDOM特性无法BUI实现。初期部署复杂、后期维护方便。通过OpsCenter12c构建的Server Pool可以进行池化管理，虚拟机HA。图形管理的虚拟化全生命周期管理。所有SPARC服务器都应该同构部署，Control Domain、Root Domain、Service Domain、PCI Bus的分配，网络连接等都应该是一样的。

图形管理


OpsCenter12c 安装环境需求

[网络需求] •1，所有SPARC server的ILOM接入一个交换机A；ilom口配置好IP地址，交换机A上没有防火墙和端口限制。 •2，所有SPARC server的control domain上的一个网口接入一台交换机B，最好使用服务器上相同的网口，主板上的eth0比较合适便于管理，注意必须是Control Domain上的网卡。交换机B上没有防火墙和端口限制；请特别注意在此交换机的网段上，OpsCenter将开启DHCP功能，用于虚拟机ldom的部署和安装。 •3，OpsCenter有一个网口A接入交换机A，以便管理ILOM和业务口；另一网口B接入交换机B，用于虚拟化管理。 •4，OpsCenter有一个网口C接入公网，便于管理员从公网访问，配置好合适IP。 [服务器配置] •5，安装OpsCenter服务器的配置需要与Oracle X4-2相当，32G内存，32G Swap，200G 可用硬盘空间，硬盘要两块做镜像，提高opscenter可靠性。预装Solaris 11.1操作系统。安装好Desktop以便VNC访问，开启ssh服务。 •6，第三方服务器认证列表：

– Solaris 11：http://www.oracle.com/webfolder/technetwork/hcl/data/s11ga/systems/views/all_servers_all_results.mfg.page1.html

– Solaris 10：http://www.oracle.com/webfolder/technetwork/hcl/data/sol/systems/views/all_servers_all_results.page1.html

•[账户信息] •7，需要提供上述sparc server的ilom和control domain的ip地址以及root账户信息。 •8，上传opscenter、oracle db、solaris repository full.iso和 solaris SRU.iso文件到opscenter服务器。

25


OVM for SPARC资源池建设步骤

•安装Solaris 11.1

•安装配置

OpsCenter12c OpsCenter12c

管理平台

•配置ILOM

•OpsCenter

发现物理服务

器

物理资产发现

•配置部署模板

•OpsCenter12c推送部署

OVM for SPARC 部署OVM for

SPARC

•配置NAS Library

•配置SAN Library

存储资源池

•创建服务器池

•配置网络

•配置存储

服务器池

•创建VIO Domain

•创建DIO Domain

创建虚拟机

OpsCenter 12c架构部署流程

•调配vCPU

•调配MEM

•调配vDisk

动态资源调配

•VIO Domain在线热迁移

•DIO Domain离线冷迁移

虚拟机迁移

•NAS存储

•SAN存储

挂载新存储

•部署OVM for SPARC

•添加到服务器池

资源池扩充

更新IPS：1~2天

基础环境配置： 1天

OVM安装：1小时

构建存储池：10分钟

添加服务器：10分钟

LDOM、OS安装：1小时

资源池运维

DR：5分钟

热迁移：10分钟

加载新存储：10分钟

OVM安装，配置：1小时

提示：以上时间估计基于T4-4和OpsCenter12cR1U4的PoC测试经验值，并且都是经验值的上限。


虚拟化管理平台招标指标服务器管理

No. 监控对象监控内容是否满足 1 以下各项服务器监控内

容均需通过浏览器方式可视化管理，并且能够以丰富的图表展示各种系统信息和分析数据。

2 CPU监控预警 CPU架构、CPU数量、实际电源消耗、最大CPU数量、名称、型号、速率、制造商、运行状态 3 内存监控预警 DIMM数量、内存大小、最大DIMM数、实际电源消耗、内存类型、制造商、序列号、运行状态 4 磁盘监控预警安装的内置盘容量、运行状态 5 风扇制冷监控 Classis和PSU风扇安装数量和最大数量、入口和排气温度、运行状态 6 电源管理电源数量、电源功耗、状态、安装数量、最大数量、制造商、序列号 7 物理服务器操作系统部

署通过图形化管理工具批量部署Oracle Solaris、Linux操作系统

8 网卡运行状态、MAC信息 9 物理机虚拟化软件部署通过图形化管理工具批量部署OVM for SPARC和Solaris Zone虚拟化管理程序

10 服务器性能监控监控支持ALOM和ILOM服务芯片的服务器功耗、CPU、风扇转速、In/Out Pull、温度 11 Firmware更新 SPARC服务器Firmware更新管理

操作系统管理 No. 监控对象监控内容是否满足 12 以下各项操作系统监控

内容均需通过浏览器方式可视化管理，并且能够以丰富的图表展示各种系统信息和分析数据。

13 操作系统更新 Oracle Solaris和Linux的操作系统更新 14 操作系统运行状态操作系统运行分析，包括CPU利用率、网络利用率、磁盘IO利用率、内存利用率、预警信息表、

线程信息、文件系统使用率、系统负载 15 支持主流的操作系统 Solaris for SPARC、Solaris for X86、Oracle Linux、Redhat Linux、Novell SUSE Linux

Windows

27


虚拟化管理平台招标指标（续）服务器虚拟化管理

No. 监控对象监控内容是否满足 16 以下各项虚拟化监控内容均需通过浏览器方式可视化管理，并且能够以丰富的图表展示各种系统信息和分析数据。 17 虚拟化管理程序安装部署通过图形化管理工具批量部署OVM for SPARC和Solaris Zone虚拟化管理程序 18 多种虚拟化技术支持能够管理至少如下三种虚拟化管理程序：OVM for X86、OVM for SPARC、Solaris Zone 19 虚拟机创建和部署图形化创建虚拟机、并且为虚拟机安装部署操作系统 20 虚拟机动态资源调配动态增减内存

动态增减vCPU 动态增减磁盘动态增减网卡

21 虚拟机性能监控 vCPU、内存、磁盘、网络 22 虚拟机迁移功能 OVM for SPARC 和 OVM for X86在线热迁移

Solaris Zone图形化冷迁移 23 自服务门户用户可以通过自服务门户的方式按配额申请虚拟机 24 用户权限管理支持角色方式的多种权限分配，不同的用户可以获得多种管理权限。

软件集成能力 No. 监控对象监控内容是否满足 25 Oracle Enterprise Manager

Cloud Control 12c 管理软件能够和Oracle Enterprise Manager Cloud Control 12c进行集成，以方便虚拟化和应用软件的管理和监控。

28


服务器虚拟化软件招标指标

29

服务器虚拟化软件 No. 功能具体内容是否满足

1 虚拟机动态资源调配 CPU动态资源调配、内存动态资源调配、虚拟 I/O动态资源调配、加密单元动态资源调配、动态添加磁盘、动态添加网卡

2 跨 CPU 的安全实时迁移可以在同架构不同代次CPU服务器间进行虚拟机在线实时热迁移。 3 动态SR-IOV虚拟化I/O 不需要重新引导即可实现SR-IOV的重新配置 4 高级SR-IOV功能支持InfiniBand SR-IOV和光纤通道SR-IOV 5 直接IO功能基于PCIe插槽和PCIe总线为虚拟机分配直接 I/O通道，以提高虚拟机的I/O性能 6 CPU颗粒度能够按CPU线程和CPU核两种方式分配CPU计算资源给虚拟机的vCPU 7 虚拟机功耗监控能够查看各虚拟机的功耗情况 8 恢复模式该功能可以自动恢复因为资源出现故障或缺少资源而无法引导的域配置。自动检测故障内存和CPU 资源

并将其降级的功能支持。 9 故障管理故障管理体系结构(FaultManagement Architecture, FMA) 黑名单功能。当FMA 检测到有故障的CPU

或内存资源后，Oracle VM for SPARC 会将其放入黑名单。不能将列入黑名单的有故障资源重新分配给任何域，除非FMA 将其标记为已修复

10 MIB支持 MIB（Management Information Base）使第三方系统管理应用程序能够使用简单网络管理协议(Simple Network Management Protocol, SNMP) 对域执行远程监视并启动和停止虚拟机。

11 指定CPU分配支持分配指定的CPU 核心和内存块给虚拟机 12 指定内存分配支持分配指定的CPU 核心和内存块给虚拟机 13 DRM策略支持较高优先级的域按照DRM策略的要求使用较低优先级别域的CPU。priority优先级策略。 14 电源管理PM策略在主机计算机具有有效的PM弹性策略时，启用动态资源管理(dynamic resource management,DRM)

功能。在源计算机、目标计算机或两者都具有有效的电源管理(power management, PM) 弹性策略时，启用实时迁移功能。

ovm for sparc规划设计v2

Documents