故障案例 - huawei cloud · 2021. 2. 8. · 2.1 virt-manager图形化无法打开 2.2...

鲲鹏 BoostKit 虚拟化使能套件

故障案例

文档版本 07

发布日期 2021-04-23

华为技术有限公司

版权所有 © 华为技术有限公司 2021。保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明

和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

文档版本 07 (2021-04-23) 版权所有 © 华为技术有限公司 i

目录

1 Docker&K8s 故障案例.............................................................................................................. 11.1 docker.service 问题.................................................................................................................................................................. 11.2 K8s 软件源网络访问被拒绝....................................................................................................................................................21.3 集群无法查到新增节点............................................................................................................................................................31.4 kubectl get node 报错............................................................................................................................................................ 31.5 集群添加节点报错.................................................................................................................................................................... 31.6 集群添加节点超时.................................................................................................................................................................... 41.7 初始化集群加载证书失败....................................................................................................................................................... 41.8 pod 状态显示 CrashLoopBackoff........................................................................................................................................ 51.9 初始化集群不成功.................................................................................................................................................................... 51.10 DockerHub 网络可达，但下拉镜像超时......................................................................................................................... 61.11 成功下载过镜像，但下拉镜像超时................................................................................................................................... 61.12 flannel插件状态显示 CrashLoopBackoff....................................................................................................................... 6

2 KVM 虚拟化故障案例............................................................................................................... 82.1 virt-manager 图形化无法打开.............................................................................................................................................. 82.2 KVM 无法使用图形化安装 guest OS................................................................................................................................ 112.3 无法连接 hypervisor.............................................................................................................................................................. 152.4 libvirtd 服务无法启动............................................................................................................................................................ 162.5 unsupported configuration: ACPI requires UEFI on this architecture................................................................. 172.6 KVM 不支持 GICv4（影响 IO 性能）................................................................................................................................182.7 Avago 3408iMR 不支持 SMMU.........................................................................................................................................182.8 KVM 不支持内部快照............................................................................................................................................................182.9 删除虚拟机报错...................................................................................................................................................................... 18

3 OpenStack Stein 故障案例................................................................................................... 203.1 无法连接消息列队 server..................................................................................................................................................... 213.2 执行 openstack network agent list 报错....................................................................................................................... 223.3 Keystone 服务鉴权失败........................................................................................................................................................223.4 Heat 运行服务报错：Error：None................................................................................................................................... 233.5 Horizon 登录异常情况.......................................................................................................................................................... 253.6 placement 功能异常............................................................................................................................................................. 263.7 虚拟机类型选择 KVM............................................................................................................................................................263.8 pip 安装出错，无可用包...................................................................................................................................................... 27

鲲鹏 BoostKit 虚拟化使能套件故障案例目录

文档版本 07 (2021-04-23) 版权所有 © 华为技术有限公司 ii

3.9 ETCD 服务无法启用............................................................................................................................................................... 283.10 swift 服务运行报错“Errno 13”.................................................................................................................................... 293.11 Internal Server Error, HTTP 500..................................................................................................................................... 313.12 服务临时不可用 HTTP 503............................................................................................................................................... 333.13 连接拒绝错误，Errno 111................................................................................................................................................ 343.14 执行 sysctl -p 报错.............................................................................................................................................................. 353.15 出现 proxy 代理错误........................................................................................................................................................... 363.16 安装 keystone 服务报错，HTTP 403............................................................................................................................. 363.17 使用 yum 安装 openstack-stein 库报错........................................................................................................................ 373.18 Flavor 规格不正确导致创建虚拟机报错：No valid host was found....................................................................373.19 计算节点不升级 qemu、libvirt，neutron、nova 服务无法启用........................................................................... 383.20 计算节点使用 qemu 2.12、libvirt 4.5.0，创建虚拟机失败..................................................................................... 393.21 创建虚拟机报错“Virtual Interface creation failed”............................................................................................. 40

4 OpenStack&Ceph 故障案例..................................................................................................424.1 时间同步问题...........................................................................................................................................................................424.2 Swift 身份验证问题................................................................................................................................................................42

A 修订记录................................................................................................................................... 44

鲲鹏 BoostKit 虚拟化使能套件故障案例目录

文档版本 07 (2021-04-23) 版权所有 © 华为技术有限公司 iii

1 Docker&K8s 故障案例1.1 docker.service问题

1.2 K8s软件源网络访问被拒绝

1.3 集群无法查到新增节点

1.4 kubectl get node报错

1.5 集群添加节点报错

1.6 集群添加节点超时

1.7 初始化集群加载证书失败

1.8 pod状态显示CrashLoopBackoff

1.9 初始化集群不成功

1.10 DockerHub网络可达，但下拉镜像超时

1.11 成功下载过镜像，但下拉镜像超时

1.12 flannel插件状态显示CrashLoopBackoff

1.1 docker.service 问题

问题现象

Docker二进制安装包不包含docker.service问题及docker.service配置后无法启动的问题。

问题原因

Docker二进制安装包服务需要额外配置docker.service。

处理步骤

配置docker.service，相关工作已脚本化。配置完成后需要将Docker添加至用户组，详细操作请参考《Docker 安装指南（CentOS 7.6）》。

鲲鹏 BoostKit 虚拟化使能套件故障案例 1 Docker&K8s 故障案例

文档版本 07 (2021-04-23) 版权所有 © 华为技术有限公司 1

https://support.huaweicloud.com/instg-kunpengcpfs/kunpengcpfs_03_0001.html

相关操作：

● 将Docker添加至用户组：创建Docker用户组。sudo groupadd dockersudo usermod -aG docker $(whoami)sudo service docker start

● 为Docker二进制安装包的Docker配置docker.service：

a. 下载最新版Docker。官网下载地址：https://download.docker.com/linux/static/stable/x86_64/上面列出了docker-ce版本，根据自己需要下载对应版本的docker-ce。

b. 下载脚本进行安装。脚本下载地址：https://github.com/liumiaocn/easypack/blob/master/docker/install-docker.sh

c. 上传文件并设置执行权限，将脚本和文件放在同一级目录。chmod +x install-docker.sh

d. 执行安装命令，此处以docker-18.03.0-ce为例。./install-docker.sh docker-18.03.0-ce.tgz

1.2 K8s 软件源网络访问被拒绝

问题现象

K8s源网络访问被拒绝问题。

问题原因

K8s本地源导致api-server无法启动。

处理步骤

将K8s源替换为华为云源，并卸载掉本地K8s源。

相关操作：

● 用华为云源替换本地K8s源：华为云源下载地址：https://mirrors.huaweicloud.com/kubernetes/yum/repos/kubernetes-el7-aarch64/编辑文件/etc/yum.repos.d/kubernetes.repo。cat

1.3 集群无法查到新增节点

问题现象

K8s从节点执行kubeadm加入主节点命令后提示成功加入集群，在主节点无法查到该节点。

问题原因

主从节点的K8s组件的版本不一致导致。

处理步骤

在创建集群之前需要先保证组件版本一致。可用以下命令:

docker images | grep k8s.gcr.io

1.4 kubectl get node 报错

问题现象

kubectl get nodes报错，显示“The connection to the server localhost:8080 wasrefused”。

问题原因

1. Kube的config文件并没有赋予合理所属权导致执行权限不够。2. 另外需要更新环境变量。

处理步骤

依次执行以下命令：

cp /etc/kubernetes/admin.conf $HOME/chown $(id -u):$(id -g) $HOME/admin.confexport KUBECONFIG=$HOME/admin.conf

1.5 集群添加节点报错

问题现象

集群添加新节点的时候报错提示：unable to fetch kubeadm-config。



问题原因

一般在这个环节出现添加错误并提示没有权限获取config文件，大多是由于token错误或者失效造成的，由于默认情况下master节点上的token只会保留24小时，超过期限之后会失效。

处理步骤

步骤1 去master节点上检查token状态。kubeadm token list

步骤2 如果发现已经invalid，则需要重新生成一个临时token（这里暂时不讨论生成长期有效的token）。kubeadm create token

步骤3 使用新的token执行添加操作即可通过。

----结束

1.6 集群添加节点超时

问题现象

集群添加节点的时候报错提示：操作超时并提示kubelet启动问题相关“errorexecution phase kubelet-start”。

问题原因

这是由于kubelet的服务状态已经受损。

处理步骤

需要执行以下命令重新重置kubeadm。

kubeadm resetsystemctl daemon-reloadsystemctl restart kubelet

1.7 初始化集群加载证书失败

问题现象

初始化集群的时候提示问题“failed to load certificate: couldn't load the certificatefile /etc/kubernetes/pki/apiserver.crt: open /etc/kubernetes/pki/apiserver.crt: nosuch file or directory”。



问题原因

apiserver.cert 由kubeadm组件自动生成，提示此问题是因为环境中的残余配置文件没有清理。

处理步骤

删除“$HOME/.kube/config”文件并执行kubeadm reset命令方可解除。

1.8 pod 状态显示 CrashLoopBackoff

问题现象

创建pod后pod状态立刻显示状态为CrashLoopBackoff。

问题原因

能通过kubectl create或kubectl run，说明yaml文件或命令执行的没有错误，说明Docker镜像出了问题。

处理步骤

检查docker images是否有对于deployment的镜像，dockerfile是否有语法错误。

1.9 初始化集群不成功

问题现象

在主节点上进行初始化集群的时候，提示“/proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1”问题。

问题原因

“/proc/sys/net/bridge/bridge-nf-call-iptables”的值不正确。

处理步骤

由于vim不可修改此文件，需通过echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables命令将其置为1。



1.10 DockerHub 网络可达，但下拉镜像超时

问题现象

从DockerHub下拉镜像的时候超时，DockerHub网络可达。

问题原因

docker pull被SELinux拒绝访问。

处理步骤

步骤1 临时关闭SELinux。setenforce 0

步骤2 修改“/etc/selinux/config”文件，将里面的SELINUX=enforcing改为SELINUX=permissive或 disabled。

----结束

1.11 成功下载过镜像，但下拉镜像超时

问题现象

从DockerHub下拉镜像时超时，但之前成功下载过镜像。

问题原因

本地网络不稳定造成的下拉超时。

处理步骤

在网络稳定的时候重新尝试下拉。

1.12 flannel插件状态显示 CrashLoopBackoff

问题现象

部署完K8s后，查看集群发现flannel插件状态在CrashLoopBackoff和Running之间切换。



问题原因

flannel内存配置不够。

处理步骤

修改yml配置文件，将flannel内存从默认的50M修改成200M，重新apply。



2 KVM 虚拟化故障案例2.1 virt-manager图形化无法打开2.2 KVM无法使用图形化安装guest OS2.3 无法连接hypervisor2.4 libvirtd服务无法启动2.5 unsupported configuration: ACPI requires UEFI on this architecture2.6 KVM不支持GICv4（影响IO性能）2.7 Avago 3408iMR不支持SMMU2.8 KVM不支持内部快照2.9 删除虚拟机报错

2.1 virt-manager 图形化无法打开问题现象

鲲鹏 BoostKit 虚拟化使能套件故障案例 2 KVM 虚拟化故障案例


问题原因

libvirt-4.5.0代码bug引起的报错。

处理步骤

升级libvirt版本至libvirt-4.7.0以上，或者修改libvirt-4.5.0源码后重新编译。本节使用第一种方法。

步骤1 安装edk2。

● 在线安装wget https://www.kraxel.org/repos/firmware.repo -O /etc/yum.repos.d/firmware.repoyum -y install edk2.git-aarch64

● 离线安装在有外网的环境下访问https://www.kraxel.org/repos/jenkins/edk2/获取rpm包，并拷贝至目标服务器系统相应位置。执行如下命令离线安装edk2，如下图所示。rpm -ivh edk2.git-aarch64*.rpm

步骤2 安装依赖包。yum -y install libxml2-devel readline-devel ncurses-devel libtasn1-devel gnutls-devel libattr-devel libblkid-devel augeas systemd-devel libpciaccess-devel yajl-devel sanlock-devel libpcap-devel libnl3-devel libselinux-devel dnsmasq radvd cyrus-sasl-devel libacl-devel parted-devel device-mapper-devel xfsprogs-devel librados2-devel librbd1-devel glusterfs-api-devel glusterfs-devel numactl-devel libcap-ng-devel fuse-devel netcf-devel libcurl-devel audit-libs-devel systemtap-sdt-devel nfs-utils dbus-devel scrub numad

步骤3 下载源码RPM包。wget https://libvirt.org/sources/libvirt-5.6.0-1.fc30.src.rpm

说明

本章以libvirt-5.6.0为例，此bug在libvirt-4.7.0版本已解决。

步骤4 编译安装。



https://www.kraxel.org/repos/jenkins/edk2/

1. 安装src.rpm源码包。rpm -i libvirt-5.6.0-1.fc30.src.rpm

2. 生成RPM包。cd /root/rpmbuild/SPECS/rpmbuild -ba libvirt.spec

3. 安装RPM包。cd /root/rpmbuild/RPMS/aarch64/yum -y install *.rpm

4. 修改配置文件。5. 打开qemu.conf文件。

vim /etc/libvirt/qemu.conf

6. 找到修改位置，如下图所示：

7. 添加如下配置。nvram = ["/usr/share/edk2.git/aarch64/QEMU_EFI-pflash.raw:/usr/share/edk2.git/aarch64/vars-template-pflash.raw"]

8. 按:wq，保存退出。9. 执行service libvirtd restart命令，重启libvirtd服务。

10. 关闭SELinux。setenforce 0

----结束



2.2 KVM 无法使用图形化安装 guest OS

问题现象

问题原因

aarch64上的虚拟机目前只支持virtio类型的显卡，要支持图形需要为虚拟机添加Virtio类型的视频设备、VNC类型的图形设备、Virtio Keyboard的输入设备和Virtio Tablet的输入设备、通用USB Keyboard。

处理步骤

步骤1 在新建虚拟机时勾选Customize configuration before install。



步骤2 在弹出的配置窗口中点击Add Hardware。

步骤3 在弹出的窗口选择Input，下拉选择Generic USB Keyboard，点击Finish完成。

步骤4 继续选择Input，下拉选择Virtio Keyboard，点击Finish完成。



步骤5 继续选择Input，下拉选择Virtio Tablet，点击Finish完成。

步骤6 选择Graphics，Type下拉选择VNC server，点击Finish完成。



步骤7 选择Video，Model下拉选择Virtio，点击Finish完成

步骤8 点击Begin Installation 开始安装。



----结束

2.3 无法连接 hypervisor

问题现象

连接hypervisor时，显示如下错误信息：



[root@localhost libvirt-4.7.0]# virsh versionerror: failed to connect to the hypervisorerror: Failed to connect socket to '/var/run/libvirt/libvirt-sock': No such file ordirectory

问题原因

libvirt服务未启动，找不到libvirt-sock。

处理步骤

重启libvirtd服务。

service libvirtd restartRedirecting to /bin/systemctl restart libvirtd.service virsh versionCompiled against library: libvirt 4.7.0Using library: libvirt 4.7.0Using API: QEMU 4.7.0Running hypervisor: QEMU 4.0.0

2.4 libvirtd 服务无法启动

问题现象

启动libvirtd服务时，显示如下错误信息：

[root@bogon libvirt-4.5.0]# service libvirtd restartRedirecting to /bin/systemctl restart libvirtd.service[root@bogon libvirt-4.5.0]# virsh versionerror: failed to connect to the hypervisorerror: Failed to connect socket to '/var/run/libvirt/libvirt-sock': No such file or directory [root@bogon libvirt-4.5.0]# systemctl status libvirtd.service● libvirtd.service - Virtualization daemon Loaded: loaded (/usr/lib/systemd/system/libvirtd.service; enabled; vendor preset: enabled) Active: inactive (dead) since Mon 2019-08-12 19:18:53 HKT; 39s ago Docs: man:libvirtd(8) https://libvirt.org

问题原因

原因有很多，需要根据systemctl status libvirtd.service的返回查看根因。

此处根据报错怀疑是网络初始化失败引起的。

[root@bogon libvirt-4.5.0]# systemctl status libvirtd.service● libvirtd.service - Virtualization daemonLoaded: loaded (/usr/lib/systemd/system/libvirtd.service; enabled; vendor preset: enabled)Active: inactive (dead) since Mon 2019-08-12 19:18:53 HKT; 39s agoDocs: man:libvirtd(8)https://libvirt.orgProcess: 86914 ExecStart=/usr/sbin/libvirtd $LIBVIRTD_ARGS (code=exited, status=0/SUCCESS)Main PID: 86914 (code=exited, status=0/SUCCESS)Tasks: 2 (limit: 32768)CGroup: /system.slice/libvirtd.service├─11836 /usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelper└─11837 /usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelper

Aug 12 19:18:53 bogon systemd[1]: Started Virtualization daemon.Aug 12 19:18:53 bogon libvirtd[86914]: 2019-08-12 11:18:53.095+0000: 86930: info : libvirt version: 4.5.0,



package: 10.el7 (CentOS BuildSystem , 2018-11-03-08:45:3...ys.centos.org)Aug 12 19:18:53 bogon libvirtd[86914]: 2019-08-12 11:18:53.095+0000: 86930: info : hostname: bogonAug 12 19:18:53 bogon libvirtd[86914]: 2019-08-12 11:18:53.095+0000: 86930: error : virNetworkObjAssignDefLocked:589 : operation failed: network 'default' already exists with uuid 7442d10...3-fc2e6122b69bAug 12 19:18:53 bogon dnsmasq[11836]: read /etc/hosts - 2 addressesAug 12 19:18:53 bogon dnsmasq[11836]: read /var/lib/libvirt/dnsmasq/default.addnhosts - 0 addressesAug 12 19:18:53 bogon dnsmasq-dhcp[11836]: read /var/lib/libvirt/dnsmasq/default.hostsfileAug 12 19:18:53 bogon libvirtd[86914]: 2019-08-12 11:18:53.269+0000: 86930: error : netcfStateInitialize:95 : internal error: failed to initialize netcfAug 12 19:18:53 bogon libvirtd[86914]: 2019-08-12 11:18:53.269+0000: 86930: error : virStateInitialize:667 : Initialization of netcf state driver failed: internal error: failed to initialize netcfAug 12 19:18:53 bogon libvirtd[86914]: 2019-08-12 11:18:53.269+0000: 86930: error : daemonRunStateInit:806 : Driver state initialization failedHint: Some lines were ellipsized, use -l to show in full.

处理步骤

通过重启网络服务解决。

service network restartRestarting network (via systemctl): [ OK ]service libvirtd restartRedirecting to /bin/systemctl restart libvirtd.servicevirsh versionCompiled against library: libvirt 4.5.0Using library: libvirt 4.5.0Using API: QEMU 4.5.0Running hypervisor: QEMU 4.0.0

2.5 unsupported configuration: ACPI requires UEFI onthis architecture

问题现象

使用virt-manager时，会提示如下错误信息：

libvirtError: unsupported configuration: ACPI requires UEFI on this architecture

问题原因

aarch64 KVM只支持UEFI BIOS，编译源码时未安装edk2，无法识别Firmware文件。

处理步骤

建议使用命令行进行虚拟机相关操作，如果一定要用virt-manager操作，按照《KVM虚拟机安装指南（CentOS7.6）》“（可选）升级libvirt”章节，安装edk2并重新编译安装。



https://support.huaweicloud.com/instg-kunpengcpfs/kunpengkvm_03_0006.html

须知

修改源码后编译安装也可能引入其他权限、功能等问题，请慎重操作。

2.6 KVM 不支持 GICv4（影响 IO 性能）

问题现象

KVM不支持GICv4。

问题原因

鲲鹏920处理器不支持。

2.7 Avago 3408iMR 不支持 SMMU

问题现象

Avago 3408iMR不支持SMMU。

问题原因

Avago 3408iMR没有自带DDR，需要申请Host内存使用，如果开启SMMU，设备端发起Host内存地址访问，需要SMMU的地址翻译，但目前在Arm上还不支持类似x86ACPI DMA RMRR功能，导致3408卡在开启SMMU情况下无法使用Host内存，从而该设备无法启动。

2.8 KVM 不支持内部快照

问题现象

KVM不支持内部快照。

问题原因

aarch64的开源KVM当前只支持UEFI启动，而UEFI不支持内部快照，所以当前TaiShan服务器虚拟化也只能支持外部快照。

2.9 删除虚拟机报错

问题现象

执行virsh undefine vm2，报如下错误信息：



处理步骤

使用virsh undefine vm2 --nvram，成功删除虚拟机。



3 OpenStack Stein 故障案例3.1 无法连接消息列队server

3.2 执行openstack network agent list 报错

3.3 Keystone服务鉴权失败

3.4 Heat运行服务报错：Error：None

3.5 Horizon登录异常情况

3.6 placement 功能异常

3.7 虚拟机类型选择KVM

3.8 pip安装出错，无可用包

3.9 ETCD服务无法启用

3.10 swift服务运行报错“Errno 13”

3.11 Internal Server Error, HTTP 500

3.12 服务临时不可用 HTTP 503

3.13 连接拒绝错误，Errno 111

3.14 执行sysctl -p报错

3.15 出现proxy代理错误

3.16 安装keystone服务报错，HTTP 403

3.17 使用yum安装openstack-stein库报错

3.18 Flavor规格不正确导致创建虚拟机报错：No valid host was found

3.19 计算节点不升级qemu、libvirt，neutron、nova服务无法启用

3.20 计算节点使用qemu 2.12、libvirt 4.5.0，创建虚拟机失败

3.21 创建虚拟机报错“Virtual Interface creation failed”

鲲鹏 BoostKit 虚拟化使能套件故障案例 3 OpenStack Stein 故障案例


3.1 无法连接消息列队 server

问题现象

提示报错“ERROR oslo.messaging._drivers.impl_rabbit，Unexpected error occurredserving API: Unable to connect to AMQP server on controller:5672 after inf tries:(0, 0): (541) INTERNAL_ERROR: MessageDeliveryFailure: Unable to connect toAMQP server on controller:5672”。

Heat报错：

Nova报错：

问题原因

无法连接到rabbitmq-server服务，可能是连接到rabbit服务的密码有误或者rabbit服务异常。

处理步骤

步骤1 检查当前服务组件的rabbit配置，是否密码有误或者对接IP不对。

步骤2 尝试重启rabbit服务。systemctl restart rabbitmq-server.service

步骤3 重启集群。

步骤4 关闭SELinux。setenforce 0

----结束



3.2 执行 openstack network agent list 报错

问题现象

执行命令openstack network agent list时出现HttpException :503错误。

问题原因

Keystone参数有问题，大概率为密码错误。

处理步骤

检查配置文件“/etc/neutron/neutron.conf”的[keystone_authtoken]项，改完之后需要重启服务。

3.3 Keystone 服务鉴权失败

问题现象● 情景1：在Nova执行命令openstack service list查看service list时报错：

● 情景2：在Swift执行命令swift stat查看状态时报错：

问题原因

keystone token认证过期。

处理步骤

步骤1 执行：openstack token issue



步骤2 重启相关组件的服务，即可解决。

----结束

3.4 Heat 运行服务报错：Error：None

问题现象

Heat组件运行时无法连接到rabbit server，并且干扰到其他组件与rabbit server的对接。

提示“Unable to connect to AMQP server”。



问题原因

在默认配置中，Heat组件过多的进程超过了AMQP server处理的范畴。

处理步骤

修改rabbitMQ server以及Heat的配置。

步骤1 编辑文件“/etc/rabbitmq/rabbitmq.config”。vim /etc/rabbitmq/rabbitmq.config

并修改以下配置：{delegate_count, 96}

步骤2 编辑文件“/etc/heat/heat.conf”。vim /etc/heat/heat.conf

并新增以下配置：[heat_api]workers = 4[DEFAULT]num_engine_workers = 4

----结束



3.5 Horizon 登录异常情况

问题现象

执行命令# cat /var/log/httpd/error_log时发现以下错误：

RuntimeError: Unable to create a new session key. It is likely that the cache is unavailable.

问题原因

无法创建新的session key，cache不可用。

处理步骤

步骤1 修改dashboard中SESSION_ENGINE的配置，将存储方式由cache改为file。vim /etc/openstack-dashboard/local_settings

步骤2 将以下一条：SESSION_ENGINE = 'django.contrib.sessions.backends.cache'



修改为：

SESSION_ENGINE = 'django.contrib.sessions.backends.file'

步骤3 重启服务。systemctl restart httpd.service memcached.service

----结束

3.6 placement 功能异常

问题现象

无法创建虚拟机，并且输出报错“Failed to create resource provider record inplacement API for UUID cbbf44b0-fad2-4ad3-a9c5-611890b5ab4c”。

问题原因

placement bug问题，官网漏了一个配置，需要我们手动更改配置文件“/etc/httpd/conf.d/00-nova-placement-api.conf”。

处理步骤

编辑配置文件，添加信息如下：

3.7 虚拟机类型选择 KVM

问题现象

创建虚拟机失败，日志报 ibvirtError。



问题原因

TaiShan服务器支持virt_type为KVM，而不是QEMU，当选择了QEMU时，就无法创建虚拟机。

处理步骤

修改nova配置文件“/etc/nova/nova.conf”，在[libvirt]选项下配置“virt_type =kvm”。

3.8 pip 安装出错，无可用包

问题现象

安装时，提示没有可用包“No package python-pip available”。

问题原因

1. 默认的库文件没有pip包，需另外安装epel库再安装pip。2. 安装OpenStack时关闭了epel库，需要开启epel库或者单独下载pip安装包。

处理步骤● 方法一：

单独下载pip 安装包。wget https://files.pythonhosted.org/packages/00/9e/4c83a0950d8bdec0b4ca72afd2f9cea92d08eb7c1a768363f2ea458d08b4/pip-19.2.3.tar.gz

下载后解压安装。tar -zxvf pip-19.2.3.tar.gzpython setup.py install

● 方法二：

步骤1 进入“/etc/yum.repos.d”，备份原来的配置文件“/etc/yum.repos.d/”。

步骤2 启用CentOS-Base.repo库。



步骤3 安装epel库yum -y install epel-release

步骤4 安装pip。yum -y install python-pip

步骤5 验证pip是否正确安装。pip --version

步骤6 关闭epel库，恢复原来的备份文件。

----结束

3.9 ETCD 服务无法启用

问题现象

ETCD服务可以正常enable，但是在启动的时候提示失败。

could not find local name “default” in the initial cluster configureFailed to start Etcd Server

问题原因

ETCD服务参数配置错误，无法找到“default”，配置错误，需要重新配置ETCD，检查配置文件“/etc/etcd/etcd.conf”。

处理步骤

注释掉文件“/etc/etcd/etcd.conf”的无用和重复语句，只留加入的有用配置。



3.10 swift 服务运行报错“Errno 13”

问题现象

安装验证过程中，Swift组件中“openstack-swift-object-replicator.service”服务和“openstack-swift-object-updater.service”服务运行报错“ERROR:Unable toaccess /srv/node/sdb:[Errno 13] Permission denied: '/srv/node/sdb'”。



问题原因

无法访问对象存储盘，在其他配置均正确的情况下，一般为端口权限，或者文件夹权限的问题。

处理步骤

步骤1 进入存储节点，使用restorecon命令确保“/srv”目录中的所有文件都定义了正确的SELinux安全上下文。sudo chown -R swift:swift /srv/node/sudo restorecon -R /srv

步骤2 然后重新启动Swit服务。sudo service openstack-swift-account startsudo service openstack-swift-container startsudo service openstack-swift-object startsudo chkconfig openstack-swift-account onsudo chkconfig openstack-swift-container onsudo chkconfig openstack-swift-object on

步骤3 重启，再关闭防火墙。systemctl restart firewalld.servicesystemctl stop firewalld.service

步骤4 再重新查看swift组件服务。systemctl status openstack-swift-object.service openstack-swift-object-auditor.service openstack-swift-object-replicator.service openstack-swift-object-updater.service

发现所有服务都可以正常运行：



----结束

3.11 Internal Server Error, HTTP 500

问题现象

命令错误输出：

HttpException: 500: Server Error for url: http://controller:9696/v2.0/networks, Request Failed: internal server error while processing your request.

日志文件“/var/log/neutron/server.log”显示的错误为：

oslo_messaging.rpc.server OperationalError: (pymysql.err.OperationalError) (1040, u'Too many connect

错误截图如下



问题原因

OpenStack一直处于调度中，数据库连接出现“Too many connections”说明，数据库最大连接数太小，已达最大连接数。

处理步骤

步骤1 修改MariaDB配置文件。vim /etc/my.cnf.d/openstack.cnf

设置max_connections = 4096

步骤2 修改系统最大文件打开数。

1. 编辑文件。vim /etc/security/limits.conf

2. 添加* soft nofile 65536* hard nofile 65536

3. 编辑文件“/etc/pam.d/login”并添加session required /lib/security/pam_limits.so

这是告诉Linux在用户完成系统登录后，应该调用pam_limits.so模块来设置系统对该用户可使用的各种资源数量的最大限制（包括用户可打开的最大文件数限制）。

而pam_limits.so模块就会从“/etc/security/limits.conf”文件中读取配置来设置这些限制值。

步骤3 使用root执行命令ulimit -SHn 65536

步骤4 设置系统最大值。vim /etc/sysctl.conf

1. 添加# max open filesfs.file-max = 65536



2. 生效。sysctl -p

步骤5 修改数据库参数。

1. 更改 MySQL 在 Linux 的最大文件描述符限制，编辑“/usr/lib/systemd/system/mariadb.service”文件，在[Service]下添加：LimitNOFILE=65535LimitNPROC=65535

2. 保存后，执行下面命令，使配置生效。systemctl daemon-reloadsystemctl restart mariadb.service

3. 还需要修改数据库的最大连接数。

– 查看MySQL最大连接。mysql> show variables like 'max_connections';

– 查看当前服务器正在使用的连接数。mysql> show global status like 'Max_used_connections';

步骤6 重启OpenStack服务，需要每个服务都重启一遍，可以编写脚本进行重启所有服务。

1. 重启neutron。systemctl restart neutron-server.service neutron-linuxbridge-agent.service neutron-dhcp-agent.service neutron-metadata-agent.service

2. 重启nova。systemctl restart openstack-nova-api.service openstack-nova-scheduler.service openstack-nova-conductor.service openstack-nova-novncproxy.service

3. 重启glance。systemctl restart openstack-glance-api.service openstack-glance-registry.service

4. 重启cinder。systemctl restart openstack-cinder-api.service openstack-cinder-scheduler.service

----结束

3.12 服务临时不可用 HTTP 503

问题现象

执行命令openstack compute agent list时报服务临时不可用



在swift执行命令swift stat查看状态时报错：

问题原因

首先检查了keystone服务，发现keystone服务时正常的，后面确认为nova密码输入的与创建nova用户的密码不一致，导致keystone认证失败。

处理步骤

命令全部参考《OpenStack Stein部署指南（CentOS7.6）》。

步骤1 删除nova的endpoint service user。

步骤2 重新创建user service endpoint。

步骤3 同步数据库。

步骤4 重启跟nova相关的服务。

----结束

3.13 连接拒绝错误，Errno 111

问题现象

不能建立连接，提示如下：

Unable to establish connection to http://controller:9696/v2.0/agents: HTTPConnectionPool(host='controller', port=9696): Max retries exceeded with url: /v2.0/agents (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))

问题原因

token过期或者不可用，需要重新获取token。

处理步骤

重新获取token。



https://support.huaweicloud.com/dpmg-kunpengcpfs/kunpengcpfs_04_0002.html

步骤1 重新获取token。openstack token issue

步骤2 重启关于neutron的所有服务。systemctl restart neutron-server.service \neutron-linuxbridge-agent.service neutron-dhcp-agent.service \neutron-metadata-agent.service

----结束

3.14 执行 sysctl -p 报错

问题现象

修改了“/etc/sysctl.conf”之后，执行生效命令sysctl -p，无法正确执行，报没有文件或目录的错误。

问题原因

部署neutron时，需要开启网桥筛选的功能，需要在系统配置文件添加“net.ipv4.conf.all.rp_filter =0 net.ipv4.conf.default.rp_filter=0”，但是系统没有安装br_netfilter驱动。

处理步骤

步骤1 安装br_netfilter驱动。modprobe br_netfiltersysctl -p

步骤2 要使下次开机也生效，需要配置文件。

新建并编辑文件“/etc/rc.sysinit”。

#!/bin/bashfor file in /etc/sysconfig/modules/*.modules ; do[ -x $file ] && $filedone

步骤3 新建并编辑文件“/etc/sysconfig/modules/br_netfilter.modules”。modprobe br_netfilter

步骤4 增加权限，重启后模块即可自动加载。chmod 755 /etc/sysconfig/modules/br_netfilter.modules

----结束



3.15 出现 proxy 代理错误

问题现象

使用openstack命令创建keystone服务时，出现“ProxyError”错误，提示信息为“Caused by ProxyError(‘Cannot connect to proxy.’,error(104,’Connectionreset by peer’))”。

问题原因

由于配置了proxy代理，但是openstack命令命令使用的是http的方式传递，与配置的代理有冲突。所以在执行openstack命令时，必须先关闭代理。

处理步骤

关闭proxy代理。

unset ftp_proxy http_proxy https_proxy

3.16 安装 keystone 服务报错，HTTP 403

问题现象

使用openstack命令创建keystone服务，无法创建成功。提示只有“Forbidden (HTTP403)”。

问题原因

防火墙阻止了访问。

处理步骤

添加端口后关闭防火墙，使用命令添加80端口。

iptables -I INPUT -p tcp --dport 80 -j ACCEPTfirewall-cmd --zone=public --add-port=80/tcp --permanentfirewall-cmd --reloadsystemctl stop firewalld.servicesystemctl disable firewalld.service



3.17 使用 yum 安装 openstack-stein 库报错

问题现象

无法正确执行命令yum install centos-release-openstack-stein -y，提示“Cannotfind a valid baseurl for repo:base/7/aarch64”。

问题原因

yum源配置不正确。

处理步骤

更换为系统默认的yum源CentOS-Base.repo，并且执行 yum clean all。

3.18 Flavor 规格不正确导致创建虚拟机报错：No validhost was found

问题现象

创建虚拟机提示报错“ERROR nova.conductor.manager Failed to scheduleinstances: NoValidHost_Remote: No valid host was found.”。

nova-conductor.log报错：



问题原因

Flavor规格不正确，如大小超过本地磁盘空间、或内存不足。

处理步骤

步骤1 检查创建虚拟机使用的flavor规格，如磁盘大小、内存大小。openstack flavor list

步骤2 重新创建flavor。openstack flavor create --vcpus 4 --ram 8192 --disk 40

步骤3 使用符合规格的flavor重新创建虚拟机。

----结束

3.19 计算节点不升级 qemu、libvirt，neutron、nova 服务无法启用

问题现象

计算节点Qemu使用2.12、libvirt使用4.5.0，控制节点无法找到该计算节点Neutron和Nova服务；计算节点执行命令systemctl restart neutron-*或systemctl restartopenstack-nova-*时报错：

问题原因

相关组件不兼容



处理步骤

步骤1 升级相关组件。yum install -y epel-releaseyum -y install python-pippip install --upgrade urllib3pip install requestspip install --upgrade requests

步骤2 在控制节点重新填充neutron、nova数据库。su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf \ --config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutronsu -s /bin/sh -c "nova-manage api_db sync" nova su -s /bin/sh -c "nova-manage cell_v2 map_cell0" nova su -s /bin/sh -c "nova-manage cell_v2 create_cell --name=cell1 --verbose" nova su -s /bin/sh -c "nova-manage db sync" novasu -s /bin/sh -c "nova-manage cell_v2 discover_hosts --verbose" nova nova-manage cell_v2 discover_hosts

步骤3 分别在控制节点和计算节点重启服务。systemctl restart neutron-*systemctl restart openstack-nova-*

----结束

3.20 计算节点使用 qemu 2.12、libvirt 4.5.0，创建虚拟机失败

问题现象

计算节点使用qemu 2.12、libvirt 4.5.0，创建虚拟机控制节点nova-conductor.log报错：

计算节点nova-compute.log报错：



问题原因

Libvirt 4.5.0版本超出最大线程报错，需要修改libvirt 4.5.0源码。

处理步骤

步骤1 可自行修改libvirt 4.5.0源码，或打入patch。

修改源码对比链接：https://github.com/libvirt/libvirt/commit/ba35ac2ebbc7f94abc50ffbf1d681458e2406444

步骤2 编译源码RPM包后，覆盖安装。yum -y install sanlockcd ~/rpmbuild/RPMS/aarch64/rpm -Uvh *.rpm

步骤3 在控制节点重新填充nova数据库。su -s /bin/sh -c "nova-manage api_db sync" nova su -s /bin/sh -c "nova-manage cell_v2 map_cell0" nova su -s /bin/sh -c "nova-manage cell_v2 create_cell --name=cell1 --verbose" nova su -s /bin/sh -c "nova-manage db sync" novasu -s /bin/sh -c "nova-manage cell_v2 discover_hosts --verbose" novanova-manage cell_v2 discover_hosts

步骤4 分别在控制节点和计算节点重启服务。systemctl restart openstack-nova-*

----结束

3.21 创建虚拟机报错“Virtual Interface creation failed”

问题现象

创建虚拟机时，计算节点nova-compute.log报错VirtualInterfaceCreateException:Virtual Interface creation failed



https://github.com/libvirt/libvirt/commit/ba35ac2ebbc7f94abc50ffbf1d681458e2406444https://github.com/libvirt/libvirt/commit/ba35ac2ebbc7f94abc50ffbf1d681458e2406444

问题原因

在创建instance的virtual interface的时候产生了exception导致create instance的流程失败。

处理步骤

步骤1 在计算节点修改“/etc/nova/nova.conf”。vim /etc/nova/nova.conf

打开注释并修改以下配置：vif_plugging_timeout = 10vif_plugging_is_fatal = False

步骤2 计算节点重启nova服务。systemctl restart openstack-nova-*

步骤3 重新创建虚拟机。

----结束



4 OpenStack&Ceph 故障案例4.1 时间同步问题

4.2 Swift身份验证问题

4.1 时间同步问题

问题现象

问题原因

Ceph+OpenStack的集群环境中，时间必须同步。若不同节点之间时差较大，会有告警，Cinder以及Cinder_backup组件也会有部分服务down掉。

处理步骤

当出现以上异常时，请优先检查时间同步是否配置好。

4.2 Swift 身份验证问题

问题现象

swift运行报错，错误如下：

Account GET failed: http://ceph1:10001/swift/v1?format=json 401 Unauthorized[first 60 chars of response]{"Code":"AccessDenied","RequestId":"tx000000000000000000002-

Failed Transaction ID: tx000000000000000000002-005de8c155-125adb-default

鲲鹏 BoostKit 虚拟化使能套件故障案例 4 OpenStack&Ceph 故障案例


问题原因

以上问题一般是keystone和ceph对接身份验证不通过。

处理步骤

检查ceph1节点中/etc/ceph/ceph.conf文件里keystone相关的配置是否正确。

主要配置有：rgw keystone admin user，rgw keystone admin password，rgwkeystone admin tenant，rgw keystone admin domain。

鲲鹏 BoostKit 虚拟化使能套件故障案例 4 OpenStack&Ceph 故障案例


A 修订记录发布日期修订记录

2021-04-23 第七次正式发布《《OpenStack Stein 故障案例》新增案例“3.21 创建虚拟机报错“Virtual Interface creation failed””。

2021-04-16 第六次正式发布《OpenStack Stein 故障案例》中新增以下案例：● 3.18 Flavor规格不正确导致创建虚拟机报错：No valid

host was found● 3.19 计算节点不升级qemu、libvirt，neutron、nova服务

无法启用

● 3.20 计算节点使用qemu 2.12、libvirt 4.5.0，创建虚拟机失败

2021-03-23 第五次正式发布鲲鹏虚拟化解决方案更名为鲲鹏BoostKit虚拟化使能套件。

2020-09-21 第四次正式发布鲲鹏云平台解决方案更名为鲲鹏虚拟化解决方案。

2020-06-20 第三次正式发布《Docker&K8s 故障案例》中新增1.12 flannel插件状态显示CrashLoopBackoff。

2020-05-15 第二次正式发布《KVM虚拟化故障案例》修改部分章节格式。

2020-03-20 第一次正式发布

鲲鹏 BoostKit 虚拟化使能套件故障案例 A 修订记录


https://support.huaweicloud.com/trouble-kunpengcpfs/kunpengcpfs_09_0002.html

目录1 Docker&K8s 故障案例1.1 docker.service问题1.2 K8s软件源网络访问被拒绝1.3 集群无法查到新增节点1.4 kubectl get node报错1.5 集群添加节点报错1.6 集群添加节点超时1.7 初始化集群加载证书失败1.8 pod状态显示CrashLoopBackoff1.9 初始化集群不成功1.10 DockerHub网络可达，但下拉镜像超时1.11 成功下载过镜像，但下拉镜像超时1.12 flannel插件状态显示CrashLoopBackoff

2 KVM虚拟化故障案例2.1 virt-manager图形化无法打开2.2 KVM无法使用图形化安装guest OS2.3 无法连接hypervisor2.4 libvirtd服务无法启动2.5 unsupported configuration: ACPI requires UEFI on this architecture2.6 KVM不支持GICv4（影响IO性能）2.7 Avago 3408iMR不支持SMMU2.8 KVM不支持内部快照2.9 删除虚拟机报错

3 OpenStack Stein 故障案例3.1 无法连接消息列队server3.2 执行openstack network agent list 报错3.3 Keystone服务鉴权失败3.4 Heat运行服务报错：Error：None3.5 Horizon登录异常情况3.6 placement 功能异常3.7 虚拟机类型选择KVM3.8 pip安装出错，无可用包3.9 ETCD服务无法启用3.10 swift服务运行报错“Errno 13”3.11 Internal Server Error, HTTP 5003.12 服务临时不可用 HTTP 5033.13 连接拒绝错误，Errno 1113.14 执行sysctl -p报错3.15 出现proxy代理错误3.16 安装keystone服务报错，HTTP 4033.17 使用yum安装openstack-stein库报错3.18 Flavor规格不正确导致创建虚拟机报错：No valid host was found3.19 计算节点不升级qemu、libvirt，neutron、nova服务无法启用3.20 计算节点使用qemu 2.12、libvirt 4.5.0，创建虚拟机失败3.21 创建虚拟机报错“Virtual Interface creation failed”

4 OpenStack&Ceph 故障案例4.1 时间同步问题4.2 Swift身份验证问题

A 修订记录

故障案例 - huawei cloud · 2021. 2. 8. · 2.1 virt-manager图形化无法打开 2.2...

Documents