开源超融合oVirt部署经验分享

2021-9-30 杰克虚拟化

最近公司因业务调整，需要部署交付一套基于开源的超融合基础架构。说到开源超融合，首先想到的就是Redhat的RHV，它对应的开源版本就是oVirt。经过数天折腾oVirt部署完毕。过程并不复杂，对超融合了解且搭建过类似vSAN等超融合环境的话基本上看看教程文档就可以上手部署了。下面整理了部署过程容易出错的地方作为备忘
ovirt的官网文档：
https://ovirt.org/documentation
RHV的官网文档(ovirt与RHV基本同源)：
https://access.redhat.com/documentation/zh-cn/red_hat_virtualization/4.4
ovirt中文社区(新手建议)：
https://www.cnovirt.com
ovirt官网下载地址：
https://resources.ovirt.org/pub
ovirt超融合新手部署教程：
https://www.cnovirt.com/archives/2739
github地址：
https://github.com/ovirt

1.我在部署的时候ovirt已经更新到4.4.8版本了，开源的产品版本更新频率很快。不过对应的RHV商业稳定版还是4.3版本

2.基础环境就不多说了，各大厂超融合都差不多。分存储网络和管理网络，分布式存储采用gluster实现。虚拟化底层为KVM 使用ansible和python执行各类管理任务。最少3个物理节点服务器部署

3.因我对VMware的超融合产品比较了解，按照我自己的理解将ovirt和VMware超融合组件做对标列出供大家参考
VMware vCenter = oVirt Hostd Engine
VMware vsan存储网络 = oVirt Gluster存储网络

VMware Esxi主机 = oVirt Node 主机

4.具体部署操作详细步骤可参考ovirt中文社区上的部署步骤或官网文档实现(新手建议看此教程：https://www.cnovirt.com/archives/2739)，我就不复制别人的文章了。这里列举几个原文没有且容易出错的地方，首先是部署gluster存储网络的这里/etc/hosts文件里面管理网络和存储网络用不同的主机名分隔开，比如我这里除了主机名hci-ovirt01.com还配置了gluster存储网络的域名 hci-ovirt01-gfs.com

另外在执行配置SSH免密码登陆的时候记得一定要把存储网络的域名也执行一遍。即执行完了 ssh-copy-id root@hci-ovirt01.com 后，再执行ssh-copy-id root@hci-ovirt01-gfs.com 命令，否则后面配置gluster的时候会出现“Host is not added in known_hosts”报错

5.在默认情况下3节点超融合配置下是3个数据副本，但在部署gluster的时候，有个叫Arbiter仲裁的复选框。选中后仲裁节点只存放元数据，3节点超融合环境将是2个数据副本。我认为2副本的环境将减少gluster存储的复制压力和磁盘的损耗，在环境资源条件有限的情况下可以考虑勾选

6.在官方的解释中也说明了3副本的可用性高于带仲裁的3副本，不过并没有提及复制压力和磁盘损耗。大家根据自己的实际环境情况酌情选择

7.部署过程中问题比较集中的就是磁盘被filter导致gluster部署失败的问题，ovirt中文社区部署原文是在4.4.3版本部署的。提到修改 /etc/lvm/lvm.conf 文件是357行，在4.4.7及4.4.8版本上lvm已经升级了新版本，对应的配置文件修改在第389行，不过这个问题不大。倒是multipath多路径的问题很奇怪，原文的方法是添加黑名单，使用wipefs命令擦除磁盘等方法。我再使用ovirt4.4.8的四个小版本(node节点服务器版本)部署的时候这个方法都不奏效，不过奇怪的是4.4.8的第一个版本仅需修改/etc/lvm/lvm.conf就成功了。即我部署成功的是node4.4.8-2021-08-18 + app-engine0818 磁盘是 SSD(安装node) + SATA(gluster)

在这里，我个人的建议是用于gluster的盘保持干净，可以在部署之前用分区工具删除清空磁盘上的所有原分区内容。因为开源，ovirt版本更新很快，我所用的4.4.8节点服务器版本在二周的时间里发布了4个小版本(0818、0826、0901、0903)，engine管理端发布了2个版本(0818、0826) 如果平台用于生产环境，建议选择之前的稳定版本

8.另外一个部署过程容易出问题的是部署engine管理端出错失败的问题，ovirt中文社区上的原文给出的方法是清空yum源。但这个方法并不好用，至少在4.4.8版本上无效。我个人的建议是在这一步之前先ping官网的yum源resources.ovirt.org看看有多少延迟，如果延迟大于300ms建议修改为国内源或配置本地源或科学上网