Proxmox集群部署注意问题

一、集群规模

Proxmox 2.x/3.x支持的最大集群规模为16节点,也就是一个集群16台服务器。Proxmox 4.x支持的最大集群规模为32节点,也就是一个集群32台服务器。由于Proxmox集群基于quorum机制,而该机制至少需要3个节点才可以正常运行,所以集群里最少也要有3台服务器。实际部署时,应该根据实际需要确定集群规模。比如您手上有32台服务器,那是部署一个32节点的集群还是部署2个16节点的集群呢?这要根据实际需要来定。一般说,规模大的集群更有利于资源共享使用,但是多个集群能实现有效的资源隔离,提高整体的可靠性。

二、NTP时间同步

这是一个很容易被忽视的问题。如果组建多机Proxmox集群,务必要确保所有服务器的时间同步。如果时间不同步,很可能会遇到登录认证失败,虚拟机迁移失败等等各种稀奇古怪的问题。

保持时间同步,最方便的方法就是开启Proxmox的NTP客户端,和同一个时间服务器同步。配置方法很简单,就是在/etc/ntp.conf文件中添加一行“server NTP服务器IP地址”,然后执行systemctl restart ntp.service,重启Proxmox上的NTP客户端即可。

三、网络规划

由于在建立集群时,会需要把IP、主机名、公私钥等信息写入集群配置文件,所以Proxmox官方强烈建议在安装Proxmox服务器以后,不要再修改vmbr0的IP地址和主机名等配置项,否则可能会导致集群异常。

为了保证Proxmox集群的稳定性,避免不必要的折腾,可以考虑在一开始就为Proxmox集群单独规划网络,把所有的vmbr0地址规划为一个独立的192.160.x.x网段内,甚至可以考虑配置专门的交换机用于集群通信,和生产网络彻底物理隔离。即使遇到机房搬迁等,Proxmox集群的网络规划可以保持独立稳定。

至于远程管理Proxmox集群,完全可以另外配置专门的网卡和IP地址,和生产网络连接。由于远程管理IP地址不会写进集群配置文件,遇到网络环境变更,修改该地址也不会影响Proxmox集群运行。

如果追求更高级别的稳定可靠,可以参考Proxmox官方wiki,为Proxmox配置两套通信网络,任何一套网络挂掉,Proxmox集群都可以正常运行,那样简直就是牛逼闪闪,更加高大上了。

四、虚拟交换机选择

Proxmox提供了linux bridge和ovs bridge(open vswitch bridge)两种虚拟交换机。linux bridge的优势在于是linux内核自带,成熟稳定。ovs bridge的优势在于对vlan支持良好,一个虚拟交换机即可支持多个vlan通信,添加新的vlan无须再新增虚拟交换机,并且支持openflow协议。

可以把vmbr0设置为linux bridge,用于集群通信。另外为虚拟机创建ovs bridge,以便方便管理。另,在Proxmox 4.2中,好像linux bridge也可以实现一个虚拟交换机同时运行多个vlan,但未亲测,感兴趣的同学可以尝试。另二,前不久linux基金会已经把open vswitch纳入基金会项目,未来open switch还会有更远大的发展空间,所以可以放心使用。

五、存储选择

Proxmox支持多种外部共享存储,既包括传统的NFS、iSCSI、FC-SAN,也有新型的server san分布式存储方案Ceph、GlusterFS、Sheepdog。

传统的存储方案中,NFS性能较低,不支持多路径,可以考虑用于iso和虚拟机备份存储,但不建议用于虚拟机镜像存储。iSCSI和FC-SAN都是块存储协议,都支持multipath多路径,性能较高,可以用于虚拟机镜像存储,但不适合iso和虚拟机备份存储。

相对传统存储解决方案,分布式存储方案发展较快,且成熟度不如传统存储方案,对运维要求也较高,实际生产环境中要根据实际情况选择使用。相对而言,Ceph社区活跃,项目前景较好,性能适中偏下,但软件复杂度较高,对运维能力要求也比较高。GlusterFS架构较为简单,活跃度一般,基本属于redhat一家支持,虽然性能比较呵呵哒,但成熟度较好,部署方便,有redhat支持,项目前景也很不错,对运维要求相对较低,适合保守慎重的同学尝试使用。国内优秀虚拟化软件深信服(songfor)就采用了GlusterFS做为自己的超融合存储解决方案,目测效果很不错。Sheepdog是专为Qemu虚拟机打造的分布式块存储解决方案,一开始雷声很大,目前雨点很小,缺乏商业公司参与支持,社区也好像始终没有发展起来,而且好像还分裂了一次,目前有日本版本和中国版本两个….个人感觉项目前景很不明朗,生产环境中务必慎重使用。

赞 (31)

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址