关于vCPU与NUMA的一些理解和配置实践

在VMware vSphere环境中，性能优化是至关重要的一环，而vCPU和NUMA是影响VM计算性能的关键因素之一。只有通过合理配置vCPU和NUMA，才能够最大化利用物理硬件的潜力，提高虚拟化环境的效率。NUMA其实是一个相对难理解的概念，在本文中，我们将尝试深入探讨以下vCPU与NUMA的关系，并提供一些最佳实践和配置场景，帮助大家优化虚拟化性能。

什么是vCPU和NUMA？

vCPU

vCPU代表虚拟CPU，它是VM所能使用的计算资源。每个vCPU对应一个物理CPU核心或超线程（Hyper-Threading）。虚拟机的vCPU数量直接影响其计算能力的，这里会有一个误区，其实vCPU并不是越多越好。过多的vCPU可能导致VM性能下降，甚至影响宿主机的资源分配。

NUMA

NUMA（Non-Uniform Memory Access，非统一内存访问架构）是一种内存架构，目的是为了提升多核系统的内存访问效率。在NUMA架构下，CPU有各自的本地内存访问区域，而访问其他处理器内存区域的速度较慢。NUMA架构广泛应用于多处理器（SMP）系统中，以减少内存访问延迟和提升性能。

简单来说，NUMA的特点是每个CPU有自己的本地内存访问区域，而访问其他CPU的内存时会有延迟。因此，为了提高系统性能，CPU最好优先使用自己所在节点的内存，而避免频繁访问其他节点的内存。

NUMA对vCPU性能的影响

当虚拟机的vCPU数量与物理NUMA节点的核心数不匹配时，可能会导致虚拟机的性能瓶颈。每个虚拟机vCPU在物理主机上的物理NUMA节点上有一定的映射关系，确保虚拟机的vCPU尽可能访问本地NUMA节点的内存，这样可以降低跨节点内存访问的延迟。

如果vCPU与物理NUMA节点的映射不合理，虚拟机可能会经历跨NUMA节点的内存访问，导致性能大幅下降。为了避免这种情况，我们需要了解如何合理配置vCPU和NUMA。

---

如何配置vCPU与NUMA？

1. 正确设置vCPU数量

在选择虚拟机的vCPU数量时，应该遵循以下原则：

• 避免过多vCPU：不应为虚拟机分配过多的vCPU。虚拟机的vCPU数量最好与物理硬件的处理器核数匹配。如果为虚拟机分配过多的vCPU，可能会导致资源争用，进而影响性能。
• 匹配物理NUMA节点：虚拟机的vCPU数量应与物理NUMA节点的CPU核心数量匹配。例如，如果每个NUMA节点有8个核心，虚拟机的vCPU数量应设置为8的倍数。这样，虚拟机的vCPU将能够直接访问本地NUMA节点的内存，从而提升性能。

2. 开启vNUMA功能

在vSphere环境中，vNUMA通常是默认开启的。当虚拟机的vCPU数量达到一定的阈值时，vSphere会自动启用vNUMA功能。在一些情况下，如果虚拟机的vCPU数量较少，可能不会自动启用vNUMA，或者需要手动调整。

https://blogs.vmware.com/performance/2017/03/virtual-machine-vcpu-and-vnuma-rightsizing-rules-of-thumb.html

Essentially, the vNUMA presentation under vSphere 6.5 is no longer controlled by the Cores per Socket value. vSphere will now always present the optimal vNUMA topology unless you use advanced settings.

什么是vNUMA？

vNUMA是虚拟化环境下对NUMA架构的模拟。在虚拟化环境中，可以通过配置vNUMA来帮助虚拟机更高效地利用物理NUMA节点。vNUMA的设置基于虚拟机的vCPU数量和物理NUMA节点的关系。

3. 使用vCPU和NUMA的性能测试

进行性能调优时，必须通过测试来确认配置是否有效。可以使用工具如esxtop来监控虚拟机的vCPU利用率、内存访问模式等性能指标，分析虚拟机的资源使用情况，从而调整vCPU和NUMA配置。

---

VMware官方建议的NUMA配置指南

根据VMware的官方建议，以下是配置vCPU和NUMA的最佳实践：

1. 避免修改高级vNUMA设置：一般默认的就可以，除非你的虚拟机操作系统有一些软件许可CPU核心数要求，才需要去调整vCPU的核心数。
2. 配置vCPU数量与物理NUMA节点匹配：始终将虚拟机vCPU数量配置为反映为“Cores per Socket”，直到超过单个物理NUMA节点的物理核心数量，或者直到超过单个物理NUMA节点上的可用内存总量。
3. 当vCPU数量超过NUMA节点核心数时，均匀分配vCPU：当需要配置的vCPU数量超过NUMA节点中的物理核心数量时，或者如果分配的内存量超过NUMA节点包含的内存数量，则将vCPU数量平均分配给最小数量的NUMA节点。
4. 避免分配奇数个vCPU：当虚拟机的大小（由vCPU计数或配置的内存衡量）超过物理NUMA节点时，请勿分配奇数个vCPU。
5. 谨慎启用vCPU热添加功能：不要启用vCPU热添加，除非您对禁用vNUMA感到满意。
6. 避免创建超出主机物理核心总数的虚拟机：创建的VM不得超过主机的物理核心总数。

一般来说，VM的vCPU配置可以分为以下两类：

1. vCPU数量小于或等于每个物理NUMA节点中的核心数的虚拟机： 这些虚拟机将被分配到单一NUMA节点的所有核心，并优先分配该NUMA节点的本地内存。这意味着，在内存可用的情况下，它们的所有内存访问都将局部于该NUMA节点，从而实现最低的内存访问延迟。
2. vCPU数量大于每个物理NUMA节点中的核心数的虚拟机： 这些虚拟机将被分配到两个或更多NUMA节点，并优先分配到这些NUMA节点的本地内存。由于这些虚拟机的vCPU有时可能需要访问自己NUMA节点外的内存，它们的内存访问延迟可能会比完全位于单一NUMA节点内的虚拟机更高。

Reference:

https://blogs.vmware.com/performance/2017/03/virtual-machine-vcpu-and-vnuma-rightsizing-rules-of-thumb.html

https://blogs.vmware.com/vsphere/2013/10/does-corespersocket-affect-performance.html