NUMA架構介紹及優缺點分析

本文分享自天翼云開發者社區《NUMA架構介紹及優缺點分析》，作者:郁****航

https://www.ctyun.cn/developer/article/415653655711813

一、什么是NUMA架構

1、概念

NUMA（Non-Uniform Memory Access，非統一內存訪問）架構是一種針對多處理器系統的內存組織方式。在這種架構中，處理器被分配到不同的節點，每個節點擁有自己的本地內存。處理器可以訪問本地內存和其他節點的內存，但訪問本地內存的速度要快于訪問其他節點的內存。 

2、設計原理

NUMA架構的設計原理主要是為了解決多處理器系統中的內存訪問瓶頸問題。隨著處理器數量的增加，內存帶寬需求也會相應提高。然而，在傳統的統一內存訪問（UMA）架構中，所有處理器共享同一塊內存，導致內存訪問延遲增加、內存帶寬成為系統性能的瓶頸。NUMA架構通過將內存分配到各個節點，使處理器優先訪問本地內存，降低內存訪問延遲，提高了多處理器系統的性能。

3、結構特點 

在NUMA架構中，系統被劃分為多個節點，每個節點包含一個或多個處理器、本地內存和I/O設備。節點之間通過高速互連網絡進行通信，如HyperTransport（AMD）或QuickPath Interconnect（Intel）等。每個處理器可以訪問本地內存和遠程內存，但訪問本地內存的速度更快。

二、NUMA架構的優點

1、擴展性

NUMA架構允許系統中的處理器和內存資源以節點為單位進行擴展，使得在增加處理器和內存時，可靈活地調整系統的規模。這使得NUMA架構的系統具有很高的擴展性，可以滿足從小型服務器到大型高性能計算集群等各種規模的并行計算需求。隨著處理器核數的增加，NUMA架構能夠更好地應對內存訪問的性能挑戰，從而實現線性或接近線性的性能提升。

2、局部性

在NUMA架構中，每個節點的處理器具有本地內存，處理器訪問本地內存的延遲較低。這種局部性原則有助于減少內存訪問延遲，提高處理器之間的協同性能。通過充分利用局部性原則，操作系統和應用程序可以實現更高效的任務調度和內存分配策略，從而進一步提升NUMA系統的性能。

3、負載均衡

在NUMA系統中，各個節點都擁有自己的處理器和本地內存，這使得處理器能夠在不同節點間分散負載。通過對任務和內存的分布式管理，可以實現負載均衡，從而提高系統整體性能。特別是在高并發、大規模數據處理等場景下，負載均衡機制可以有效地避免單個節點的資源瓶頸問題，確保系統資源得到充分利用。

4、并行性能

NUMA架構通過將內存資源分配到各個節點，降低了內存訪問爭用，提高了內存帶寬。在多處理器并行計算場景下，這種設計有助于提高并行性能。對于具有大量數據交換的計算任務，NUMA架構可以充分發揮各個處理器之間的并行計算能力，實現性能的優化。

三、NUMA架構的缺點

1、軟件兼容性

為了充分發揮NUMA架構的性能優勢，操作系統和應用程序需要具備NUMA感知能力。這意味著軟件開發者需要投入更多精力進行優化和調試，以確保其應用程序在NUMA架構系統上能夠實現高性能運行。對于那些非NUMA感知的應用程序，性能可能無法達到最佳。

2、內存碎片化 

在NUMA系統中，內存資源可能分布在不同的節點上，導致內存碎片化問題。尤其是在處理大規模數據時，內存碎片化可能導致內存利用率降低，甚至影響系統性能。

3、成本

與統一內存訪問（UMA）架構相比，NUMA架構的硬件成本較高。這是因為NUMA系統需要額外的硬件來支持節點間的通信和協調，例如高速互連網絡和內存控制器等。此外，NUMA架構對操作系統和應用程序的優化要求較高，可能導致軟件開發成本增加。因此，在選擇NUMA架構時，需要權衡其性能優勢與成本投入。

4、復雜性

NUMA架構引入了節點概念，使得系統設計和管理變得更加復雜。這包括硬件層面的節點通信和協調，以及軟件層面的任務調度和內存管理等。為了充分利用NUMA架構的優勢，系統管理員和開發者需要具備較高的技術能力，以應對NUMA架構帶來的挑戰。

總結起來，NUMA架構雖然在性能和擴展性方面具有優勢，但也存在一定的缺點，如軟件兼容性問題、內存碎片化、成本較高和系統復雜性等。在實際應用中，需要根據具體的需求和場景綜合考慮是否選擇使用NUMA架構。

四、與其他內存架構的對比

1、與UMA（Uniform Memory Access，統一內存訪問）架構對比：

UMA架構是一種所有處理器共享同一塊內存的內存訪問方式。在UMA架構中，處理器訪問內存的延遲是一致的，這使得內存訪問更加簡單。然而，隨著處理器數量的增加，UMA架構中的內存訪問性能可能受到限制，因為所有處理器都需要通過同一個內存總線訪問內存。相較之下，NUMA架構通過分配本地內存降低了內存訪問延遲，提高了性能，但需要應用程序和操作系統具有NUMA感知能力。在實際應用中，UMA架構可能更適用于處理器數量較少的場景，而NUMA架構在處理器數量較多的場景中具有優勢。

2、與cc-NUMA（Cache-coherent NUMA，一致性緩存非統一內存訪問）架構對比：

cc-NUMA架構是NUMA架構的一種改進，它在NUMA的基礎上引入了緩存一致性協議（如MESI、MOESI等），以確保不同節點之間的數據一致性。相較于傳統的NUMA架構，cc-NUMA架構在保持擴展性和性能優勢的同時，解決了數據一致性的問題。然而，cc-NUMA架構的硬件復雜度和成本相對較高，因為它需要實現更為復雜的緩存一致性協議和通信機制。在實際應用中，cc-NUMA架構可能更適用于對數據一致性要求較高的場景。

綜上所述，在不同的內存架構之間，NUMA架構在處理器數量較多、并行計算和高性能計算場景中具有優勢。相較于UMA架構，NUMA架構通過將內存資源分配到各個節點，降低了內存訪問延遲，提高了性能。然而，這也需要應用程序和操作系統具有NUMA感知能力，以充分發揮其優勢。與cc-NUMA架構相比，傳統的NUMA架構在硬件復雜度和成本方面具有一定優勢，但可能無法滿足對數據一致性要求較高的場景。

在實際應用中，不同的內存架構適用于不同的場景和需求。在選擇適合的內存架構時，需要綜合考慮處理器數量、性能需求、數據一致性要求、成本和軟件兼容性等因素。對于大規模并行計算和高性能計算場景，NUMA架構可能是一個較為合適的選擇。然而，在處理器數量較少或對數據一致性要求較高的場景中，UMA或cc-NUMA架構可能更為適用。