使用BCM56500實現板級高性能交換型路由器

應用MPC8245CPU和BCM56500交換芯片實現基于PCI總線的板級高端口密度三層交換機，給出了路由協議和其他協議棧，并給出了交換性能指標

隨著用戶需求和網絡技術的發展，高速率高端口密度的多層IP路由交換功能的應用已經越來越廣泛了。由于實現三層以上路由功能的判據較為復雜，傳統的路由器采用軟件實現路由功能，由高性能的CPU同時實現控制平臺和數據通道。

自從三層交換的概念提出以來，主要的技術可以分為兩類：路由型交換機和交換型路由器。路由型交換機通過各種技術來發現、建立和緩存路由捷徑來實現路由加速功能。一般情況下路由型交換機不實現大型動態路由協議，主要應用在基于ATM的多協議交換技術中。交換型路由器可以用來實現類似OSPF、EIGRP等的動態路由協議，采用RISC CPU加ASIC專用交換芯片分離控制平臺和數據通道。由于數據通道單獨由ASIC實現，可以達到端口線速。本文介紹了一個使用Freescale公司的MPC8245高性能RISC CPU和Broadcom公司的BCM56500高速交換芯片，來實現應用在網絡接入系統中的24個千兆端口的三層交換的解決方案。由于本數據交換板是用于寬帶接入系統，測試結果表明該設計方案的高性能、高端口密度和硬件實現的穩定性能夠充分滿足系統的需求。

MPC8245和BCM56500簡介

MPC8245是基于MPC603e核的高性能低功耗的32位嵌入式RISC處理器，帶有DUART接口、雙通道DMA控制器和標準I²C控制器等通用模塊。MPC8245支持PCI總線2.2標準，可以同時工作在PCI主設備和從設備狀態。

BCM56500是多層交換芯片，集成了24個千兆位以太網端口，同時支持IPv4和IPv6協議，支持硬件處理的二層交換，三層路由以及二到七層數據包的分類和過濾功能，芯片內部集成2MB數據包緩沖內存。BCM56500支持PCI總線2.2標準，系統設計中通常使用RISC CPU通過PCI總線對BCM56500進行初始化、配置管理和實現三層交換功能。BCM56500的結構框圖如圖1所示。

由圖1可以看出，BCM56500芯片由以下一些主要功能模塊組成。

(1)千兆接口控制器(GPIC)：用于提供千兆接口與交換邏輯之間的接口。

(2)CPU管理接口(CMIC)：主要提供CPU與BCM56500設備不同功能塊之間的接口，同時也用于諸如MIIM、I²C和指示燈的處理等功能。該模塊通過PCI總線接口與CPU相連，可使CPU訪問和控制BCM56500。

(3)地址解析邏輯(ARL)：該邏輯功能模塊可在數據包的基礎上確定該數據包的轉發策略。它利用二層表(L2_TABLE)、二層組播表(L2_MCTABLE)、三層表(L3_TABLE)、三層最長前綴匹配表(DEF_IP_HI和DEF_IP_LO)、三層接口表(L3_INTF)、IP組播表(L3_IPMC)、VLAN表(VLAN)以及生成樹表(VLAN_STAG)來決定如何轉發數據包。

(4)公共緩沖池(CBP)：公共緩沖池實際上是2MB共享的包緩沖區，由8192個單元組成，每個單元256字節。設備里的每個數據包消耗一至多個單元。

(5)內存管理單元(MMU)：BCM56500有一個單獨的內存管理單元，每個內存管理單元與設備的功能塊(GPIC)等相關聯。內存管理單元負責數據包的緩沖和調度，它首先接收數據包，然后再將數據包緩沖，并在發送時加以調度，同時它還管理交換單元的流控特性，概括來說，就是緩沖邏輯、調度邏輯、流控邏輯。緩沖邏輯從CP-BUS接收包并存放在公共緩沖池，同樣也從公共緩沖池獲取包并將它們發送到CP-BUS。包的發送順序由調度邏輯根據包的優先級別確定。流控邏輯包括Head-of-Line(HOL)阻塞預防和Backpressure兩種方式。

這些功能模塊之間可通過CP-Bus和S-Channel這兩條內部總線聯系起來。其中CP-Bus用于芯片內數據包的高速傳輸，它支持所有端口的同時線速轉發。而S-Channel Bus則有兩個作用，第一是用于內存管理單元到其他功能塊的流控；第二是通過CPU管理接口由CPU控制訪問內部寄存器和表，以及通過過濾器選送特殊數據包到CPU并由CPU發送特定數據包到端口以實現三層功能。

板級高端口密度LAN Switch硬件設計

圖2  交換板硬件結構圖

圖2是LAN Switch交換板的硬件結構，其硬件電路由CPU控制單元(子卡)、交換單元、物理層芯片單元、RJ45/光接口單元、CPU連接器單元、時鐘單元、電源單元組成。

在設計中采用了一片BCM56500實現24個千兆數據端口，采用一片BCM5464物理層芯片和一片BCM5461 物理層芯片來提供不同類型的數據端口。使用BCM5464接出4個千兆電接口(SGMII接口)接入前面板，使用BCM5461接出1路千兆電接口(SGMII接口)作為板內使用。使用BCM56500的SERDES接口接出2路千兆光接口接入前面板，另外使用1路SERDES接口也作為板內使用，其余16路千兆端口使用SERDES接口接入系統背板，供系統其他板卡上聯作為星型數據總線。BCM5464是BroadCom公司的4端口千兆物理層芯片，BCM5461是BroadCom公司的單端口千兆物理層芯片。

在硬件設計中，交換單元選用了BCM56500，通過PCI接口與CPU控制單元相連，以實現對交換芯片的配置管理和快速通信。設計中的實際連接如圖3所示。其中由于系統中只有1個PCI從設備，設備號采用PCI_AD[31]線上的信號來選中，因此實際連線中CPU的IDSEL直接連接PCI_AD[31]即可。在PCI驅動軟件中，要保證使用硬件相應的設備號進行選中和配置。

圖3  系統PCI連接圖

LAN Switch的軟件啟動和硬件初始化過程

LAN Switch采用WindRiver公司VxWorks操作系統。在CPU最小系統(CPU＋SDRAM＋Flash＋串口)完成啟動后，需要通過PCI總線對LAN Switch交換部分進行初始化，主要步驟如下。

(1)由于BCM56500工作在little endian模式，而MPC8245工作在big endian模式，因此需要對頭模式進行設置(可以使用字節位移指令或者對CONFIG_ADDR和CONFIG_DATA在訪問前進行字節交換)；

(2)根據硬件連接選擇PCI設備的設備號，配置交換芯片BCM56500的PCI基地址和窗口大小；

(3)通過PCI總線使用交換芯片BCM56500的CPU管理接口確定交換芯片的型號，然后根據不同的芯片類型進行初始化和DMA通道的配置；

(4)掛接交換芯片的驅動程序和各種API，完成LAN switch的初始化過程。

其中第三、第四步驟需要Broadcom公司的軟件開發支持包(SDK)支持，直接從程序中調用Boradcom的初始化程序，可以保證正常完成初始化和加載驅動程序。

以下對PCI驅動的設計配置和SDK做進一步的說明。

前面已經說明了對于BCM56500的IDSEL信號已經確定，設計中使用VxWorks的標準PCI驅動程序，對于BCM56500的PCI掛接例程如下。

(1)在bootROM中用sysHwInit()調用sysPciAutoConfig()，對PCI_SYSTEM結構進行實例化；

(2)同樣在sysHwInit()中，使用pciConfigOutLong()對BCM56500的基地址和窗口大小進行配置，然后使用pciConfigOutByte()掛接BCM56500的中斷至CPU的外部中斷向量表；

(3)至此，PCI配置完成。通過BCM56500的S_Channel可以配置BCM56500中的各個寄存器和表項。S_Channel的消息傳遞有特殊的格式和規范，一般通過Broadcom公司提供的軟件開發支持包(SDK)中自帶的標準函數來進行配置。

本設計使用Broadcom公司5.2.3版的SDK。SDK的設計嚴格分層，自下而上分成操作系統(RTOS)、操作系統適配層(SAL)、芯片系統層(SOC)、分發層(Dispatch)和BCM的應用接口層(API層)。由于SDK支持Broadcom公司的幾乎所有交換芯片，因此在使用SDK的時候，在使用API之前需要進行芯片查詢，按照搜索到的芯片掛接相對應的API。整個的芯片查詢和掛接API的過程，使用SDK實現相當方便。初始化SDK的API的過程如下。

(1)SDK軟件初始化：diag_shell()，sysconf_int()；

(2)在本地的PCI總線上查詢Broadcom設備：sysconf_prob()；

(3)根據查詢到的設備進行相對應的驅動程序掛接：sysconf_attached()；

(4)應用正確的驅動程序對交換芯片進行初始化：system_init()；

(5)芯片基本的初始化后，進入正常的工作狀態，此時可以進行應用程序的初始化了：bcm_init()，應用程序和協議棧入口。

交換性能測試結果和三層功能實現

設計定型后的LAN Switch經過SmartBits測試，每個端口都可以達到線速轉發，穩定性測試表明可以達到48小時千兆線速無丟幀性能。所得的結果如圖4所示。

圖4  千兆光接口48小時性能測試結果

由于這個設計方案使用CPU＋ASIC方案，三層的IP路由轉發功能由交換芯片的三層轉發表(L3_Table)實現線速轉發。其他的三層協議棧功能應用交換芯片中過濾器實現。在本設計中，根據需求完成了OSPF、RIP-2、DHCP、DHCP relay、IGMP、IGMP relay等常用IP協議棧，實現了基于PCI總線的板級高端口密度三層交換機的設計要求。