基于FPGA和ARM9的片上網絡系統硬件平臺

IC制造技術的發展推動著芯片向更高集成度方向前進，從而能夠將整個系統設計到單個芯片中構成片上系統SoC(System on Chip)。SoC采用全局同步型共享總線通信結構。這類系統由于掛在總線上的設備在通信時對總線的獨占性以及單一系統總線對同步時鐘的要求，使得在片上IP核越來越多的芯片中，不可避免地存在通信效率低下、全局同步時鐘開銷大等問題。

片上網絡NoC(Network on Chip)的提出有效地解決了上述問題。該系統借鑒了計算機網絡中分組交換的通信方法，可以根據應用靈活地采用多種網絡拓撲結構互連片上IP核[1]。各IP核間有多條鏈路可以進行并行通信，由FIFO跨接處于異步時鐘域中的IP核，實現全局異部局部同步時鐘系統。具有可擴展性好、低互連功耗和低延遲等特點。

然而目前NoC還處于研究階段，國內許多科研機構和院校圍繞著網絡拓撲結構、映射算法、路由算法、測試方法、路由節點的設計等展開研究[2]。各種基礎理論的驗證通常依賴于軟件建模和硬件仿真。但針對NoC具體的應用系統少有報道。本文闡述了一個小型NoC系統的硬件實現，對系統的硬件實現方案、通信接口及信號完整性等問題進行了細致地研究。通過對完整系統的設計與實現，探索了NoC系統應用過程中的關鍵技術與難點，同時驗證了NoC相關理論算法與結構、路由節點的設計和FPGA的多核技術等。

1 硬件平臺的設計

NoC應用的最終目標是將大型的多核系統設計到單芯片中，使得片內可以容納大量處理器核、專用IP核、存儲器、數據通信單元等。然而這類龐大的系統在流片之前都需要合適的硬件平臺來進行仿真、驗證工作。另外某些場合的NoC系統更可能會直接選擇使用FPGA作為其最終的硬件實現方案。因此基于FPGA的NoC應用系統設計具有實用性?？紤]到FPGA的資源限制與NoC系統特點，針對3×3 的2D Mesh結構設計了基于FPGA的NoC應用系統框架，如圖1所示。

圖中NoC系統包含9個資源節點，分為3行3列排列，每個資源節點有一個相鄰的路由節點R與其相連。9個路由節點按規則的二維網狀排列，由并行互連線連接構成通信網絡。資源節點包括資源網絡接口SNI(Source Network Interface)、片內存儲器M和IP核等。其中IP核可以是處理器核NIOS、專用IP核、DSP核，也可以是用戶設計的專用電路，而處理器核運行所需的存儲任務在驗證過程中由片外存儲器SDRAM和Flash實現;通信網絡包括路由節點R和并行互連線，路由節點實現與本節點相連的資源節點的數據收發和相鄰路由節點的數據轉發功能?；ミB線構成路由節點間信息傳輸的載體，FPGA內部大量的可編程互連線可以保障路由節點間足夠的通信帶寬。

1.1 NoC系統設計

NoC系統中資源節點使用的IP核、路由節點所需的FIFO緩沖器以及大量的互連線, 對平臺的核心器件FPGA提出了嚴峻的挑戰。以目前最先進的FPGA來構建大型的NoC系統仍顯不足，解決的方法通常由多片FPGA組合實現系統功能?？紤]到本平臺主要由一個小型應用系統的實現，以及算法和路由的驗證等組成，采用了單片大容量器件構成獨立的系統平臺，并設計了擴展接口，可進行多片組合實現更大的應用系統。

目前,大容量可編程器件的供應商主要有Xilinx公司、Altera公司和Actel公司。各大供應商都提供了大容量與高速度的產品、完善的開發工具支持和常用IP核。綜合應用的速度、軟核的開放性、器件的定購周期與性價比，最終選定了Altera公司Cyclone IV 系列的EP4CE115F29芯片。該器件具有115 KLE，432 個M9K存儲塊，4個鎖相環,20個全局同步時鐘網絡，780腳的BGA封裝內提供528個用戶I/O端口[3]。

處理器核是多核系統中應用功能實現的常用部件。作為一款32位RISC處理器，Altera提供的軟核NIOS II在僅占用3 KLE的情況下提供超過200 DMIPS的性能，并提供了豐富的外設接口IP和高性能的AVLEN總線。開發工具SoPC Builder軟件支持單芯片內多個獨立NIOS核的定制，同時NIOS II IDE軟件提供了多核的程序開發與調試環境。因此NIOS II可以作為NoC應用系統中的軟核處理器。

路由節點負責NoC的通信工作，其通信帶寬與可靠性直接影響著系統的性能。許多研究人員深入研究了路由節點的設計，并針對多種應用設計進行了優化[4]。這類優化大多圍繞著提高通信吞吐量、減少通信延遲，解決擁塞等問題。路由的改進給節點的RTL綜合提出了新的要求。例如一個緩沖式快速蟲孔交換路由節點，片內設計有10個以上獨立的32×16 FIFO，然而許多的小FIFO在綜合時都會各自占用一個包含32×256 的M9K單元。造成內部存儲單元的使用效率低下、資源緊缺的問題。另外由于片上網絡全局異步時鐘的特點，現代FPGA越來越豐富的全局時鐘樹網絡顯得多余而浪費。器件供應商們如果能在FPGA的設計過程中引入對這些問題的解決方案，必然會極大地推動未來NoC應用系統的FPGA實現。

1.2 基于ARM的資源網絡節點設計

ARM(Advanced RISC Machines)系列處理器因其高性能、低功耗、開放性好等優點，在許多領域廣泛應用。長期的應用開發形成了許多相關的軟硬件資源。例如三星公司的S3C24XX系列處理器，不僅提供了豐富的外設接口，移植了成熟的ARM-Linux，更可以提供完整的TCP/IP協議支持和相當豐富的外設驅動，加速了應用的開發速度。NoC系統如能將片外的ARM處理器作為片上多核系統中的片外資源節點，充分利用現有軟硬件資源，將給NoC系統帶來巨大的應用空間。片外硬核與NoC系統的信息交換，即ARM同路由節點的通信由專用資源網絡接口SNI完成。針對ARM 處理器AHB總線時序，設計了基于DMA通信的SNI單元，如圖2所示。圖中ARM的數據總線為雙向數據總線，需要通過SNIC(Source NetworkInterface Controller)的控制實現分時復用。數據傳輸由SNIC發起，經過nXDREQ向DMAC發送請求信號，DMAC在獲得總路控制權后發出nXDACK信號[5]。隨后AHB總線將產生源和目的地址的讀寫信號進行數據傳送，最終完成一次DMA傳輸。

1.3 外圍電路及電源設計

系統為實現各類功能驗證提供了大量的外圍電路，包括多套NIOS軟核運行所需的存儲器、雙通道高速模擬信號輸入與輸出單元、攝像頭模組接口、VGA視頻輸出單元、10 M/100 M以太網接口單元和音頻接口單元。

電壓要求的多樣化需要多組的電源設計，其中FPGA由1.2 V核心電壓、3.3 V與2.5 V I/O Buffer電壓、2.5 V模擬PLL電壓以及1.2 V數字PLL電壓組成。模擬PLL電壓需選用線性整流降壓得到，以獲得低紋波輸出的穩定電壓源;其他數字部分電源適合采用開關型整流器電路供應。例如TI的TPS54550器件,具有輸出電流大、效率高、外圍器件少等優點。值得一提的是,CYCLONE IV 內部具有電壓檢測與電源管理功能，沒有上電順序要求，簡化了電源的設計。

2 信號完整性分析

大量高速器件的采用、FPGA的高密度封裝、敏感的A/D和D/A轉換芯片和許多開關整流器的噪聲,這些都決定著需要對信號完整性分析予以足夠的重視。設計過程中對疊層、電源隔離、地線處理做了細致的工作。采用Cyclone片內端接OCT(On-Chip Termination)的源端端接方案，并通過精心的布局布線，有效地克服了各種信號干擾。最后使用SigXplorer 軟件提取PCB模型對信號的反射和串擾進行仿真，驗證了系統的信號完整性設計。

2.1 疊層設計

疊層設計涉及電源與信號層的規劃、走線的密度與層數的折衷等問題。本系統中29×29的BGA780封裝的扇出是決定信號層層數的重要因素，假設1 mm球間距間扇出一根導線，在沒有考慮頂層扇出限制和扇出線物理連接限制的情況下，可以計算出528個用戶I/O端口加上少量配置線至少需要5個信號層，加上電源層后的總層數將達到8~12層，導致層數過大。結合加工工藝和串擾分析等情況，在允許的范圍內盡可能降低層數的原則,最終確定間距39.37 mils扇出2根導線， 其中包括14 mils 的扇出過孔、5 mils的線寬和扇出線間距。采用信號1-電源-信號2-信號3-地-信號4的層疊方案。信號線線寬為5mils時的特征阻抗控制為50 ?贅。