嵌入式分布模塊控制系統與網絡的互連

3.與SAN相互連接的分布式系統

由于在分布式數據處理系統中，大量并行處理器受到總線的限制，所以可擴展一次性接口(SCI)就成為一個用于高級多處理器體系結構的最好的系統區域網絡 (SAN)而發展起來。隨后，第一個具有硬件一致性的基于SCI的高性能模塊化多處理器系統被開發出來。根據多級物理模型，人們提出將用于高性價比系統的基于標準緊湊型PC (PC-board)和鏈路模塊(如Dolphin)的高級集成化實時系統高效SAN體系結構用于實驗物理研究中的高性能數據采集、控制和分布式數據處理。組建高性價比實時系統的一個最佳方法是使用工業計算機系統MB(ICS MB)、PC MB 或 cPCI/PXI，并根據實際的應用場合通過不同的拓撲連接到SAN中。

分布式并行數據處理模型包括對稱多處理(SMP)、大規模并行處理(MPP)和機群系統(RMC和NUMA)。RMC(映射內存集群)是一個在節點和通信連接之間具有內存復制功能和內存傳輸機制的集群系統。

借助系統區域網絡(SAN)的鏈路模塊，分布式集成系統的高模塊化結構能夠支持分布式處理器和內存之間的高效交互作用。SAN包括以下幾個級：

1)核心級由一套內核處理器、存儲器、I/O控制器所組成，它們之間相互連接。與同一板上的片外存儲器相比，新型單芯片微型機具有更短的通信鏈路，更易訪問和更短的數據傳輸時間。

2) 系統模型的緊湊型板結構的原子級(A模塊)包括用于特定目的和一般目的的處理器。用于數據采集和控制的最簡高效實時　系統可以以具有單核、雙核或三核處理器的標準PC MB為基礎。在同一總線上，處理器模塊有數量限制。對稱多處理(SMP)是用于多處理器的基本軟件模型。

3)分子級(宏觀結構)取決于系統拓撲結構。大量多處理器節點可以通過SAN(“大總線”模型)連接到大型(千處理器)系統中以支持分布式集成實時系統用于數據采集、控制和數據處理應用。

4)分布式系統的相互連接基于鏈路、橋接和開關模塊(L模塊、B模塊和S模塊)。通信速度的成本比針腳和板空間的成本下降地更快。傳統的通信基于總線，這限制了處理器的數目。

一個可行的解決方案是在許多獨立的點對點連接上使用基于包的信號，這可以解決總線瓶頸的問題，但也帶來了新的問題——如何保持系統中共享內存模型的cache一致性。

處理器模塊之間的弱相互作用基于消息傳送(以太網)。中級相互作用基于集群中使用的外部存儲設備(磁盤、磁帶)。處理器核之間的強相互作用基于直接讀取分布式存儲器，并在SCI上實現，SCI也支持處理器模塊之間的弱相互作用。SCI的強相互作用包括小包交易(有回顯地發送和響應分離的包)。包格式包括寫 xx、讀xx、移動xx和鎖定命令，此處xx表示允許的數據塊長度(數據字節數目，在數據包頭的右方)。

可擴展性是增強多處理器實時系統性能(與千處理器系統相連接)的一個問題。

SAN架構的分布式存儲器模型能支持并行流水線數據處理(計算)作為SMP模型運行于單個地址空間。64位地址支持每個節點上的256T字節。

Cache 一致性支持分布式并行數據處理實時系統中所有處理器的數據可用性。實時系統包含有許多處理器，它們嘗試著修改單個數據或與此同時將數據的備份保存到自己的 cache中。通過軟件或硬件實現的一致性阻止多處理器在同一時刻嘗試修改同樣的數據。硬件一致性支持高性能(高價格)而軟件一致性則提供了高性能(低價格)。

模塊化實時系統的拓撲結構應該基于一套精選過的模塊來發展系統以達到最優化地解決確定問題的目的。它應該是個具有矩陣探測器的用于數據采集的矩陣或是用于3D圖像的3D拓撲結構。在控制領域，系統應該需要有個類似于大型機器(線性或環形)結構的拓撲。

基于SAN的分布式系統應該共享64位SCI地址，高16位用于在適當的節點轉發數據包。系統拓撲可以在簡易環、多環、橋接或交換器的基礎上實現處理器之間的并行流水線的強相互作用。SCI基于點到點的連接并支持同一時間內所有處理器模塊的事務。商用Dolphin的L模塊提供了每秒800M字節的雙向 SCI連接用于移動大量的具有小型應用-應用潛力(2.3毫秒)的分布式數據并且減少了用于多點應用的最好的可擴展性的節點控制信息。

基于網絡的分布式實時系統包括下面節點：連接到虛擬端(VS)的控制器端(CS)收集實時數據并輸出控制數據。具有一個以太網端口的簡易CS基于具有兩個 PCI插槽的緊湊型ICS MB用于數據采集和控制模塊。另一個端口用于擴展或另外的以太網連接。VS應該支持專業級的仿真、監測和測試。虛擬儀器和標準應用軟件基于基本的操作系統 (Windows、Linux)，借助于10/100M以太網，它們工作于連接到大量安裝有RTLinux的分布式CS的VS上。每個VS應該能夠達到多服務器級。

可擴展模塊化實時系統的聯合通用模型集成了基于相互連接的網絡(以太網)和SAN(SCI)的數據采集、觸發和控制系統。對于控制技術領域中的工程系統來說，具有兩個PCI插槽的緊湊型ICS MB (A模塊)和以太網是個不錯的平臺。而對于實驗物理領域中的高性能數據采集和觸發系統來說，基于嵌入式cPCI/PXI且與SAN(SCI)相互連接的節點是個不錯的平臺。