用小型載板傳輸4臺相機的數據流：快速原型設計
加入技術交流群
嵌入式視覺組件一直很受歡迎，被眾多應用所采用。所有這些應用的共同點是需要在狹小的空間內集成越來越多的功能。通常，讓這些系統在邊緣做出決策也是很有利的。為了支持此類系統，包括快速原型設計的能力，Teledyne FLIR 推出了 Quartet? 嵌入式 TX2 解決方案。這種定制的載板可在滿帶寬下輕松集成最多 4 臺 USB3 機器視覺相機。它包括 NVidia Jetson 深度學習硬件加速器，預先集成了 Teledyne FLIR 的 Spinnaker? SDK。通常，讓這些系統在邊緣做出決策也是很有利的，尤其是在檢查、移動機器人、交通系統和各種類型的無人載具領域。
圖1 所有四個應用程序的原型設置
在這篇非常實用的文章中，為了強調 Quartet 能夠實現的功能，我們描述了開發受 ITS（交通系統）啟發的原型的步驟，該原型同時運行四個應用程序，其中三個采用了深度學習：
● 應用程序 1：利用深度學習識別車牌
● 應用程序 2：利用深度學習實現車輛類型分類
● 應用程序 3：利用深度學習實現車輛顏色分類
● 應用程序 4：透過擋風玻璃觀察（透過反光和眩光）
購物清單：硬件和軟件組件
1）用于處理的 SOM：
用于 TX2 的新 Teledyne FLIR Quartet 載板包括：
● 4 個 TF38 連接器，配備專用的 USB3 控制器
● Nvidia Jetson TX2 模塊
● 預裝了 Teledyne FLIR 功能強大且便于使用的 Spinnaker SDK，以確保在即插即用情況下兼容 Teledyne FLIR Blackfly S 板級相機
● Nvidia Jetson 深度學習硬件加速器可在緊湊型單板上實現完整的決策系統
圖2 帶TX2的Quartet嵌入式解決方案，可配備4臺Blackfly S相機和4根FPC電纜
2）相機和電纜
● 3 臺標準 Teledyne FLIR Blackfly S USB3 板級攝像頭，采用與盒裝版相同的豐富功能集，適用于最新的 CMOS 傳感器，可與 Quartet 無縫集成
● 1 臺定制相機：Blackfly S USB3 板級相機，帶 Sony IMX250MZR 偏振傳感器
● 線纜：TF38 FPC 電纜，可用單根電纜傳輸電源和數據，節省了空間
圖3 Blackfly S板級相機，帶FPC電纜
3）照明：LED 燈可提供充足的照明，以避免車牌的運動模糊。
應用程序 1：利用深度學習識別車牌
開發時間：2-3 周，主要是為了使其更加穩健，運行速度更快
訓練圖像：LPDNet 附帶
對于車牌識別，我們通過 Nvidia 部署了現成的車牌檢測 (LPDNet) 深度學習模型，以檢測車牌的位置。為了識別字母和號碼，我們使用了 Tesseract 開源 OCR 引擎。該相機為 Blackfly S 板級 890 萬像素彩色相機 (BFS-U3-88S6C-BD)，配備了 Sony IMX267 傳感器。我們限制了車牌檢測的偵測區域，以加快運行速度，并利用跟蹤來提高穩健性。輸出包括車牌的邊界框，以及相應的車牌字符。
圖4 傳輸車牌邊界框和車牌字符
應用程序2：利用深度學習實現車輛類型分類
開發時間：約 12 小時，包括圖像采集和注釋
訓練圖像：~300
在車型分類方面，我們利用遷移學習，用三臺玩具車（分別是 SUV、轎車和卡車）訓練了我們自己的深度學習目標檢測模型。我們采集了此設置在不同距離和角度下拍攝的約 300 幅訓練圖像。相機為 Blackfly S 板級 500 萬像素彩色相機 (BFS-U3-51S5C-BD)，配備了 Sony IMX250 傳感器。我們標出了玩具車的邊界框，大約耗時 3 小時。我們進行了遷移學習，以訓練我們自己的 SSD MobileNet 目標檢測模型，訓練過程在 Nvidia GTX1080 Ti GPU 上進行，耗時半天左右。通過 GPU 硬件加速器，Jetson TX2 模塊可以高效率地執行深度學習推斷，并輸出汽車的邊界框，以及對應的車輛類型。
圖5 傳輸邊界框和預設的車輛類型，以及確認的置信系數
應用程序 3：利用深度學習實現車輛顏色分類
開發時間：重復利用了“車輛類型應用”中的型號，用額外 2 天時間進行顏色分類、集成和測試
訓練圖像：重復利用了 300 幅與“車輛類型應用”相同的圖像
對于車輛顏色分類，我們運行了與上述相同的深度學習對象檢測模型來檢測汽車，然后在邊界框上進行了圖像分析，以對其顏色進行分類。輸出包括汽車的邊界框，以及對應的車輛顏色。相機為 Blackfly S 板級 300 萬像素彩色相機 (BFS-U3-32S4C-BD)，配備了 Sony IMX252 傳感器。
圖6 傳輸邊界框和確認的預設顏色類型
應用程序 4：透過擋風玻璃觀察（透過反光和眩光）
減少眩光對于交通相關應用至關重要，例如透過擋風玻璃觀察 HOV 車道、檢查安全帶是否合規，甚至可以檢查駕駛時是否使用手機。為此，我們將 Blackfly S USB3 板級相機與 500 萬像素 Sony IMX250MZR 偏振傳感器相結合，定制了一款相機。這款板級偏振相機不是標準產品，但 Teledyne FLIR 能夠輕松換用不同的傳感器，從而提供定制的相機選項，以展示其消眩光功能。我們只需通過 Teledyne FLIR 的 SpinView GUI 來傳輸相機圖像流，該 GUI 提供各種“偏振算法”選項，如四通道模式、眩光弱化模式，可以在靜止的玩具車上顯示眩光弱化效果。
圖7 Spinnaker SDK GUI 提供各種“偏振算法”選項，如四通道模式、眩光弱化模式，可以在靜止的玩具車上顯示眩光弱化效果。四通道模式可以顯示 4 個不同的偏振角度所對應的 4 幅圖像
系統總體優化
雖然這四個原型各自獨立工作，但我們注意到，在所有深度學習模型同時運行時，總體性能相當差。Nvidia 的 TensorRT SDK 為 Nvidia 硬件（如 Jetson TX2 模塊）提供深度學習推斷優化器和運行時。我們用 TensorRT SDK 優化了我們的深度學習模型，使性能提升了 10 倍左右。在硬件方面，我們將一個散熱器連接到 TX2 模塊，以避免過熱，因為該模塊在所有應用程序都運行時會相當熱。最終，我們設法在所有四個應用程序一起運行時實現了良好的幀率：車輛類型識別為 14 fps，車輛顏色分類為 9 fps，自動車牌識別為 4 FPS，偏振相機為 8 FPS。
由于 Quartet 嵌入式解決方案和 Blackfly S 板級相機的易用性和可靠性，我們在相對較短的時間內開發出了此原型。預裝了 Spinnaker SDK 的 TX2 模塊可確保在即插即用的情況下兼容所有 Blackfly S 板級相機，這些相機可在滿 USB3 帶寬下，通過 TF38 連接器實現可靠的傳輸。Nvidia 提供了多種工具來促進 TX2 模塊的開發和優化。Quartet 現在可從 fir.com 上在線購買，也可以通過我們的辦事處和全球經銷商網絡購買。
評論