基于STM32N6和VD66GY的機器視覺方案

方案介紹 

       該方案基于主控平臺STM32N6搭配ST的VD66GY圖像傳感器實現人體姿態的監控，系統利用VD66GY傳感器采集環境圖像數據，隨后通過STM32N6處理器進行高效的圖像分析和處理開發。 

二、主要元件簡介

• STM32N6

    基于 Arm Cortex -M55 的微控制器，配備 ST神經-ART加速器、H264 編碼器、Neo-Chrom 2.5D 圖形處理器， 4.2MB連續型靜態隨機存取存儲器用于實時數據處理和多任務處理，專用嵌入式神經處理單元（600 GOPS NPU &3 TOPS/W power consumption），圖像處理器ISP（Parallel and MIPI CSI-2 camera module I/F）支持5 Mpixel camera and 30 FPS、壞像素、降采樣、黑電平、曝光、去馬賽克、列轉換、對比度、裁剪、縮小、伽馬值、像素打包。 

  工程師可以將機器學習的推理處理任務分配給NPU，這樣一來，高效的Cortex-M處理器、ISP以及GPU就可以專注于處理其他系統級任務或是運行用戶的應用程序。這使得它能夠處理復雜的圖象識別和處理任務，如對象分割定位、姿態估計、物體分類、人臉/人像檢測、異常檢測等等。 

  ST官網提供多種開發包和工具有自身的討論社區與wiki ，讓使用者有著大量的資源能夠使用與自由的開發環境。

  

  （詳細資料：STM32CubeN6 - 面向STM32N6系列的STM32Cube MCU軟件包（包含HAL、CMSIS器件以及在意法半導體開發板上運行的示例） - 意法半導體STMicroelectronics） 

• 圖像傳感器-ST VD66GY 

     1.5M BSI 傳感器(1124x1364）,可采用RGB和RGB-IR兩種模式配置、動態范圍可達60DB、每個像素尺寸為2.61μm，它們在可見光和近紅外區域(940納米)表現出色。這些傳感器在 1124x1364 的分辨率格式下每秒可捕獲多達 88 幀圖像，并且提出了兩種像素矩陣版本:RGB 2x2 核心和 RGB-NIR4x4 核心。這些器件的像素構造最大限度地減少了串擾，并在可見光和紅外區域都保持了高MTF(調制傳遞函數)。 

  ST還提供VD66GY S-Board可直接搭配STM32N6進行配對開發，提供從原型到量產的支持，不僅可以節約資源還能加快產品上市時間節點。 

  VD66GY S-Board是一款全面的多功能硬件套件，用于評估和集成 VD66GY 圖像傳感器。它包含所有必要的硬件，從電子元件到光學器件，以執行全面的產品評估或立即將產品直接集成到系統的其余部分。其中嵌入了一個帶有 FFC 輸出連接器的 VD66GY 圖像傳感器、一個 M12 鏡頭支架、一個默認的非膠合鏡頭和一根帶狀電纜。套件中嵌入的非膠合鏡頭可以靈活地根據您的需要聚焦，或者簡單地將其取下以使用不同的鏡頭。該套件配備 M12 鏡頭接口，可根據您的應用定制各種 M12 或更小的現成鏡頭。其標準 FFC 連接器允許連接各種長度或引腳排列的電纜，以適應您的設置。

（詳細資料：VD66GY - 緊湊、高靈敏度的 1.53 MP 彩色全局快門圖像傳感器 - 意法半導體STMicroelectronics）

三、主要功能和應用 

    VD66GY影像傳感器收集前方影像數據，通過STM32N6進行推理任務識別處理辨別出影像畫面中的物件類型進行相應功能設計。基于STM32N6主控和VD66GY傳感器的高性能特性，我們可以進一步擴展其應用范圍和功能：智能工業的異常檢測、智能住宅的事件監測、個人醫療保健的身體數據測量、機器人的碰撞檢測、汽車環境的感知、個人電子產品和運動設備的開發。這樣不僅可以提高現有工業和商業應用的效率和質量，還可以拓展到更廣泛的智能技術應用領域，為未來的技術革新奠定堅實的基礎。 

    還可以借助STM32N6 的邊緣計算和人工智能技術（人員檢測、姿態估計、手勢特征）提升產品應用服務范圍： 

• 各種環境下遠距離進行高精度的人員檢測：智能門鈴、房間占用情況、報警系統。

• 高精度多姿態估計：行為分析、活動監測、跌倒監測。

• 基于手部特征點的精確系統控制：非接觸式人機界面、智能電子產業。

?場景應用圖

?產品實體圖

?展示板照片

?方案方塊圖

?核心技術優勢

STM32N6： ? 基于 Arm Cortex -M55 的微控制器，配備 ST神經-ART加速器、H264 編碼器、Neo-Chrom 2.5D 圖形處理器， 4.2MB連續型靜態隨機存取存儲器用于實時數據處理和多任務處理，專用嵌入式神經處理單元（600 GOPS NPU &3 TOPS/W power consumption），圖像處理器ISP（Parallel and MIPI CSI-2 camera module I/F）支持5 Mpixel camera and 30 FPS、壞像素、降采樣、黑電平、曝光、去馬賽克、列轉換、對比度、裁剪、縮小、伽馬值、像素打包。 VD66GY ： ? 1.5M BSI 傳感器(1124x1364）,可采用RGB和RGB-IR兩種模式配置、動態范圍可達60DB、每個像素尺寸為2.61μm，它們在可見光和近紅外區域(940納米)表現出色。這些傳感器在 1124x1364 的分辨率格式下每秒可捕獲多達 88 幀圖像，并且提出了兩種像素矩陣版本:RGB 2x2 核心和 RGB-NIR4x4 核心。Global Shutter CIS適用于機器視覺，在移動間拍照影像不會扭曲利于得到完整圖像做判斷。

?方案規格

STM32N6規格： 1. Arm 32位Cortex-M55, 3360 CoreMark，頻率高達800mhz， 32kbyte ICACHE, 32kbyte DCACHE 2. Arm MVE （M-Profile矢量擴展），helium?技術，TrustZone MPU, NVIC 3. 配備半精度、單精度和雙精度浮點運算單元(FPU),支持向量和標量的半精度、單精度和雙精度浮點數據類型 4. ST Neural-ART加速器，頻率高達1 GHz， 600 Gops， 288 MAC/cycle 5. 用于深度神經網絡(DNN)推理功能的專用硬件單元，靈活的專用流處理引擎 6. 4.2 M byte SRAM 7. 128KB 緊密耦合型TCM(同步存儲器)RAM(具備糾錯功能)，用于存儲關鍵的實時數據;64KB 緊密耦合型TCMRAM(同樣具備糾錯功能)，用于存儲關鍵的實時程序代碼， 8. 128 kbyte TCM（緊耦合內存）RAM， ECC用于關鍵實時數據+64 kbyte指令TCM RAM， ECC用于關鍵實時例程 9. Arm TrustZone  和安全的i / o存儲器和外設,SESIP 第3級，Arm PSA(平臺安全)認證 10. 靈活的生命周期方案，包含 RDP功能和密碼保護的調試功能 11. ROM 中的安全啟動代碼，對客戶可更新的“信任根”(uRoT)進行解密和認證，通過硬件專屬密鑰(HUK)實現數據的安全存儲 VD66GY規格： 1. 150萬像素傳感器(1124x1364)，提供RGB和RGB-NIR兩種模式版本可供選擇 2. 3D 堆疊式傳感器，其 BSI像素尺寸為 2.61 微米x2.61 微米,圖像陣列尺寸為 2.9 毫米x3.6 毫米。光學格式為 4 英寸。 3. 尺寸:3.6 毫米x4.3 毫米 4. 全局快門技術 5. 雙通道發射器 MIPICSI-2(版權? 2005-2010 MIPI聯盟公司 攝像機串行接口2(CSI-2)標準版本 1.0)版本 1.3，每條通道1.5 Gbps 的傳輸速率 6. 快速模式加 CCI 控制接口 7. 線性動態范圍可達 60 分貝 8. 集成式溫度傳感器 9. 在全分辨率模式下，最高可達每秒 88 幀 10. 8 個可編程的 GPIO 端口，用于控制 LED 輸出，這些輸出與傳感器集成周期同步、脈寬調制控制、主/從式外部幀啟動鏡像/翻轉讀出 11. 工作結溫:-30 攝氏度至 85 攝氏度