基于Novatek NT98568 + OmniVision OS04E10實現Preroll方案

聯詠 NT98568 是一款高度整合的系統單芯片 (SoC)，專為邊緣 IP 攝影機應用設計，適用于 2Mp 至 8Mp 的解決方案。其特點包括卓越的影像品質、低碼率、低功耗，以及支援 preroll 和 always-on video 模式，特別適合電池供電的應用場景。

NT98568 整合了雙核心 ARM Cortex-A7 CPU、新一代 ISP、H.265/H.264 視訊壓縮編解碼器、硬體 DLA 模組、圖形引擎、視訊處理引擎 (VPE) 和顯示控制器。此外，還具備乙太網路、USB 2.0 主機/設備、音訊編解碼器、RTC 和 SD/SDIO 3.0 等周邊功能，提供高性價比的全方位邊緣攝影機解決方案，滿足各類智慧應用需求。

在 Pre-Roll 功能方面，NT98568 能夠持續將影像緩存到記憶體中，當觸發事件發生時，可以保留事件發生前的影像資料。這項功能對于捕捉完整事件場景特別重要，確保不會錯過任何關鍵時刻。搭配 OmniVision OS04E10 感光元件，更可實現優異的低光源表現，為電池供電的智慧門鈴和居家安全攝影機提供理想的解決方案。

Sensor 介紹

OmniVision OS04E10 是一款具有 2K2K（2048x2048）分辨率的正方形 CMOS 圖像感測器，專為 1:1 長寬比的超廣角安防攝影機，如吸頂或魚眼鏡頭應用而設計。其獨特的數字浮水印功能可防止視訊源被篡改，確保影像的真實性和可靠性。此感測器支援 512p 常開低功耗模式，不僅可即時捕捉快速移動的視訊，還能實現優異的 Pre-roll 視訊錄制功能，特別適合需要長時間待機的電池供電設備。

在8051系統下，可以進行512x512分辨率的影片錄制，總共20幀（7幀/秒，錄制3秒）。當Preroll感測器偵測到物體移動時，會觸發'md hits'功能，直接進入fastboot 2.0。在RTOS階段，所有Preroll幀會被編碼成H26x位元流，可于后續在HDAL階段取得。

系統流程

Preroll流程圖

Pre-roll的流程說明如下，系統上電后，會先執行RTOS部分

1. 進入RTOS，啟動8051 Preroll功能

2. 8051開始產生壓縮后的preroll影像，RTOS進入power-off狀態

3. 當sensor偵測到動作后，開始喚醒系統

• 載入Linux

• 進行快速編碼

1. 準備RTOS環境，并行以下任務

2. 釋放RTOS資源并與Linux SMP同步

4. 同時間Linux部分流程為

1. 開啟sensor

2. 進行分辨率調整

3. 等待并跳轉至Linux

4. Linux開機

5. 等待RTOS并入Linux SMP

6. 執行application

5. 當偵測的事件處理完成后，可再回到preroll模式等待下個事件發生

執行過程

在開機過程中，系統最初從RTOS啟動，當控制臺日志停在'notify 8051 shut'時，表示系統已進入preroll模式并正在錄制影片。

當感測器偵測到物體移動（在感測器前揮手）并觸發'md hits'功能時，系統會轉換到RTOS系統。此時，控制臺日志會顯示'Hello RTOS World! CPU[1]'。隨后，當看到日志顯示'is_fastboot = 1'時，表示系統已進入Fastboot 2.0模式。

當日志顯示'fastboot_version = 2'時，表示這是Fastboot 2.0版本，同時也代表RTOS階段即將結束。當系統切換到Linux系統時，日志會顯示'%%Booting Linux on physical CPU 0x0'。

當Linux開機程序完成后，系統會進入shell界面，顯示'root@NVTEVM:~$'提示符號。
接著可以執行preroll AP 'preroll_fastboot 1 0'指令，取得preroll位元流檔案'dump_bs_preroll_0.dat'和主要位元流檔案'dump_bs_main_0.dat'。

當AP執行時，按下'p'鍵會讓8051進入preroll模式，在此期間main part會關閉電源。當感測器偵測到動作時，系統將重復上述流程。

Q＆A

Q1. 是否支援外部PSRAM？
A：是。

Q2. 系統主頻為多少？
A：800 Mhz。

Q3. NT98568可支援多大容量的記憶體？
A：根據型號的不同，有以下規格
      568QC/QD - 1024(Mb)/2048(Mb)
      568QB - 512(Mb)。

Q4. 目前preroll功能僅支援OS04E10嗎？ 
A：還有支援 GalaxyCore GC4103。

Q5. preroll模式喚醒后開機需時多久？
A：在lower power模式下需200ms。

?場景應用圖

?產品實體圖

?展示板照片

?方案方塊圖

?核心技術優勢

1. 提供完整SDK予客戶使用 2. Preroll模式可降低功耗，延長待機時間 3. 整合CNN，實現邊緣運算

?方案規格

1. 芯片核心 Dual Cortex-A7 2. 內嵌8051 MCU 3. AI運算力是0.5T 4. 電源輸入是12V/2A 5. Kernel version：Linux 5.10.168 6. 結合影像和語音編解碼器