用自動腳本測試進行視頻質量分析
加入技術交流群
設計和制造過程中的視頻質量測試
隨著數字電視(DTV)的出現，視頻處理有了巨大的改變。幾乎所有的視頻被壓縮，量化，通過廣播和IP方式分發，以及解壓縮。這為視頻技術廠商提供了機會。
但是，這些機會涌現的速度極其危險。高技術設備從概念到供貨的平均上市時間從90年代的5到6年縮短到目前的一到兩年。最早提供一款高質量產品的廠商還可以勉強處于可持續競爭的邊緣。隨著更多公司相互競逐而在很短的時間內加入更多的功能，從產品的開發速度到系統的驗證速度，產品的許多控制因素都發生了改變。
圖1：帶有合格/不合格結果的ClearView GUI
Video Clarity公司創造了一個突破性的視頻質量測試解決方法，使得設備制造商增加覆蓋并投入更多的時間到創造性測試上。該技術名為“ClearView”，是一個具有腳本的自動化視頻質量測試系統。ClearView包括一個非壓縮的視頻服務器，一臺視頻錄像機，一臺視頻播放設備，以及一臺定量視頻質量記錄儀。通過在一臺設備上提供所有這些設備功能，ClearView成為一套完整的測試系統，可以實現先進的視頻質量評估和比較。
圖2：主觀分析顯示模式(垂直分割)
Video Clarity公司的ClearView系統為軟件開發人員、硬件設計師、QA/QC工程師、視頻研究人員以及生產和視頻分發機構提供了一系列視頻質量分析工具。ClearView對視頻進行播放、錄像、顯示和視頻序列分析。該設備能夠從任何源文件、數字或模擬源，例如SDI、HD-SDI、DVI、VGA、HDMI、分量視頻、復合視頻或S端獲取視頻內容。不管是什么輸入，ClearView都能接收并將其轉換成非壓縮的 4:2:2 YCbCr, 4:4:4 RGB、ARGB、或RGBA。這使得編解碼器能夠方便地被相互比較和評估。
圖3：編碼器/解碼器(DUT)合格/不合格視頻測試實例
1. 全基準方法(FR)
2. 降低的基準方法(RR)
3. 無基準方法(NR)
你是否曾經想過將你的H.264/VC-1 & MPEG-2與其它的進行一下比較？現在就可以！你還可以測量視頻延遲和音視頻唇同步。
圖4：scriptable合格/不合格評分背后的基本原理
和數據壓縮相似，視頻壓縮需要在磁盤空間、視頻質量和在合理的時間內對視頻解壓縮所需的硬件成本進行折中。不過，如果對視頻過壓縮，就會出現可視缺陷。這正是視頻質量測試和測量的使命，以便對視頻質量進行精確的建模。
在任何視頻質量測量之前，只需將視頻數據對齊。將會出現下面一些有關對齊的問題：
1. 處理后的視頻時間上與原視頻信號對不齊
2. 處理后的視頻水平方向上有移位
3. 處理后的視頻豎直方向上有移位
4. 處理后的視頻有色彩保真度損失
5. 處理后的視頻音視頻不同步
時間對齊
客觀度量視頻質量是逐幀進行的，故視頻序列必須時間對齊。由于通常并沒有色柵/校準條，ClearView從一個視頻幀開始，并將該幀放到視頻序列中的另一個幀中，使之具有最小的差和(sum-of-difference)。ClearView然后進行修整使視頻序列時間上對齊。
空間水平對齊
1932年創立的隔行視頻，用來減小因CRT在刷新時間內無法遍及整個屏幕所引起的顫動。在數字電視規范中也用了隔行視頻，因為對于一定的線數和刷新時間，可以將信號帶寬降低一半。但是，只有CRT才可以顯示隔行視頻。于是，只有通過去隔行才能在DLP、LCD和等離子電視上顯示隔行視頻。由于去隔行算法的影響，處理單元將會引起幾個像素的水平移位。ClearView中包括一個算法，用來確定幀位移量并適當地調整窗口尺寸。
空間豎直對齊
基于DCT的壓縮算法- MPEG、JPEG和VC-1，要求視頻必須可按16像素進行劃分。由于塊大小的限制，NTSC視頻從486線縮至480線，而HD 1080視頻實際上被壓縮到1088線。由于壓縮視頻之間尺寸以及顯示視頻窗口不匹配將引起豎直偏移。ClearView包括一個算法來確定幀偏移量并適當地調整窗口尺寸。
色彩保真度損失
如果視頻是通過模擬源(分量視頻、復合視頻或S端口)輸出，則由于模數變換將會引起色彩的輕微偏差。ClearView將采用一個線性歸一化偏置來補償這一影響。
音視頻同步
在電視領域中，通常引起音視頻同步問題的原因是由于對電視節目的視頻部分進行了大量處理所致，通常由視頻壓縮編解碼產生。ClearView測量視頻源和處理后的A/V序列之間的時間偏移，然后對壓縮解碼器提供一個偏移量來補償處理延遲。
視頻質量評估
當今，視頻設備制造商憑主觀驗證視頻質量。主觀測試具有創造性但無法很好地量化。如何測試成千上萬套設備？如何進行回歸測試？如何根據主觀反饋來矯正測試設備和增加功能？
我們曾經提出這樣的問題—人眼評測客觀嗎？文中指出主觀視頻分析只能作為視頻質量的精確評估(aka，將視頻序列提供給一組專家)。然而，主觀視頻分析只能用于開發和評估，而無助于操作監控、生產線測試、故障定位，以及設備特定的可重復性測量。對定量的、可重復性視頻分析的需求都需要客觀的視頻質量測試。
最小可覺差法
ClearView采用眾所周知的人體視覺系統，即最小可覺差法 (JND)來客觀地評估視頻質量。JND根據算法來預測視頻質量，這些算法的根據是對數以百計的評估專家的觀測進行建模，并根據觀測距離、感知的缺陷、觀測角度以及電視顯示器尺寸等進行打分。
開始時，記錄下面兩個視頻序列：
1. 視頻源序列
2. 處理后的視頻
在開始JND之前，視頻在時間上和空間上被對齊，模擬噪聲被歸一化。我們的JND產生一個平均評價得分(MOS)，分值等級從0到100，小于5為視頻質量優異。(有關JND的更多信息，請查閱Sarnoff實驗室的白皮書)。
計算一個JND的主要目的是自動地評估觀測者平均評估得分，不過得到用戶評估的最好的方法還是直接詢問他們！使用ClearView的最簡單方法就是在相同條件下，在同一顯示器上觀測比較兩個視頻序列，并主觀地決定哪一個更好。視頻可以分屏顯示、無縫分屏，鏡像分屏(蝶形)，或A-B(源-結果)方式，分割可以是水平分割，也可以是豎直分割。回放支持用于深入分析的縮放、慢動作、穿梭，以及暫停，下面給出了一些顯示模式。
回歸測試
在利用JND或你自己的“黃金眼”對視頻進行完評分后，該得分可以與任意數量的單元進行比較進行回歸測試。該視頻將被視作為后來參照的“黃金(樣板)”。在該例中，ClearView將兩個視頻序列對齊，并比較他們的視頻質量。任何得分低于用戶規定門限的視頻序列，都將被視為不合格。
ClearView按照下面來控制測試建立：
1. ClearView對被測設備(DUT)提供原始視頻序列
2. DUT處理視頻數據
3. ClearView記錄DUT的輸出
4. 參照“黃金”序列，ClearView對齊并歸一化DUT
5. ClearView計算A/V延遲和偏移(偏移=唇同步誤差)
6. ClearView將DUT序列與“黃金”序列進行比較
7. ClearView記錄每幀的合格/不合格，并產生一個總的合格/不合格得分
8. ClearView生成一個具有結果的記錄文件
所有的參數數據都被存儲在一個小日志文件中。該日志文件可以在任何一臺能夠訪問原始視頻序列的ClearView機器上回放，以便在解決異常現象時能夠確保一個可重復環境。更進一步，這些日志文件可以加到回歸測試上，以確保這些異常能夠保持固定不變。為了更方便，分析和圖表工具集還可以將日志文件輸入到微軟的Excel文件中進行離線觀看。
GUI測試與自動腳本的比較
可以通過其GUI或其指令線接口來控制ClearView。使用ClearView最簡單的方式是通過其交互式GUI。結果被記錄并形成圖形，而視頻被預覽并輸出到外部顯示器上。當ClearView、DUT、工程師/測試人員都位于同一地點時，該功能效果更好。
當開發和系統驗證團隊工作在不同國家并使用不同語言時，會出現一些細節問題。ClearView包括一個可編寫腳本(scriptable)的指令線接口，可以提供與GUI相同的功能，這又兩個額外的好處：
1. 指令可以從通過網絡可以訪問ClearView系統的任何地方輸入，
2. 指令可以被批處理，具有返回代碼，標有日期，并被記錄，可重復利用
使用指令線接口，一個位于美國的測試人員可以發現不正常并將報告發給位于印度或中國的研發團隊。其他的團隊成員可以訪問ClearView日志，然后進行復制并進行處理。語言問題被減到最小，系統驗證可以圍繞著時鐘進行。
本文結論
視頻質量測試是一個難題。視頻處理系統的性能差異很大，并且與輸入視頻信號的動態特性有關，如大量的運動或空間細節。通過將視頻服務器、視頻錄像機、視頻播放機和視頻質量分析儀整合到一套具有交互式GUI和自動可編寫腳本的接口的系統中，視頻清晰度變成一個客觀性的視頻質量分析，也使得回歸測試成為現實。
評論