用于圖像編碼的超解像技術

NHK放送技術研究所于正在舉行的“技研展2011”上，公開了進行了將超解像技術應用于圖像編解碼的技術演示。該技術通過在原來的圖像編解碼技術的基礎上“外加”視頻縮小(降頻轉換)和超解像技術(升頻轉換)，來避免在編碼時使用過高的壓縮率，以減輕畫質劣化。

　　具體做法為，首先對分辨率高的圖像進行圖像縮小處理。然后，采用原來的H.264對該圖像進行編碼。傳輸后，再用H.264進行解碼。至此還保持著圖像縮小后的尺寸，因此還需要采用超解像技術將其恢復到原來的圖像尺寸。

　　據介紹這樣做的優點在于，無需改變原有的編解碼技術，就能利用外加的技術和系統改進編解碼。編碼時能夠選擇合理的壓縮率，具有減輕畫質劣化的效果。

　　隨著圖像縮小產生的畫質劣化較輕。原因是將圖像縮小時采用的各種參數及畫質補償信息作為輔助信息發送到與影像數據不同的影像接收端，以供利用超解像技術恢復圖像時使用。

　　之所以能夠實現上述技術，是因為超解像技術的發展。“原來的超解像技術存在邊緣處理方面的技術課題”(解說員)。最近，該課題得到大幅改善，因此才實現了此次的應用。

　　不過，現在存在的課題是數據處理復雜，處理時的負荷和延遲較大。一般而言，圖像編碼技術的編碼處理越復雜，處理規模越大，就越能夠獲得劣化少的圖像壓縮效果。此次的方法是否真比上述的一般編解碼改善方法有優勢，將是今后探討的課題。

　　“水的流動優先”還是“邊緣優先”?

　　此次，NHK技研作為具體的安裝方法，提出了A和B兩種方法。

　　方法A是在圖像縮小時根據圖案來改變像素壓縮率的方法。圖案復雜的部分降低壓縮率，而圖案簡單的部分則大膽間隔像素以大幅縮小圖像。

　　這樣，縮小后的圖像變為壓縮率隨著圖案明顯不同的變形圖像。這一點在將壓縮率不同的數據作為輔助信息發送給接收端并采用超解像技術恢復時使用。“方法A適于再現水的流動及光的反射等隨機動態數據。不過，在安裝到處理電路的硬件中還需要解決很多問題”。

　　方法B則是通過發送端掌握源于圖像縮小和編碼處理算法的圖像劣化信息，并將其用于優化圖像縮小技術的方法。

　　具體做法是首先將通過編碼縮小了的圖像數據通過發送端解碼及采用超解像技術復原。然后，將復原后的圖像與原來的輸入圖像進行比較，調整圖像縮小時的參數，以使源于圖像處理算法的圖像劣化降至最小。劣化信息作為輔助信息也發送給接收端。

　　方法B“最適合圖像不連續變化的邊緣處理。有時還采用小波分析等易于實現硬件電路的技術，比較容易安裝”(解說員)。據NHK技研介紹，今后還將探討將方法A和方法B相結合的方法。

　　利用超解像技術的新圖像編碼技術的概要。通過演示可以看出，采用新技術輸出的圖像比利用原編碼技術形成的圖像劣化明顯減少