H.264壓縮算法詳解
加入技術交流群
原來國際電信標準化部門從1998年就H.26L的H.26S兩個分組，前者研制節目時間較長的高壓縮編碼技術，后者則指短節目標準制訂部門。H.26S 的標準化技術的名稱為H.263，聽起來很耳生，但實質上卻早在用了，還被罵得很激烈。因為，H.263先入為大，一直以MPEG-4大內涵的名字在用。 H.263的全稱為MPEG-4 Visual或MPEG-4 Pall Ⅱ，即MPEG-4視頻簡單層面的基礎編碼方式。2001年后，國際電信標準化部門ITU-T和MPEG的上級組織國際標準化組織ISO/國際電氣標準會議IEC成立了聯合視頻組JVT，在H.26L基礎進行H.264的標準化。
2002年12月9日~13日，在日本香川縣淡路島舉行的MPEG聚會上確定了相關技術的規格。規格書定稿后，2003年3月17日，H.364的技術格式最終稿國際標準規格（FDIS）被確立。目前軟件和LSI芯片，服務及設備也都進入了使用階段。格式書中，列出了比特流規定，解碼必要格式，和可供參考的編碼記載。
為了不引起誤解，ITU-T推薦使用H.264作為這一標準的正式名稱。實際上，MPEG-4里還有MPEG-4 Audio和MPEG-4 System的不同規格。
MPEG-4挨罵是因為MPEG-4 Visual許可收費離譜引起的。別以為有了專利就可以隨意向人要錢了，專利的最終目的的是使全社會的智力資料更合理地使用，防止重復勞動，并不是犒賞最先發明者。按唯美史觀，當社會技術發展到某一階段時，新技術必然會出現。不是你、就是他總會發明出來，只是細節、時間、成本上的微小差別。歷史上，這樣不約而同的發明很多，無線電的發明者是馬可尼還是波波夫，一直在西方和東方技術史界爭論。
而當專利技術成為國際標準的一部份后，問題就更加復雜了。國標標準是強制的，向其中的專利付費是否有壟斷之嫌？標準中的技術專利請求，是否合理？如何區分正當的請求和不正當的請求？等等一系列的理論、法律和道德問題都出來了。要尊重專利法，也要遵守反壟斷法。這兩年國際上圍繞MPEG-4收費問題的大爭論就是由此而起。
在標準化進程中，專利的爭端正在增加，任何黑白兩極的判斷都無法令人滿意。但奇怪的是標準中的專利爭端發展到要求判決的案例幾乎沒有，都是當事者幕后交易解決，這使得不明確的法理更陷入惡性循環之中。同時也助長了用戶對盜版的寬容，一邊是搶我的剪徑強資，另一邊是偷你的小賊，怎么講道德？！
MPEG-4的收費問題主要是從向傳輸環節收費引起的。MPEG-4對解碼器和編碼器的收費已經比MPEG-2低了很多，這是各種壓縮技術競爭的結果。但MPEG-2不對傳輸MPEG-2壓縮圖像的服務環節收費，而MPEG-4則要對內容配送者收取每分鐘0.0333美分的許可費。錢數聽起來不大，但倫理上卻有很大的差別。打個比方，你買了臺彩電，必要的專利費用已經通過彩電廠轉交到專利技術持有者的手中。而當你打的把這臺彩電運回家的時候，出租車主也要向專利持有者交費！能不引起軒然大波嗎。
現在的專利收費結構已經相當商業化。一種產品、一個系統或一套技術標準中，包含有許許多多公司的專利技術，使用企業很難與一個個技術的發明者直接交涉簽約，這樣就出現了一種專利管理公司的企業。它把某一產品的一個個技術從專利持有者手中買下來，約定好收益的分配方案，再由它人使用技術的企業中收取許可費。需要用這一產品技術的企業就只需與專利管理公司打交道，操作方便多了。但專利管理公司和著作權保護企業一樣，實際上是一個中間商，兩頭賺錢，未必把社會效益放在最高地位。
現在的MPEG-4，也即MPEG-4 Visual是由美國MPEG LA公司進行專利許可管理的，他同時也在管理MPEG-2的專利，目前還在爭取H.264的專利許可權。MPEG LA公司于2002年9月就開始募集H.264的主要專利，想采取先入為主的手段取得管理權。由于大量企業對MPEG-4收費制度不滿，2003年6月， MPEG-4的支持團體M4IF（MPEG-4工業論壇），決定數據流標準格式的美國ISMA（國際數據流媒體協會）和多媒體通信有關業界團體IMTC （國際多媒體通信協會）發起召開H.264的許可制度說明會。總共有專利持有者和使用者團隊45個，56人參加，對有關H.264許可問題進行早期意見交換，希望協調各方面的要求和利益。關于方面其它信息，我們稍后再細述，先看看H.264的特色吧。
H.264用大運算量來換取高壓縮率、高畫質
H.264受人追捧有三大原因：高性能、國際標準和公正的無差別許可制度。
首先是超高壓縮率，其壓縮率為MPEG-2的2倍以上，MPEG-4的1.5至2倍。這樣的高壓縮率是以編碼的大運算量來換取的，H.264的編碼處理計算量有MPEG-2的十多倍。不過其解碼的運算量并沒有上升很多，故對用戶接收播放來說沒有什么難度。
從另一角度，編碼的大運算量現在也不是什么大問題。MPEG2是1994年推出的，當時微處理器的工作頻率才100MHz，主存儲器容量也不滿10MB。 MPEG-2那樣的壓縮運算適應了當時的技術水平。而現在CPU的工作頻率可上升到3GMz，DRAM用到256MB，提升了30倍上下，運算量也不怕。實驗表明在奔騰4處理器的3GHz電腦上，可用軟件實現D1（720×80）格式圖像的H.264實時編碼。
而且H.264才標準化，運算順序還有改善的空間。當作為國際標準確立后，還能結集起全世界的精英來優化處理。這也反應出技術發展的必然性，唯物史觀。
高壓縮率使圖像的數據量減少，給存儲和傳輸帶來了方便。加上基本規格公開的國際標準和公正的許可制度，所以，電視廣播、家電和通信三大行業都進入到H.264的實際運用研發中心，見圖1。
H.264又一項減少運算量的方法是在很多地方引入層次化運算，把在矩陣數據塊變成小塊運算，使計算式變得更加簡單，見圖5。
本文引用地址：http://www.104case.com/article/201706/351445.htm在DCT中采用時，8×8像素塊層次化到2×2像素塊，變換就變得快捷。運動補償中也可利用。檢出運動矢量時，最初的模塊大，運動矢量的檢出范圍大，搜索快捷。當檢出到有動作的部分再調入小模塊細分析。H.264進行運動預測的模板多，一旦先進全面檢索，需要的時間就很長，運算量也大。用層次化處理，先進行模板的收縮，接著小范圍檢索，就能減少計算量。在幀內預測中利用層次化后，殘差計算的范圍就能變小，同樣有利于減少計算量。
H.264與MPEG-2和MPEG-4的不同還存在于糾錯編碼塊中，H.264的糾錯編碼為內容自適應可變長度碼（CAVLC）和內容自適應二進制算法編碼（CABAC），能提高糾錯能力。而MPEG-2和MPEG-4杰霍夫曼編碼。另外，還加入了MPEG-2和MPEG-4沒有環路濾波器，有降低噪聲的效果。H.264的整數變換以4×4像素塊為單位，已比原來的8×8像素塊的塊噪聲少，再次降低，畫質得到了進一步提高。
從應用角度看，H.264有三個層面，分為主要用于電視會議等通信的基線層面，面向高畫質用途和錄像的主層面以及面向內容配送的擴展層面。各層面的清晰度和編碼速度取值不同。
基線層面的主要技術為圖像只含有I畫面，P畫面，系統內有環路濾波，1/4幀間預測，4:2:0 YUV格式輸入，基于VLC的糾錯編碼，彈性宏塊指令等。主要層面則在基線層面基礎上加入了CABAC運算編碼技術和基于雙向預測的B畫面，濾波（接口）等技術，但不含彈性宏塊指令。擴展層面則在基線層面里加入B畫面和濾波編碼等。
H.264分有4.1種不同樣式的圖像水平。水平1的編碼速度較小，最大只能達64kbps，像素格式為QCIF（176×144），30幀/秒和Sub QCIF（128×96），60幀/秒。適合手機、PDA等屏幕播放視頻用。水平2的編碼速度可達2Mbps，圖像的像素格式為CIF（352× 288），30幀/秒。水平3、水平4分別對應SDTV、HDTV圖像格式，編碼速度為10Mbps，20Mbps。另外，還有能支持更高清晰度的水平 5，編碼速度高達135Mbps。故總稱為4.1水平。在各水平更細的分類中，最大編碼速度也還有不同規定。
最后，把H.264與MPEG-2/MPEG-4主要的不同技術比較與下表1。
針對H.264的特點，編碼軟件和編碼LSI開發的廠家都把編碼/解碼運算量的減少作為方向來研究，所以，實用前景大好。大多數半導體廠認為在H.264中使用削減運算量方法后，能獲得相當于MPEG-2編碼LSI的2倍左右的處理能力。
由于技術的日益成熟，半導體廠商已在進行H.264的編碼/解碼LSI的開發。特別是HDD錄像機和DVD錄像機等設備中，采用H.264的實例已很多，更引起了半導體廠商的關心。加之，H.264采用的動畫編碼方式和音頻編碼方式具有多樣化特性，今后幾乎將會是全部廠商的主要規格之一。
以目前芯片將H.264實用化的研究也在進行之中。用德州儀器（TI）公司制造的DSP[TMS320C64××]對以H.264預先編碼的圖像已證實能進行實時解碼。TI公司正在開發的C6×系列DSP LSI，將在視頻編碼電路和存儲控制電路中，加入對應H.264和MWV等的編碼/解碼功能。
TI公司推出的可以對MPEG-4編碼/解碼的用于便攜機開發的TMS320DM270，只要用上新的CPU提高處理能力，就可用于H.264的編碼/解碼。
已經有MWA9的編碼/解碼DSP樣品出廠的美國模擬設備公司也在向H.264前進。
圖6是美國InStat/MDR公司對H.264功能LSI產量的預測。預測還只基于H.264的許可制度與MPEG-2一樣的前提下進行的。
H.264的許可制度有望較友善
H.264替代MPEG-4的呼聲很高，除了其高性能外，作為國際標準和公正的無差別許可制度也至關重要。
MPEG-4的許可體系引起了幾大行業，特別是信息配送行業的強烈反對，使得新國際標準的許可收費不得不向更為友善的方向發展。表2是幾種視頻壓縮技術的許可收費價格。
表中可見，MPEG LA公司提出的MPEG-4配送過程也要付費是空前絕后的。視頻壓縮產品只對終端收費合乎常情，因而招至了很大反抗，直到今日仍在遭人反對。而且對采用 MPEG-4的產品和服務還分成6種標準：用戶記錄視頻，互聯網視頻，車載移動視頻，特有用戶視頻，存儲視頻和企業視頻。連簡單的移動電視服務，如從現場到電視中心通訊時，若使用MPEG-4視頻的話，也需支付移動視頻的許可費。
因此，連原定在地面數字電視的編碼方式中采用MPEG-4的日本ARIB，也因許可費問題而開始研討是否改用H.264。擁有各種內容服務業者的移動內容論壇MCF也于2003年5月23日，致涵MPEG LA公司反對內容收費，要求重新考慮許可條件。MPEG LA也已松口表示希望以能相互滿意的形式交涉。
隨著掌握壓縮技術的企業增加和用戶巨增，H.264的許可管理收費受到二個方面的壓力。一、用戶要求低價格，最好免費使用；二、持有壓縮技術的企業增加，供應空間大，不得不低價出售。目前具有高壓縮率特征的活動圖像編碼技術的企業不少，如，美國數據流公司的XVD，能在一片CD-R碟片上放入2小時圖像，并能實時編碼。美國On2技術公司的活動圖像編碼技術VP5和新版本VP6，國內推出的EVD就采用這種編碼技術。美國AOL（America Online）公司也有新壓縮技術在進行許可操作。微軟的WMV 9也在向家電產品擴展，如美國工藝家庭娛樂公司使用WMV 9壓縮，將HDTV畫質的“終結者2：審判日”放入DVD-ROM內。
為此，H.264的許可制度設計有兩點引人之處：第一，部分格式將無償使用，H.264的基線層面全員免費，無償使用；其二，許可體系要比MPEG-4單純，公正無差別對待用戶和專利持有者。以及其它能促進普及的優惠政策，如早期低價格許可等。
基線層面的免費是以ITL-T主要活動的企業為中心推動的。現得到美國蘋果公司和美國Cisco系統公司、中國聯想公司、芬蘭諾基亞、美國On2技術公司、德國西門子、美國德州儀器公司等的支持，并有美國政府為其撐腰。
基線層面免費的最大目的是加速H.264的普及。當基線層面普及以后，收費的主層面和擴展層面就能帶動起來。盡管主要層面和擴展層面要收費，但從趨勢看，許可費
應較為便宜，因為各種編碼技術的許可費都有不斷下降的趨勢，目前很熱門的美國微笑WMV 9的許可費就比MPEG-2和MPEG-4要低，見表2。而且微軟的契約期為10年，比MPEG-2和MPEG-4還長。
從MPEG-2向MPEG-4的發展看，編碼器（電路加軟件）和解碼（電路加軟件）的費用就降到1/10，WMV9更低。可以預計H.264的許可費用會比WMV 9還低。
前文提到的45個團體的聯合會傳出說法，如果H.264采用MPEG-4 Visual一樣的許可體系，H.264就可能不被采用，態度強硬。標準中的專利收費收益已遠不止收回投入的開發成本，而是在不斷地獲取暴利，故降低收費在所必然。
當然，只要沒有定局，變化依然存在。專利持有者的想法也各有不同，采用無差別對待原則是否行得通。專利實施充滿著大量利益誘惑，追名逐利者大有人在。目前已經有兩家公司申稱對H.264具有許可管理權。在專利應用前就開始搶專利管理權的現象是前所未有的，兩家公司還都有淵源。一家是實際持有MPEG-2和 MPEG-4 Visual許可管理的美國MPEG LA公司。另一家是進行MPEG-2 AAC和MPEG-4 Audio許可管理的美國杜比實驗室的子公司美國Vialicensing公司。最終有哪一家公司管理，還是分割管理，現在都不清楚。
編輯：呂勇
評論