259
探秘視頻編碼黑科技，窄帶高清2.0視覺模型及場景實戰
“黑科技”這個詞已經成為了今年雲棲大會的關鍵詞。那麼，在我們熟知的視頻領域，什麼才算是黑科技呢？
我們知道，在通常情況下，視頻畫質越好帶寬費用肯定越高，帶寬又是視頻服務中占比很高的一項成本，很多開發者都在尋求效果與成本的平衡點。那麼，有沒有一種技術，能夠在保證甚至提高視頻畫質的同時，降低帶寬呢？如果有的話，小編覺得這一點可以算是黑科技了吧。
今天，小編就帶大家來了解下剛剛在雲棲大會上重磅發布的阿裏雲窄帶高清2.0，看看它是如何超越壓縮極限，在視覺效果和帶寬成本中找到平衡的。
首先，我們來看一張手機上的視頻截圖，這是優酷的標清模式，采用了窄帶高清的轉碼技術，分辨率是360P，碼率在300K。實際上在人眼感官上，已經達到了540P甚至720P的效果。
( 本截圖隻做舉例展示使用，版權歸版權方所有 )
那窄帶高清究竟是什麼呢？——一種神奇的視頻編碼技術
剛剛前文提到，帶寬成本是視頻服務中非常重的基礎設施成本，如何在保證視頻質量的前提下降低成本是整個鏈路中至關重要的一環。所以，在視頻服務中，視頻的編碼和解碼是非常重要的技術。
業內的轉碼技術從MPEG2，到H.264，到H.265大概是下圖的技術發展曲線，每隔十年的時間，視頻的壓縮率會提升一倍左右，平均下來，每年行業視頻壓縮率能提升隻有不到7%。這種客觀發展規律之下，視頻行業內的從業者給對手造成壓倒性的競爭優勢已經變得非常困難。
視頻編解碼行業的出發點是信息論。所以，行業內視頻編解碼技術是基於信號失真度最小這一基準來做優化的。在無法逾越視頻轉碼客觀發展規律的前提下，阿裏雲視頻轉碼另辟蹊徑，研發了窄帶高清技術。簡單來說，窄帶高清是一套以人眼主觀感受最優為基準的視頻編碼技術。
它有幾個關鍵點：
- 能和編碼標準的進步垂直發展，效果能夠疊加
- 能把業界普遍浪費的帶寬節省下來
- 窄能把業界普遍處理不好的複雜場景優化
- 能讓普通觀眾一眼就能看出畫質的效果不同
我們先來了解下窄帶高清1.0
過去的一段時間，阿裏視頻雲一直強調可以通過技術來幫助客戶節省成本。以優酷為例，我們能達到什麼效果，又能節省多少成本呢？
上表可以看出，老優酷的視頻配比是：1080P是3Mbps，720P是1.5Mbps，540P是0.8Mbps，我們可以加以聯想，好萊塢大片需要3Mbps，而1080P訪談節目僅僅需要1Mbps就足夠了。所以，有一些帶寬是被浪費的。使用了窄帶高清後的新優酷，有效節省了多餘帶寬，1080P的平均碼率降低到1.6Mbps，720P的平均碼率為1.0Mbps，540P的平均碼率僅需要0.5Mbps。如此，窄帶高清技術每年能夠為優酷節省數億成本，這就是所謂的“窄帶”。
那“高清”是什麼呢？高清是指能夠把業界普遍處理不好的複雜場景做漂亮。實際上，通常所說的“畫麵太複雜，很難編”是因為碼率帶寬受限而產生的畫麵模煳。那碼率受限的情況下，通過調整分辨率，窄帶高清可以將畫麵處理的更細膩，提升美觀度，讓用戶體驗得以提升。
窄帶高清背後有兩套視覺模型
第一套是失真度和主觀感受的關係模型，當我們的保真度越來越高，人眼逐漸就沒有感受了，所以卡在失真度並沒有很大變化的臨界點上，就可以適當節省帶寬了，如上左圖。
第二套是分辨率和碼率的關係模型，不同的片子有不同的特征，拿優酷上典型的片子舉例：曉說是訪談類節目，畫麵變化不大，1080P隻需要1Mbps；三生三世十裏桃花是節奏比較緩慢的電視劇，1080P需要2Mbps；極限挑戰這類綜藝節目，鏡頭迅速切換，1080P需要3Mbps，如右圖。有了這個模型之後，可以非常清楚的知道該分辨率下需要什麼碼率去支撐，所以通過編解碼器的配置，就能夠達到相對優秀的視頻效果呈現，並且節省帶寬。
在雲棲大會視頻多媒體分論壇上，阿裏巴巴高級專家江文斐也表示：“我們沿著人眼視覺模型這條路接著往下走，省下來更多人眼看不到的信息，減少帶寬浪費，於是，我們有了窄帶高清2.0”
窄帶高清2.0主觀及客觀測評結果
早在窄帶高清2.0在正式發布之前，阿裏雲進行了一係列測評，具體形式是邀請30位測評者對不同編碼器和碼率情況下的視頻進行主觀打分，下圖是測評結果。
左圖是1080P編碼的RD曲線，橫軸是碼率，縱軸是主觀評分，大體規律是碼率越高，質量越好，主觀評分越高。我們可以看出，H.264窄帶高清2.0在高碼率情況下，比H.265表現要好，在低碼率情況下，比H.265弱，這兩者互有優劣。可以預想，H.265窄帶高清2.0應該是和下一代的標準互有優劣的。所以，窄帶高清2.0技術，可以提前進入下一代標準，突破了現有轉碼能力的上限。
換一個維度，右圖是跨清晰度的RD曲線，我們來看看在不同分辨率上窄帶高清的表現如何。橫軸每個點代表不同分辨率，縱軸還是主觀評分。同樣是1080P，窄帶高清2.0主觀評分要優於H.264。從橫線上對比看，H.264窄帶高清2.0的720P和普通H.265的1080P的質量水平相當。所以窄帶高清2.0，也可以超越分辨率觀感上限，低分辨率的情況下體驗高清視覺效果。
同時，除了人眼打分的主觀測評外，阿裏視頻雲也做了一些客觀的評測，方法是用 WMAF跑了所有視頻質量，如下圖，得出了和主觀測評高度一致的結論，也證明了這個結論的可信度。
視覺敏感度模型（HVS Sensitivity Model）淺析
上文提到，窄帶高清背後的視覺敏感度模型非常重要，那這個模型是如何建立起來的呢？首先，我們需要關注這三點：
人眼容易忽視什麼？
人眼有聚焦區域，當然也有脫焦區域。脫焦區域就是人眼比較容易忽略的、非敏感的區域，我們可以把這塊的處理省掉。除此之外，我們也可以去掉一些沒有聚集效應的小細節，以此省掉帶寬。人眼關注什麼？
除了人眼聚焦的區域外，人眼還關注規則的紋理，這是我們一定要保護的區域，做一些調整優化，讓它更加突出，使畫麵更有張力。人眼厭惡什麼？
毛刺、馬賽克等模煳的地方，持續的閃動，一定是人眼主觀厭惡的內容。將這些細節處理得更平緩、清晰，能提升畫麵整體觀感。
窄帶高清2.0實戰
我們先來看窄帶高清在優酷中的一些應用，以視頻網站B上的720P片源為例，優酷用540P的效果可以實現相當的效果，碼率則節省40%以上。
( 本截圖隻做舉例展示使用，版權歸版權方所有 )
在遊戲直播的場景中，畫麵的處理相對比較複雜。左圖是1080P 2.9Mbps的視頻截圖效果。使用了窄帶高清2.0後，分辨率為720P的視頻截圖中，可以明顯看出畫麵中的鋸齒變得圓潤，馬賽克變得清晰了。這個案例可以說明，在2.9Mbps的碼率下，窄帶高清可以匹配最合適的分辨率，並且實現更優的觀看體驗。
( 本截圖隻做舉例展示使用，版權歸版權方所有 )
在秀場直播場景中，窄帶高清2.0可以有效節省帶寬。左邊是1.2Mbps的片源。右邊是600K的處理結果。兩相比較，頭發更清晰，並且附帶美顏效果。
( 本截圖隻做舉例展示使用，版權歸版權方所有 )
當然，除了窄帶高清技術之外，阿裏視頻雲也擁有眾多行業領先技術，目前已經是國內視頻服務體量最大的雲計算公司。江文斐在雲棲大會上提到：“從阿裏視頻雲誕生以來，我們一直在致力於用自身的技術，去創造一些行業裏獨有的東西。我們想通過阿裏集團多年的技術沉澱，構建不一樣的視頻雲服務，讓客戶也變得與眾不同。”
最後更新：2017-10-19 10:03:43