770
英雄聯盟
深度學習助力，Get《英雄聯盟》全部精彩擊殺！
關於《英雄聯盟》全球總決賽正如火如荼展開，賽事視頻僅在騰訊視頻的點播量已經超過 1 個億，電子競技正和真正的體育賽事一樣，被人們放在一個平麵上進行討論。
當前的時代，幾乎可以說是全民電競的時代，電競的發展不僅僅是遊戲行業本身的發展，更是衍生出了一大波周邊的新興行業，帶動了整個產業鏈的發展，整個市場估值近千億。而電競直播就是伴隨著電子競技發展起來的。
與此同時，電競直播過程中發生的問題也被無限放大，其中最讓人頭疼的就是，直播時沒有第一時間看到精彩的遊戲時刻。在直播過程中出現了「一血」，觀眾卻沒有看到這一事件場景，因為鏡頭可能在其他戰隊人員處，這樣讓直播的熱度直線降低。
其中原因是我們不能每時每刻都能預測到亮點事件，也就是精彩的團戰時刻。那麼在直播過程中對遊戲精彩事件檢測和亮點事件的預測，能否讓問題迎刃而解？
今天 NewTech 觀察圈特邀作者郭誌強就用《英雄聯盟》舉例，看看如何用深度學習來解決這一問題。
注：下文有很多細節沒有具體描述，有興趣的朋友可以自己去進一步去挖掘，去學習。
事件檢測
在 LOL 遊戲中，一些重要的事件，例如某人的殺戮，文本消息呈現在屏幕上，如圖 1a 所示。
通過認識到這個信息和聯想它與相應的時間戳。圖 2 顯示了遊戲所有生成文本的接口。這樣的演示使用戶能夠快速掌握遊戲的進度，並能使遊戲視頻的訪問變得更重要。
圖 2 文本生成接口
圖 1 主要顯示了事件檢測的整個流程圖。對於每個視頻幀，首先應用 Sobel 邊緣探測器提取邊緣(圖 1b)，並進行二值化以過濾出弱邊緣(圖1c )。通過形態學操作，包括擴張和侵蝕(圖 1d )，更多噪聲邊緣像素被過濾掉，連接邊緣像素的最小Bounding-Box被檢測到。太小的 Bounding-Box 最後被丟棄(圖1e)。
圖 1 事件檢測的整個流程圖
檢測到的文本區域通常有混亂的背景，這就會阻礙準確文字識別。圖 3 顯示了檢測到的區域樣本。最終使用了 Tesseract OCR package 進行微調，降閾值設置為 0.6。為了抵抗噪音，在持續時間內收集匹配結果並確定以多數票通過的事件。
在模型中設置了一個識別文字的集合 W=，與預先設置的句子對比，預先句子如表所示：
其中，W 組成的 Bounding-Box 被表示為 i，如果 i=arg max_i |W∩Si|，其中 |·| 表示輸入單詞的個數。如果識別的 Bounding-Box 裏的文字與任何 Si 都不匹配，這個 Bounding-Box 被視為噪音並丟棄。
精彩事件預測
據估計，2014 年 Twitch 平均消耗了 1 Tbps 帶寬 ，平均每月花費 1000 萬美元。因此，如何在不犧牲用戶體驗的情況下保存帶寬是非常重要的。為了解決這個問題，流媒體平台的最佳策略之一是動態地調整流媒體的比特率，這樣可以降低傳輸帶寬和觀眾觀看的質量可以得到保護。
*應用了遺傳算法，利用了交叉操作和相對應的後期處理。
為了預測一個精彩事件，一個簡單的方法是假設在一個局部區域精彩事件示的發生概率是相同的。局部平均概率在第 t 秒的計算如下：
mt=αht+（1-α）mt-1
其中，ht 表示精彩事件在第 t 秒的概率，通過 SVM 模型給出概率值。α 是一個平滑常數，用來平衡目前發生的ht和之前平滑值 mt-1。
上述方法假設數據是沒有趨勢。然而，更多的一些視覺線索，比如遊戲玩家聚集在一起時，會出現一個精彩事件。因此，采用布朗的線性指數平滑方法，更有效捕獲時變趨勢，以預測精彩事件發生的概率。設置m'為平滑係數：
m't=αht+（1-α）m't-1
再設置 m'' 為雙平滑係數，m''t=αht+（1-α）m''t-1。在 (t + k) 秒中出現精彩事件的概率被估計為：
ht+q=Lt+kTt
其中，Lt=2m't—m''t-1 表示在第 t 秒估計水平，且Tt=（α/（1-α））（m't—m''t-1）表示在第 t 秒估計趨勢。通過共同考慮估計的水平和趨勢，估計精彩事件發生的概率是在 q 秒鍾後。
評估
收集了 2014 年 LOL 大獎賽的 24 場比賽數據（比賽時間並不關鍵）。
事件檢測結果：
可視化：
該結果對應了表中的S7；
該結果對應了表中的S8；
該結果對應了表中的S5；
精彩事件預測結果：
不同大小窗口和不同視頻長度檢測的結果比較。
總結
事件檢測：當事件發生時指定的消息在重要遊戲時顯示在屏幕上。通過檢測和識別顯示的文本來檢測事件，然後構造一個索引連接遊戲視頻的事件和時間戳。因此，自動文本廣播可以作為事件檢測的副產品實現並可用於方便快捷的訪問。
精彩事件發現：重要事件，顯著的視覺效果，以及觀看者的共同考慮去檢測事件的重點。兩個突出的檢測方法提出：基於喚醒模型的心理生理方法和基於支持向量機的數據驅動方法。遊戲的精彩事件，比如由專業記者編輯的一個剪切，因此可以自動生成以促進高效的瀏覽。為了進一步提高重點精彩事件檢測，找到了每個候選的最佳子分段，並將其作為一個優化問題通過遺傳算法去解決。
重點精彩事件預測：從流媒體的角度來看，如果根據視頻內容的重要性動態調流媒體比特率，則可以更有效地利用網絡帶寬。基於特征的特性和精彩事件的建模，預測在接下來的幾秒鍾內是否會有亮點，以便流媒體服務器可以相應地調整其流設置。
最後更新：2017-10-24 12:31:25