770
人物
深度学习助力，Get《英雄联盟》全部精彩击杀！
关于《英雄联盟》全球总决赛正如火如荼展开，赛事视频仅在腾讯视频的点播量已经超过 1 个亿，电子竞技正和真正的体育赛事一样，被人们放在一个平面上进行讨论。
当前的时代，几乎可以说是全民电竞的时代，电竞的发展不仅仅是游戏行业本身的发展，更是衍生出了一大波周边的新兴行业，带动了整个产业链的发展，整个市场估值近千亿。而电竞直播就是伴随着电子竞技发展起来的。
与此同时，电竞直播过程中发生的问题也被无限放大，其中最让人头疼的就是，直播时没有第一时间看到精彩的游戏时刻。在直播过程中出现了「一血」，观众却没有看到这一事件场景，因为镜头可能在其他战队人员处，这样让直播的热度直线降低。
其中原因是我们不能每时每刻都能预测到亮点事件，也就是精彩的团战时刻。那么在直播过程中对游戏精彩事件检测和亮点事件的预测，能否让问题迎刃而解？
今天 NewTech 观察圈特邀作者郭志强就用《英雄联盟》举例，看看如何用深度学习来解决这一问题。
注：下文有很多细节没有具体描述，有兴趣的朋友可以自己去进一步去挖掘，去学习。
事件检测
在 LOL 游戏中，一些重要的事件，例如某人的杀戮，文本消息呈现在屏幕上，如图 1a 所示。
通过认识到这个信息和联想它与相应的时间戳。图 2 显示了游戏所有生成文本的接口。这样的演示使用户能够快速掌握游戏的进度，并能使游戏视频的访问变得更重要。
图 2 文本生成接口
图 1 主要显示了事件检测的整个流程图。对于每个视频帧，首先应用 Sobel 边缘探测器提取边缘(图 1b)，并进行二值化以过滤出弱边缘(图1c )。通过形态学操作，包括扩张和侵蚀(图 1d )，更多噪声边缘像素被过滤掉，连接边缘像素的最小Bounding-Box被检测到。太小的 Bounding-Box 最后被丢弃(图1e)。
图 1 事件检测的整个流程图
检测到的文本区域通常有混乱的背景，这就会阻碍准确文字识别。图 3 显示了检测到的区域样本。最终使用了 Tesseract OCR package 进行微调，降阈值设置为 0.6。为了抵抗噪音，在持续时间内收集匹配结果并确定以多数票通过的事件。
在模型中设置了一个识别文字的集合 W=，与预先设置的句子对比，预先句子如表所示：
其中，W 组成的 Bounding-Box 被表示为 i，如果 i=arg max_i |W∩Si|，其中 |·| 表示输入单词的个数。如果识别的 Bounding-Box 里的文字与任何 Si 都不匹配，这个 Bounding-Box 被视为噪音并丢弃。
精彩事件预测
据估计，2014 年 Twitch 平均消耗了 1 Tbps 带宽 ，平均每月花费 1000 万美元。因此，如何在不牺牲用户体验的情况下保存带宽是非常重要的。为了解决这个问题，流媒体平台的最佳策略之一是动态地调整流媒体的比特率，这样可以降低传输带宽和观众观看的质量可以得到保护。
*应用了遗传算法，利用了交叉操作和相对应的后期处理。
为了预测一个精彩事件，一个简单的方法是假设在一个局部区域精彩事件示的发生概率是相同的。局部平均概率在第 t 秒的计算如下：
mt=αht+（1-α）mt-1
其中，ht 表示精彩事件在第 t 秒的概率，通过 SVM 模型给出概率值。α 是一个平滑常数，用来平衡目前发生的ht和之前平滑值 mt-1。
上述方法假设数据是没有趋势。然而，更多的一些视觉线索，比如游戏玩家聚集在一起时，会出现一个精彩事件。因此，采用布朗的线性指数平滑方法，更有效捕获时变趋势，以预测精彩事件发生的概率。设置m'为平滑系数：
m't=αht+（1-α）m't-1
再设置 m'' 为双平滑系数，m''t=αht+（1-α）m''t-1。在 (t + k) 秒中出现精彩事件的概率被估计为：
ht+q=Lt+kTt
其中，Lt=2m't—m''t-1 表示在第 t 秒估计水平，且Tt=（α/（1-α））（m't—m''t-1）表示在第 t 秒估计趋势。通过共同考虑估计的水平和趋势，估计精彩事件发生的概率是在 q 秒钟后。
评估
收集了 2014 年 LOL 大奖赛的 24 场比赛数据（比赛时间并不关键）。
事件检测结果：
可视化：
该结果对应了表中的S7；
该结果对应了表中的S8；
该结果对应了表中的S5；
精彩事件预测结果：
不同大小窗口和不同视频长度检测的结果比较。
总结
事件检测：当事件发生时指定的消息在重要游戏时显示在屏幕上。通过检测和识别显示的文本来检测事件，然后构造一个索引连接游戏视频的事件和时间戳。因此，自动文本广播可以作为事件检测的副产品实现并可用于方便快捷的访问。
精彩事件发现：重要事件，显着的视觉效果，以及观看者的共同考虑去检测事件的重点。两个突出的检测方法提出：基于唤醒模型的心理生理方法和基于支持向量机的数据驱动方法。游戏的精彩事件，比如由专业记者编辑的一个剪切，因此可以自动生成以促进高效的浏览。为了进一步提高重点精彩事件检测，找到了每个候选的最佳子分段，并将其作为一个优化问题通过遗传算法去解决。
重点精彩事件预测：从流媒体的角度来看，如果根据视频内容的重要性动态调流媒体比特率，则可以更有效地利用网络带宽。基于特征的特性和精彩事件的建模，预测在接下来的几秒钟内是否会有亮点，以便流媒体服务器可以相应地调整其流设置。
最后更新：2017-10-24 12:31:25