674
優酷網
人工智能落地案例：優酷泛內容智能分析平台建設實踐
作者｜蔡龍軍（牧己）
編輯｜小智
伴隨著互聯技術高速發展，內容產業呈噴薄之勢。在這個過程中，大數據、人工智能技術起到了巨大的作用。優酷是國內視頻內容產業的佼佼者，在這個大勢麵前，他們是怎麼做的？麵向未來的泛內容智能分析平台，如何建設？
注：本文整理自優酷高級總監，阿裏資深技術專家蔡龍軍（牧己）在 QCon 2017 上海站上的演講，原題為：《麵向未來的泛內容智能分析平台建設實踐》。
內容發展趨勢總結
這一頁 PPT 上麵是現在互聯網產業最具有代表性的一些火爆內容，第一個《大軍師司馬懿之軍師聯盟》，我們做了一下受眾分析，發現這個片子的主要受眾是男性高知群體。我們分析了一下原因，首先《三國演義》男性喜歡看，還有一個原因就是這個曆史正劇，對女性觀眾而言，顏色服飾容易臉盲。第二部片子，《白夜追凶》，近年來刑偵題材裏麵一部非常好的片子。
接下來三部片子，《十裏春風不如你》、《三生三世十裏桃花》、《微微一笑很傾城》，代表了中國 7 億主流觀眾人群的觀看偏好，價值都在一百到兩百億流量。剩下這兩部片子不重點介紹了，一個叫《人民的名義》，這個片子應該都看過，一個動作片，放在最下麵的這個《戰狼 2》，中國電影票房的新記錄保持者，57 億票房。回歸到今天的話題，類型化發展趨勢對於整個中國互聯網產業帶來何種影響呢？
行業娛樂化
總結起來，整個產業的發展趨勢是：互聯網產業在娛樂化進程中，內容類型化提供了大量豐富的精品內容，這些精品化的內容背後，大量進入很多垂類的應用使用，給整個產業帶來了一個娛樂化很有力的推動作用。舉幾個例子，《三生三世》來了之後，大量的“生祭東皇鍾”、“渡劫飛升上神”進入垂類應用，而到了盜墓筆記的時候，“粽子”、“黑驢蹄子”比比皆是，更有意思的是黑豬蹄子上淘寶還有的賣，這也算得上一種文娛產業的衍生品了；無論從各個端口，手機，大屏，還是從各個垂直應用，都在大量地傳播這些內容。整個行業娛樂化對內容產業本身是一個什麼樣的作用呢？
產業形式多樣化
一句話來總結，行業娛樂化的進程推進了內容產業形式的多樣化，比如說《三生三世》一出來，電視劇有了，電影有了，還有那些衍生品有了，還有那些好多年大家沒看過的文學作品又挖出來看了一遍；這種形式多樣化趨勢和別的國家發展進程還是有區別的，某種程度上來講這些形式多樣化的內容前所未有。
好萊塢發展那麼多年，在建設它的整個內容的發行的垂直體係，它從文學的 IP，慢慢演化成影視，電視劇，然後再到後麵的衍生品、主題公園花了好多年，我們今天一下子就都湧過來了。今天對我們來說最大的挑戰，第一內容類型化，走精品化的路線；第二進入垂直領域推動整個行業娛樂化發展，反過來這些娛樂化的內容形式相互作用相互影響，這些相互作用的因素對創作內核又發生了一定的影響，對於整個產業製造內核都在發生改變。
文娛泛內容 AI 平台建設思路
基於上麵的挑戰，我們想到了建設文娛泛內容 AI 平台的想法，文娛泛內容 AI 平台的基本建設思路是建立一套麵向未來的三維立體分析平台，去覆蓋整個內容生命周期的各個環節，三維立體分析平台包括三個軸，x 軸，y 軸，z 軸。X 軸是之前主要介紹的部分，要理解內容，需要知道內容的形式、特點，結合內容本身的生命周期，然後建立這個數據體係，對於人工智能現在發展現狀而言，數據作為一種先驗的知識可以提前進入。
第二個維度就是在人工智能很蓬勃之下，我們以 Y 軸建立一個人工智能學習、挖掘學習平台 DeepDriver，以 DeepDriver 為基礎設施，建立它的上層的模型，基於這樣的 Model 來去支撐在 Z 軸上在內容整個發展生命周期中涉及到的投資、采購、營銷、運營、商業化等，以及後麵的更多的業務形式和形態。今天我們沒辦法用一個人工智能一下子解決一個完美的問題，但是我們可以通過融合多種技術和數據，提供一個更高層麵的解決方案。
深度學習平台建設介紹
下麵介紹一下我們在過去的幾年當中，建立的這個自主研發的這個深度學習平台 DeepDriver。我們把它分成三層，第一個，最下麵那層叫模型加速層，也就是我們如何用硬件的計算資源，提供上麵的計算能力；第二層叫基礎模型層，第三層叫複雜模型層。
下麵一一來介紹，用計算資源來支撐上麵的計算能力，經典的就是兩種做法，一種集中式的用芯片，用 GPU。第二種方式是，我們用分布式的方式，分布式方式可以基於 Spark/Hadoop 的架構，也可以基於 Prarameter Server 架構。基於分布式架構又包括兩種形式，一種叫數據分布式，一種叫模型分布式，由此構成我們底層的一個模型加速層。
第二層是技術模型層，這塊就是目前主流的 ANN、DNN、CNN、RNN，LSTM，然後還有一些 W2V 等等。最上麵一層叫做複雜模型層，是下麵這個基礎模型層的一些變種，例如 Resnet 等，或者其他模型的拚接，例如 Seq2Seq 模型就是兩個 LSTM 結合的。以及還有一些其他的更複雜的模型，都統一放在這一層。
再介紹下兩個小例子，以對 DeepDriver 有個更介紹清楚。從第一行代碼開始寫，第一篇論文開始讀，開發了一個純 Java 的深度學習平台， Java 工程師想做深度學習，DeepDriver 是個不錯的選擇，在編寫過程中很少使用第三方，它整個代碼也隻有幾萬行，跑起來也比較輕量級。
我們有同事跟 TensorFlow 做一個對比，用的是後麵會介紹有一個基於 CNN 的情感分析的網絡，用 DeepDriver 跑的硬件的需求要比 TensorFlow 低。另外，DeepDriver 要嚐試把這個行業先進的一些算法模型集成過來，應用到我們的產業進行落地，所以它目標不是要做整個行業人工智能基礎設施，我們希望把最先進的一些模型快速落地，基於這兩個思路。有兩個例子，一個例子是典型的 NLP 生成模型的例子，我們把客服的數據灌進去，然後學，學一段時間之後基本上能做到今天這個樣子:
訓練後的模型能夠根據你問問題的整個過程進行應答，這是去年開始流行的生成式模型。這個模型背後實現是 Seq2Seq 模型，用兩個 LSTM 進行實現，左邊的 LSTM 做 Encoder，右邊的 LSTM 做 Decoder，中間用 Attention Model 進行整合。
第二個例子，我想介紹一下 DNC 模型，神經網絡計算機，它的前身叫 NTM，叫神經網絡圖靈機，是 DeepMind 公司的另外一個作品， 16 年 DeepMind 的 CEO 認為他們公司兩個最了不起的一個成果，第一個是阿爾法狗，大家都知道，第二個是 DNC，這個是 16 年 10 月份的一篇論文發在 Nature 上研究成果，很基礎的一個元件，基礎架構就是嚐試建立一個計算機，包括內存、控製器，以及讀頭和寫頭，整個過程是用神經網絡去實現的，通過這種方式去達到整個過程都是可學習的。
下麵例子是 Babi Test 的例子“小明去上學，小明球場踢足球，小明回教室，小明拿著作業去老師辦公室”問“小明在哪裏，球在哪裏”，回答這樣的問題，今天用這個模型去學的能把它學的非常準確，答案都能答對，基於這兩個例子來讓大家對這個平台有些了解，大家有感興趣的我們可以多多交流，希望更多的人能去學習應用這個實行。
投資采買分析能力建設
這部分，介紹下基於泛內容 AI 平台做的投資采購，和營銷運營分析功能。投資采購這塊，內容采買之前都會做一下流量預測，用深度學習去做流量預測這個事情，能做到行業最好的預測，準確率能達到超過 80% 以上，例如《三生三世》，《軍師聯盟》這幾個片子準確率都還不錯。
常規的學習模型和思路，不管是深度神經網絡還是簡單的線性模型，都是基於已有的數據，然後用這個模型去逼近要預測的事情的事實和真相。今天在用深度學習或者別的模型去做這些事情的時候，常逼近真相的過程當中，很容易把一些不是那麼本質的特征抓出來，結果模型預測的準確率看起來很高，但實際上已經偏離了，機器學習力叫過擬合或泛化能力不行，所以在這種情況下，我們是覺得這個直接走這個思路是比較難走通的。
理論上模型能做到，跟實踐中能找到這個模型做到是兩碼事。我們換了個思路嚐試了一下，預測這個事為什麼這麼困難？舉三個例子，第一個例子是股票的例子，我們說這個股票是有代表性的，一家公司的股票往上走，往下行，它都有一個發展過程，發展過程會有一些符合自己的發展規律，有一些符合自己的生命周期。第二個，很多待預測個體間具有競爭的博弈關係，第三個，很多待預測事物內部由很多多變的因素構成。
所以我們嚐試把預測這個問題通過分層來解決，通過分層模型對各個主要特點分別進行建模，來降低單個模型一下達到預測的難度。分層解決這個思路就是把數據先用神經網絡，自然語言模型做 Embedding，Embedding 後變成可量化的數據，然後是通過那幾部分進行建模，對於內部因素，我們用一個 DNN 去逼近它；對於剛才介紹的具有外部競爭的博弈的關係的競爭對象，用了一個推理 (RelationNet) 網絡，推理網絡是 17 年四五月份最新的一個成果，然後在圖像裏麵應用的，我們拿過來做競爭關係使用；然後還有一個經典模型 LSTM，通過 LSTM 對整個生命周期進行建模；對於不能抓住問題本質這塊，我們通過 MTL 進行建模，MTL 可以在同時預測多任務過程中進行多維度預測，在這個過程中通過不同的任務進行預測，從而增加了噪音提高預測的精準度。
營銷運營分析能力建設
舉一個例子，白夜追凶這個劇。首先看一下白夜追凶大家喜歡什麼，我們把這個數據拉出來一看，然後我們把它整個拆成劇情、整體、演員、導演、特效、音效等多個主題，用戶到底喜歡這個劇的哪方麵。根據數據發現用戶喜歡這個劇的劇情緊湊、環環相扣，喜歡這個演員雙胞胎無縫切換、演技好，根據分析的結果，我們在營銷推廣上就不用特別的擔心特效其他負麵影響，所以給整個團隊的一個信心，大家更關心的是哥哥弟弟這個片子演的角色，裏麵的一些劇情推理的東西，我們就可以在營銷活動、物料裏，持續對用戶感興趣的這些地方進行一些調整和支持這樣的一些工作。
這個背後怎麼做？很簡單，自然語言模型的東西，我們今天盡量想把它簡化，把它劃分成三個階段，三個部分，第一部分，底層的一個基礎，分詞，詞性標注，命名識別，以及這個語法的一些東西。第二部分，我們說是通用模型，通用模型 CNN，LSTM 這些東西。
基於這樣通用模型跟底層的這些模型，上麵我們有一些應用的模型，我們要解決情感分類，不相關，區屬等等，我們要做很多這樣的應用。
我們以文本分類為例子，用 CDN 去做情感分類效果挺好，先介紹一下做法: 先對文本進行分詞，然後再對每個詞做 Embedding，從而使得這些詞就完成了向量化，然後再把這些詞按句子裏出現順序組合到一起變成一個矩陣，數字化矩陣就像一張圖，再用一個 CNN 去卷積，卷積之後再對內容進行一個 Pooling 的過程，對 Pooling 完的結果再做一個全連接，全連接完了就預測分類，這種文本分類，可以用在情感分類，用戶關心的劇情、特效、演員等，應用特別廣。
之前的模型都是基於詞典的處理方式，根據詞的極性和否定詞等來判斷情感。互聯網用戶，經常說的一句話叫做，“大家都說這個片子很好，我就嗬嗬了”，就是裏麵一個負向詞都沒有，常規的模型是解決不了的，因為這裏麵的“嗬嗬”詞性根據上下文也發生了一些改變，所以用這種方式之後，它會把這個前後這種依賴關係給選出來，這種方式我們做了一下，這個準確率能做到 88 分。
總 * 結
總結一下，今天總共給大家介紹了幾部分，第一部分介紹了整個行業，文娛產業的內容發展的趨勢類型化，類型化推動了整個產業娛樂化，產業娛樂化進程反過來作用，使的內容產業的生產方式、運作方式、營銷方式都發生了一些改變，那對更好把握這些層麵提出了很多挑戰，我們建了今天的文娛泛內容 AI 平台，基於這樣一個文娛泛內容 AI 平台，我們重點介紹了一下建立自主研發的深度學習平台 DeepDrvier，然後介紹了投資、營銷、運營領域做了一些人工智能實踐。
最後展望一下，今天整個產業技術領域都有非常快速的發展，這些發展趨勢對整個產業是個巨大的推動力，每一次人工智能技術革命的發展，都會讓模型更準確，隻要結合領域的痛點，就可以在有限的技術條件下，把這個產業推向一個更好的發展！謝謝大家。今天我的匯報就到這。
作者介紹
蔡龍軍（牧己），碩士畢業於北京交通大學，曾在 IBM 等多家知名企業工作，主導研發了開源深度學習平台 DeepDriver，並基於該平台在圖像、NLP，以及對話、預測等領域都有深入的應用。主導研發了行業領先的大數據內容生命周期三維立體分析平台，是國內外領先的視頻行業的智能大數據驅動運營分析應用，並由此受邀在中國計算機學會大數據論壇等學術交流會進行了成果分享，受到廣泛好評和反響；也曾主導企業的國家 863 人工智能基礎平台項目的申請，並完成了企業內部的人工智能體係規劃。對大數據和人工智能技術有著信仰般的熱情，歡迎多多溝通、交流。
今日薦文
最後更新：2017-10-27 08:58:29