551
小米電視
小米內部工程師揭秘PatchWall，這才是小米電視的秘密武器
2016年9月27日，小米發布了全球首款人工智能電視——小米電視3s係列，同時麵世的還有小米第2代智能電視係統“PatchWall 拚圖牆”。在發布會上，小米公司聯合創始人、小米電視負責人王川難掩激動：“我們從一開始就在致力研發出一台真正懂內容、懂你的人工智能電視係統，今天，我們做到了。”隨後，“懂內容更懂你”的PatchWall在整個智能電視行業所向披靡， 包攬了“2016年度電視操作係統”、“2017中國數字電視盛典人工智能應用獎”、“人工智能應用獎”等多項大獎。
那麼，PatchWall這樣一款革命性的電視係統是如何在小米內部誕生的？PatchWall推出一年後，該項目的技術負責人王棟發文，講述了背後一些不為人知的故事。
寫在PatchWall一周年
今天，有位資深米粉問“PatchWall一周年生日，你們有慶祝活動嗎？” 突然意識到對我們的米粉來說，PatchWall已經是他們生活的一部分。但是節前團隊太忙，沒有時間去策劃慶祝活動。想了想，還是寫一篇文章吧，算是給米粉的PatchWall生日禮物，講一些不為人知的背後小故事。
PatchWall一周年
去年的今天，小米發布了小米的第二代智能電視係統「PatchWall拚圖牆」，采用雜誌式排版、無限翻滾瀑布流的花式精準內容推薦，懂內容更懂你，結合小米大腦的前沿技術，全速擁抱人工智能，是小米首款人工智能電視係統。
一年來，借助小米大腦，PatchWall從深度內容理解和人工智能精準推薦開始，逐步加入了更多人工智能的功能，人工智能語音、智能搜索、人臉識別... 愛學習的PatchWall不斷在進步，小米大腦越聰明，PatchWall也越聰明，陸續學會了很多技能。比如，聽你的話去找電影，你可以說“我想要看關於騎行的電影“，“我想看美國的科幻電影，不要驚悚的，要斯皮爾伯格導演的”，“我想看關於會說話的動物的電影”；再比如，查天氣，查股價，購物，玩遊戲...；為了廣大兒童用戶，還學會了兒童模式，變身育兒專家 …
借助小米大腦的深度語義理解，PatchWall學會了聽你的話
借助深度內容理解，更懂你的話
借助小米大腦的水滴平台，PatchWall學到的技能會越來越多，為此，我們專門為他搭建了Skill Store，讓大家可以快速了解他的學習成果。
這一年還要特別感謝背後的米粉。PatchWall的迭代速度非常快，甚至有過一周幾更，榮譽內測群的小夥伴們周而複始不辭辛苦地給我們找BUG、提建議、匯總問題，幫我們從內測群和論壇收集各種問題並整理成內測反饋文檔，充當小米的誌願者客服幫其他用戶解答問題，甚至在我們犯了錯誤的時候包容我們、為我們辯護。隻有這時，你才能深刻體會到阿黎《參與感》裏說的“用戶模式大於一切工程模式”的真正含義。所以，誰是最可愛的人？在小米，我們認為米粉是最可愛的人。
當然，PatchWall被稱為“懂內容更懂你”，這並不隻是一句口號，我們幾年前就開始為這個目標努力，這需要先從我們對內容的認知過程開始。
內容是有深度的
從2013年我們就開始構建圖書和電影的推薦係統，當然也借鑒了之前業界很多成功的解決方案，最著名的當屬亞馬遜2003年公布的著名技術報告“Amazon.com Recommendations: Item-to-Item Collaborative Filtering”。但在構建過程中我們發現我們麵對的問題和亞馬遜的問題並不完全相同，差別之處主要在內容的深度上。
對於商品類內容來說，比如一件衣服，內容本身比較簡單，用戶感知和消費的過程也是比較直接的，我們稱之為淺層內容 (Shallow Content)。比如，衣服好不好看或合不合身，用戶的感受是很直接的。
對於創作類內容來說，比如一部電影，內容本身是層次的，而且表達手段多種多樣，用戶的感知和消費過程也是比較複雜的，我們稱之為深度內容 (Deep Content)。比如紅樓夢這本書，不同人眼中有不同的紅樓夢。再比如大話西遊這部電影，可以說是關於愛情，關於理想，關於修行，甚至是關於救世的。同一部作品以不同角度、不同方式甚至不同時間去欣賞往往展示出不同的內涵，恰如一千多年前蘇軾詩中所說的“橫看成嶺側成峰，遠近高低各不同”。
解構深度內容
關於深度內容，2013年NIPS上就有過一篇關於音樂推薦的論文“Deep content-based music recommendation”，通過深度人工神經網絡從音頻信號種構建多層次特征來幫助音樂推薦。Spotify在2014年對此方法進行了實驗: Recommending music on Spotify with deep learning。所以，這個想法並不新鮮，關鍵是如果把它落地並產品化。
深度內容如此複雜，所以對深度內容的理解也是很有挑戰的。為了更好的刻畫深度內容，我們把深度內容解構為8萬個維度，每個維度我們稱為一個微標簽，每個微標簽描述了深度內容的一個層麵，或者說是一個要素。
微標簽也是有層次的，比如，有關於主題的，有關於角色身份的，有關於情緒的，有關於背景年代的，有關於拍攝手法的。更重要的，隨著對內容理解的不斷深入，微標簽的數量也在不斷增長。
基於微標簽體係，我們可以實現更精準且更有趣的推薦係統。我們發現推薦理由對於深度內容的推薦是非常重要的，而從內容的不同層麵會產生不同的推薦理由。微標簽可以通過一定的算法自動組合生成各種有趣的推薦理由。每個推薦理由我們稱為一個facet，就像鑽石的一個切麵一樣，可以透視出內容的不同視角，比如，主角一開始就死了的電影， 男主角擁有超能力的電影，有末日情結的電影，文藝青年必修的電影。推薦理由可以讓深度內容的以更豐富的形式展現出來，構成了PatchWall延綿不絕的推薦流。
懂內容所以更懂你
基於對深度內容的解構，我們對用戶的理解也更進一步，甚至比用戶自己更了解自己的觀影口味。你可能不知道自己喜歡的電影很多都是超自然恐怖片，或者是角色充滿女性魅力的電影，借助這些深度的內容標簽，可以發現用戶喜歡的影片之間有趣的關聯，幫助用戶找到自己潛在喜歡的內容。
從實驗室原型開始
2014年6月我們內部啟動了一個代號為XMDb的項目，沒錯，就是Xiaomi Movie Database。從名字也能看出，我們希望借鑒IMDb的想法，構建一個電影的知識庫，起初隻是幫助解決我們在內容聚合上遇到的數據質量問題，但後來逐步意識到要解構深度內容，我們需要構建一個麵向多種內容類型的知識圖譜。
眾所周知，知識圖譜構建是一個費時費力的過程，需要大量領域專家的人工。成本控製和ROI是決定知識圖譜項目能否成功的核心要素，所以，必須找到提高杠杆率的方法。為此，我們的構建過程是半自動和迭代的，首先機器整合大量的數據，借助算法進行自動處理後再由人進行精細加工，機器再利用人加工過的知識去優化自動處理過程，如此不停迭代進化，從而保證人力成本的收斂，甚至很長一段時間內，其實隻有一個全職的內容專家。我們也很早就嚐試了深度學習技術，因為它非常適合用來理解多層次的深度內容（至少代替部分人力），在我們構建知識圖譜的過程中，深度學習被用來構造更好的特征以產生更多的微標簽維度。
經過快半年的迭代，知識圖譜已經足夠豐富，過程中經曆了無數次和孫小戈同學頭腦風(y)暴(y)到high的夜晚，就像現在我兒子描繪他夢寐以求但其實並不存在的機器人玩具一樣，總覺得要做點什麼出來。直到2014年底前的兩周，好像是12月22日，一個確實比較2的周一，經曆了一個找很久也沒找到想看電影的糟糕周末後，突發奇想，為什麼不利用我們的知識圖譜開發一個找電影的服務呢？恰逢新產品開發完成後的冬歇期，立馬開動，日夜兼程。一周後，一款山寨了當時當紅的Palantir公司名字的名為Movie Palantir的原型在公司內網上線。Palantir在指環王中是一個具有強大魔力的水晶球，從這個名字也能看出，這個原型是希望像巫師使用水晶球一樣一句話達成所願（其實後來覺得應該用一個更具中國特色的名字——如意。如意如意，順我心意，快快顯靈）
值得一提的是，這個原型的前端設計其實頗費了一番心思。當時正在看《如何高效學習》這本書，書中提到知識結構就像一份地圖，或者一座城市，在城市中有很多建築物，建築物之間有道路相連，有些建築與城市中的其他建築有上百條路相連，而其他一些建築隻有少數泥濘的小道與外界相通。所以，本想實現一種徒步城市的體驗，一次點擊就如同往前走了一步，轉過了一個街角，眼前的風景就發生了變化，看到了新的感興趣的地點，而這些地點之間又有著微妙的關聯。但限於前端實現的複雜度，最後還是選擇了樸素的實現方式來模擬這種感受
比較酷的一點是，點擊播放按鈕，如果綁定了小米電視和小米盒子，是可以直接投屏播放的
後來的很多個周末，我都是使用Movie Palantir來找到自己想看的電影。但這個原型更重要的作用是引發了一係列關於內容發現和呈現的思考：
甚至創造了一個很奇怪的偽學科——電影解剖學
我發現這個問題其實非常複雜，同時為了發動更多人加入到這個知識圖譜的項目貢獻力量，於是便發起成立了一個“民間”組織——小米電視內容實驗室，並且秉承我米“讓每個人都能享受科技的樂趣”的價值觀，以“讓每個人都能享受內容的樂趣”作為實驗室的使命和口號。
理想很美好，現實很骨感，在隨後的產品化過程中我們發現，受第一代電視係統的設計語言和UI框架能力的限製，雖然嚐試了很多種產品功能，但似乎都不夠理想。
PatchWall揚帆起航
2016年初，小米電視掌舵人王川內部召集了一個“特種部隊”小組，啟動開發第二代小米智能電視係統，隨後命名為PatchWall。PatchWall的核心理念是人工智能驅動+內容優先(Content First)的信息流UI設計，相比一代，設計語言有了更強的表達能力，UI框架也更加靈活，更重要的，有了小米大腦加持，讓原型裏粗糙的實現替換為最前沿的人工智能技術。川總給我們的第一個要求就是實現可無限下拉的瀑布流式的精準內容推薦，那一刻，我知道深度內容的力量借助PatchWall終於可以釋放，但我不知道的是川總正在下一盤更大的棋。
原文作者: 小米電視 查看原文
免責聲明：本文版權歸原作者所有，文中觀點不代表小米社區；如有異議請聯係樓主妥善處理；轉載作品可能在標題或內容上或許有所改動。
最後更新：2017-09-28 17:18:23