637
技術社區[雲棲]
天貓黑科技秘密全公開！人臉識別、AR交互、3D物體雲識別...
2017年“天貓618理想生活狂歡節”已經結束，不管是線上的會場還是線下的體驗館都給大家留下了很深刻的印象：天眼AR、跨屏互動、虛擬魔鏡、3D交互、全景漫遊等黑科技，讓今年的618前所未有地熱鬧紛呈。相信很多小夥伴對這些體驗背後的技術體係比較感興趣。此次將為大家揭開神秘麵紗，介紹一下618這些黑科技出自誰的手，又是如何在大促的快節奏中高質、高效生產出來的。
天貓在2014年雙11開始啟動互動開放，目的是讓消費者能從狂歡城進入品牌店鋪玩小遊戲獲取權益，為品牌商帶來進店流量的同時也讓消費者在進店的時候更加有趣。所以天貓聯合商家事業部為雙11進行ISV的招募，以滿足店鋪與消費者的多樣性選擇。
ISV入駐與代碼托管底層還是基於聚石塔的開放平台，由天貓互動平台根據互動場景以及手機天貓、手機淘寶、PC等環境特性，提供統一的TidaSDK（Tmall&Taobao ISV Development API）賦能ISV。
TidaSDK包含的接口分為兩大類，包括傳感器、基礎UI等的終端能力接口以及抽獎、加購等業務能力接口，提供能力的同時保障穩定性與安全性。ISV開發好應用之後發布到服務市場，商家根據自身業務情況進行選擇和訂購並通過店鋪裝修等渠道進行布點。
隨著互動業務的不斷發展，我們發現天貓行業與品牌有兩大趨勢需要重點關注：
- 對定製化互動需求更加強烈，雖然在服務市場中訂購的應用通過一些可配置項能達到一定的個性化訴求，但對於很多品牌來說還是不夠的，品牌需要更多獨特的創意以及一對一的服務。
- 不僅在活動營銷上有需求，同時對日常的消費者體驗的提升也有強烈的需求，需要我們提供更多體驗升級的技術能力輸出，如3D體驗。
基於這兩點，2016年天貓技術聯合阿裏巴巴UED團隊主辦了第一屆“喵葩互動創意大賽”，選拔符合天貓業務升級要求的優秀ISV組成“天貓互動聯盟”（hudong.tmall.com），進行體係化的技術培訓、係統化的訂單推薦、靈活的驗收與結算方式等服務，目前已有數十家服務商成為天貓互動聯盟正式成員。獲得認證後的互動聯盟服務商具備更可靠的技術能力以及業務能力，並熟悉阿裏生態和開放平台的環境，將為業務方帶來更高效的定製服務。
半年來，互動聯盟為天貓超級品牌日、粉絲趴、阿裏魚、618、天貓各行業等眾多業務方盡百個項目的上線，同時多個聯盟服務商也因此不斷拓展市場，實現了很好的盈利模式。
此外，天貓在2017年初推出了“海螺碼頭平台”（hailuo.alibaba.com），為消費者交互體驗升級打通整體鏈路，提供從模型素材生產到場景輸出一站式服務（目前以3D&AR為主），建立天貓品牌與互動聯盟的連接，天貓小二、品牌商家、互動聯盟成員都可以進入海螺碼頭進行內容的創作以及發布。
目前，海螺碼頭平台包括了場景創作、模型素材、定製服務三大核心模塊：
- 場景創作整合了AR掃、家裝AR購、虛擬試妝台、3D汽車等內容的創作入口，提供豐富的配置後台，連接模型素材與定製服務中生產的內容，並與招商係統、會場、店鋪、商品詳情等鏈路打通；
- 模型素材處理模塊提供多種模型文件的上傳、校驗、格式轉化、壓縮、商品與場景的映射等處理能力，降低人工溝通與處理的成本；
- 定製服務提供互動聯盟的自動化模型生成、人工模型製作、交互頁麵開發、互動創意策劃、互動營銷定製等等服務，並能在線跟蹤訂單的開發情況以及驗收。
4月份上線以來，海螺碼頭已經覆蓋近萬個品牌商家以及處理了大量的模型素材，不斷完善的技術體係與生產鏈路為業務方帶來巨大的商業價值。
天貓互動聯盟與海螺碼頭的開放生態繼續在TidaSDK的基礎上進行升級，在618之前就已經開放了基於Marker-based圖像識別的AR接口，廣泛應用於消費者掃Logo、海報、電視大屏、商品包裝等場景中。
這次618，天貓技術為互動聯盟開放了更為領先與強大的雲識別接口以及試妝台人臉識別，其中基於深度學習的3D物體雲識別以及客戶端的SLAM定位技術，是“天眼”效果的基石，通過與webview中web3d渲染層的同步，讓消費者不再隻能掃平麵的東西，現在可以通過攝像頭和任意物體進行交互，真正做到了現實與虛擬的強融合。
如下麵視頻所示，消費者可以對著眼前真實的新款洗碗機，在攝像頭中與它交互，非常直觀的了解它的功能細節。這樣消費者在線下的商場就不再需要等待導購員的谘詢了，或者通過線上購買到家安裝後，也可以通過手機天貓對著它實時指導怎麼使用。
很多朋友都知道我們去年開源了支持webgl、cavans、dom等多種渲染模式的Hilo動畫引擎，但隻開源了2D部分，隨著AR和3D業務的發展，3D的渲染訴求也越來越強烈。上文有提到天眼的交互采用的是Web3D體係進行模型的渲染，因為遵循業界標準的底層，有利於互動聯盟的開放生態的持續發展。
但是也存在部分低端手機兼容性與性能的問題，所以我們趕在618之前就已經完成了Hilo3D第一個測試版本的研發，手機天貓與手機淘寶中的webview底層也針對Hilo3D進行了兼容性與性能的優化，我們將在合適的時候對Hilo3D也進行開源，Hilo3D的設計原則是：
沿用Hilo2D的設計風格與開發方式，極簡+易上手
支持glTF模型，提供在線格式轉化器
聚焦在渲染效果、性能、兼容性三方麵，並通過擴展的方式進行工具化建設
現在Hilo3D已經在邀請內測階段，感興趣的朋友可以到https://github.com/hiloteam/Hilo 中提交issue進行申請。
這次天貓618線下體驗館與線上會場新體驗，都是基於以上技術體係進行打造的，為生態中的各角色降低創新業務的落地成本。圍繞著海螺碼頭這個虛擬內容的生產鏈，結合互動聯盟+TidaSDK+Hilo3D的開放能力，我們相信越來越多新體驗的內容將湧現，融合線上線下，為消費者帶來隨時隨地、身臨其境的購物體驗，為品牌商家帶來更加有效的品牌升級服務。
最後更新：2017-06-28 10:31:56