645
小米6
京東搜索個性化算法和活動智能推薦係統
京東搜索個性化算法和活動智能推薦係統（全麵解析）京東618智能賣場業務場景file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg我所說的智能賣場，就是把之前是通過人工去排放商品活動會場元素，變成有通過一定算法來進行排序。 這裏我們通過實現了不僅僅是傳統的商品排序，還實現了樓層、活動、品牌、類目、優惠券、以及店鋪各種活動會場的算法排序，根據每個京東用戶的個人興趣，給你展示出為你最感興趣的活動會場，而不是像以往的活動方式一樣，所以仍是千人千麵的一樣的促銷活動。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image004.jpg這裏我給大家展示了一些會場的截圖，通過618的經驗在京東的電腦端的活動會場，首頁等頁麵位子，在重要的區域都實現了，個性化智能賣場的的邏輯概念。 通過PC端口主的會場可以看到，每個大的區域模塊，是一個樓層商品和店鋪，裏麵是同一個大品類的促銷活動，我們實現了，樓層之間的個性化推薦排序，把你最有興趣的樓層商品拍到最合適最上麵位子，比如“手機”就是我們看到的第一樓層，並且在樓層的內部，這些每個圖片加上超鏈接的形式進入分會場，我們叫做“活動”也是我們實現中的個性化的排序中的，我們團隊對每個會場的樓層幾十個活動進行個性排序，最終顯示前一些個的活動。 上麵的中間部分截圖的PC首頁上，使用了個性化排序的品牌模塊。 右邊是手機APP京東的活動618會場上的，整個樓層都和內部的活動也是采用了我們個性化京東規則算法進行排序。 個性化算法和係統框架file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image006.jpg我們技術做京東會場智能化的目的，是看到了會場做了個性化的巨大機會與需求， 從商家角度開始講，隨著京東在各個市場上的拓展和大促期間期望值參加進來的商家越來越多，尤其在京東APP上，在小小的一個廣告位字上展示一些活動上和商品活動上，已經滿足不了商家的需求，而從用戶角度上去分析，這樣的小的區域內，所有可以看到的都一樣的話，那肯定是沒法滿足到所有人需求。 所以我們研發團隊進行架構認為通過對用戶的個性化投入進行精準化，是一個可以大大提高銷售轉化率和滿足用戶需求，達到商家和用戶雙贏的一種方案。 算法框架 另外我們認為，在京東目前大數據範圍上市可以做的起來這個事情得，從計算算法和人工操作對比，算法方案在一下幾個方麵是具備很大的優勢: 1,個性化：我們利用京東大數據積累下麵的數據能分析出一個消費者的個人興趣愛好，從而對其實現精準投放推薦功能。 2，大數據驅動：每天京東都會累計上億的客戶行為大數據，這事利用大數據來源源不斷的驅動算法的關鍵點。 3，內容理解：在部門決策內容排名時，機器可以快速充分的時間分析一個活動內的具體信息，比如裏麵有哪些商品，這些商品都是什麼屬性類別，銷售量如何等，不管人工再有經營，也沒法快速的全麵總結出這個得數據信息。 4，狀態更新：利用技術算法的整體布局會場另外一個好處是隨時可以提供內容的狀態，替換內容，比如商品顯示無貨，會場可以立即知道後通過係統自動化去掉它的展示，排上都是優良的商品，而人工就無法做到這一點，是不可能做到這一點，這樣會造成流量的流失和降低會場的位子質量。 5，減少人工運營成本：采用機器來排，人工就可以解放出來。 算法和人工 不過同時，我們現階段的這次大膽的時間還沒有完全的去除人工的依賴性，也就是我們還是有通過人為的方式進行排布進行選擇模塊的，選品方麵我們沒法排除智能化來。另外我們還需要人為設定和控製一些規則機製，來滿足業務對排序的最高需求。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image008.jpg我們可以通過上麵PPT可以看到整體的算法框架和布局特征體係： 整體上來講，我們的算法模型使用到三個類特征：用戶的畫像，內容的畫像，實時反饋數據的模型。 用戶畫像就是通過我們京東大數據部門上億級別的數據和用戶過去幾個月或者一年內的行為數據進行深入挖掘，打標出的一些客戶屬性，比如年齡等信息。偏好等信息標簽。 內容畫像，係統要對算法排序進行各類元素，我們都會抽象出各自的內容上特征，如品類，性別，等消費屬性。 把以上兩類畫像中的一些標簽類特征做結合，就能計算出交互類特征，從而實現個性化內容匹配。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image010.jpg此外，京東大數據算法中還特別加入了實時的反饋結果來獲取活動期間用戶的內容行為進行快速的應對變化，也就是我們所謂的賽馬等機製體係來進行個性化會場推薦。 在用戶維度，我們實時收集用戶最近幾個小時內的點擊、購買行為，可以實現分鍾級的延遲。 內容維度上，我們也會收集到內容的實時點擊和部分購買行為，點擊行為可以實現分鍾級內的延遲。 這類特征對我們解決數據冷啟，非個性化內容的排序、以及補充我們對內容理解上的不足等問題都起到了非常大的幫助。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image012.jpg京東智能在整體架構框架上，我們和傳統模式的推薦係統比較雷同，可能最大的不同就是一個召回上，我們會根據前端展示的商品樓和模塊的ID，來召回我們對應的資源池內的內容元素。這裏我們需要特別保證的是在選品係統和線上內容緩存之間要做到實時同步，我們通過實時消息通知和定期全量同步兩種機製來保證。 內容同步過來後，我們會有pipeline抽取內容中的特征。 在排序階段，我們設計的排序模型、穿插和業務邏輯對內容進行排序。 在最前麵，為了我們內部實驗的需求，以及和人工對比，我們也有AB分流係統。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image014.jpg在排序測試的模型上，初步為了測試的時候方便，並且由於缺少測試樣本，我們還是采用了，人工調整，參加簡單的線性規則的方式來給內容打分進行區分。 後期當具備一定的流量池之後，我們在部分模板上，如樓層模塊，我們就會通過軟件機器來學習來訓練優良的模型。 相對人工調參，機器學習的模型在部分場景上還是有一定提升的，樓層模塊點擊率可以有50%左右的提升。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image016.jpg 業務層級上，我們有說過算法過濾掉無貨或者下架的內容，重點是平衡每個坑位的價值和信息曝光的比例大小，保證一些冷門的類目也能有很大的曝光機會，並且限製一些特別熱門的類目曝光比例。 我們也對冷淡用戶進行優化，因為在大促時候，尤其是高峰期，大量對得用戶是沒有腥味數據，或是非常的少。我們也做了技術算法的推動，讓有效的用戶喚醒起來形成有用戶行為。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image018.jpg通過邀請的朋友分析，我們可以看到京東也在慢慢跟進友商的腳步，對智能的會場進行很大的改動，這個是一個從沒有到有的過程。我們一起期待這個京東活動效果最大化吧。 通過跟以前的人工對比，我們看到確實得到很大的提升，但是京東也會包吃有人工的方案做對比。並且在大型活動之前，我們要通過一些小型活動進行測試，來熟練我們的算法和結果係統。 其實京東去年就測試過智能推薦會場的概念進行一個測試，那時在年貨節部分的品類可以達到一個百分百提升點擊率的情況。 此外，即使在618期間，我們也是持續有和人工流量的對比，不過算法流量是占絕大部分。 最終結果頁證明了智能賣場的巨大價值，這裏可以以部分數字為例，PC首頁和主會場上的品牌模塊是效果最為顯著的模塊之一，在6/1-6/17日期間，相對人工，日均點擊率提升了138%，UV價值（GMV/UV日均提升超過200%；在App首頁會場入口模塊，在6/18-6/20期間，UV價值最高有100%以上的提升。 京東搜索個性化算法和活動智能推薦係統（全麵解析）京東618智能賣場業務場景file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg我所說的智能賣場，就是把之前是通過人工去排放商品活動會場元素，變成有通過一定算法來進行排序。 這裏我們通過實現了不僅僅是傳統的商品排序，還實現了樓層、活動、品牌、類目、優惠券、以及店鋪各種活動會場的算法排序，根據每個京東用戶的個人興趣，給你展示出為你最感興趣的活動會場，而不是像以往的活動方式一樣，所以仍是千人千麵的一樣的促銷活動。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image004.jpg這裏我給大家展示了一些會場的截圖，通過618的經驗在京東的電腦端的活動會場，首頁等頁麵位子，在重要的區域都實現了，個性化智能賣場的的邏輯概念。 通過PC端口主的會場可以看到，每個大的區域模塊，是一個樓層商品和店鋪，裏麵是同一個大品類的促銷活動，我們實現了，樓層之間的個性化推薦排序，把你最有興趣的樓層商品拍到最合適最上麵位子，比如“手機”就是我們看到的第一樓層，並且在樓層的內部，這些每個圖片加上超鏈接的形式進入分會場，我們叫做“活動”也是我們實現中的個性化的排序中的，我們團隊對每個會場的樓層幾十個活動進行個性排序，最終顯示前一些個的活動。 上麵的中間部分截圖的PC首頁上，使用了個性化排序的品牌模塊。 右邊是手機APP京東的活動618會場上的，整個樓層都和內部的活動也是采用了我們個性化京東規則算法進行排序。 個性化算法和係統框架file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image006.jpg我們技術做京東會場智能化的目的，是看到了會場做了個性化的巨大機會與需求， 從商家角度開始講，隨著京東在各個市場上的拓展和大促期間期望值參加進來的商家越來越多，尤其在京東APP上，在小小的一個廣告位字上展示一些活動上和商品活動上，已經滿足不了商家的需求，而從用戶角度上去分析，這樣的小的區域內，所有可以看到的都一樣的話，那肯定是沒法滿足到所有人需求。 所以我們研發團隊進行架構認為通過對用戶的個性化投入進行精準化，是一個可以大大提高銷售轉化率和滿足用戶需求，達到商家和用戶雙贏的一種方案。 算法框架 另外我們認為，在京東目前大數據範圍上市可以做的起來這個事情得，從計算算法和人工操作對比，算法方案在一下幾個方麵是具備很大的優勢: 1,個性化：我們利用京東大數據積累下麵的數據能分析出一個消費者的個人興趣愛好，從而對其實現精準投放推薦功能。 2，大數據驅動：每天京東都會累計上億的客戶行為大數據，這事利用大數據來源源不斷的驅動算法的關鍵點。 3，內容理解：在部門決策內容排名時，機器可以快速充分的時間分析一個活動內的具體信息，比如裏麵有哪些商品，這些商品都是什麼屬性類別，銷售量如何等，不管人工再有經營，也沒法快速的全麵總結出這個得數據信息。 4，狀態更新：利用技術算法的整體布局會場另外一個好處是隨時可以提供內容的狀態，替換內容，比如商品顯示無貨，會場可以立即知道後通過係統自動化去掉它的展示，排上都是優良的商品，而人工就無法做到這一點，是不可能做到這一點，這樣會造成流量的流失和降低會場的位子質量。 5，減少人工運營成本：采用機器來排，人工就可以解放出來。 算法和人工 不過同時，我們現階段的這次大膽的時間還沒有完全的去除人工的依賴性，也就是我們還是有通過人為的方式進行排布進行選擇模塊的，選品方麵我們沒法排除智能化來。另外我們還需要人為設定和控製一些規則機製，來滿足業務對排序的最高需求。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image008.jpg我們可以通過上麵PPT可以看到整體的算法框架和布局特征體係： 整體上來講，我們的算法模型使用到三個類特征：用戶的畫像，內容的畫像，實時反饋數據的模型。 用戶畫像就是通過我們京東大數據部門上億級別的數據和用戶過去幾個月或者一年內的行為數據進行深入挖掘，打標出的一些客戶屬性，比如年齡等信息。偏好等信息標簽。 內容畫像，係統要對算法排序進行各類元素，我們都會抽象出各自的內容上特征，如品類，性別，等消費屬性。 把以上兩類畫像中的一些標簽類特征做結合，就能計算出交互類特征，從而實現個性化內容匹配。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image010.jpg此外，京東大數據算法中還特別加入了實時的反饋結果來獲取活動期間用戶的內容行為進行快速的應對變化，也就是我們所謂的賽馬等機製體係來進行個性化會場推薦。 在用戶維度，我們實時收集用戶最近幾個小時內的點擊、購買行為，可以實現分鍾級的延遲。 內容維度上，我們也會收集到內容的實時點擊和部分購買行為，點擊行為可以實現分鍾級內的延遲。 這類特征對我們解決數據冷啟，非個性化內容的排序、以及補充我們對內容理解上的不足等問題都起到了非常大的幫助。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image012.jpg京東智能在整體架構框架上，我們和傳統模式的推薦係統比較雷同，可能最大的不同就是一個召回上，我們會根據前端展示的商品樓和模塊的ID，來召回我們對應的資源池內的內容元素。這裏我們需要特別保證的是在選品係統和線上內容緩存之間要做到實時同步，我們通過實時消息通知和定期全量同步兩種機製來保證。 內容同步過來後，我們會有pipeline抽取內容中的特征。 在排序階段，我們設計的排序模型、穿插和業務邏輯對內容進行排序。 在最前麵，為了我們內部實驗的需求，以及和人工對比，我們也有AB分流係統。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image014.jpg在排序測試的模型上，初步為了測試的時候方便，並且由於缺少測試樣本，我們還是采用了，人工調整，參加簡單的線性規則的方式來給內容打分進行區分。 後期當具備一定的流量池之後，我們在部分模板上，如樓層模塊，我們就會通過軟件機器來學習來訓練優良的模型。 相對人工調參，機器學習的模型在部分場景上還是有一定提升的，樓層模塊點擊率可以有50%左右的提升。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image016.jpg 業務層級上，我們有說過算法過濾掉無貨或者下架的內容，重點是平衡每個坑位的價值和信息曝光的比例大小，保證一些冷門的類目也能有很大的曝光機會，並且限製一些特別熱門的類目曝光比例。 我們也對冷淡用戶進行優化，因為在大促時候，尤其是高峰期，大量對得用戶是沒有腥味數據，或是非常的少。我們也做了技術算法的推動，讓有效的用戶喚醒起來形成有用戶行為。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image018.jpg通過邀請的朋友分析，我們可以看到京東也在慢慢跟進友商的腳步，對智能的會場進行很大的改動，這個是一個從沒有到有的過程。我們一起期待這個京東活動效果最大化吧。 通過跟以前的人工對比，我們看到確實得到很大的提升，但是京東也會包吃有人工的方案做對比。並且在大型活動之前，我們要通過一些小型活動進行測試，來熟練我們的算法和結果係統。 其實京東去年就測試過智能推薦會場的概念進行一個測試，那時在年貨節部分的品類可以達到一個百分百提升點擊率的情況。 此外，即使在618期間，我們也是持續有和人工流量的對比，不過算法流量是占絕大部分。 最終結果頁證明了智能賣場的巨大價值，這裏可以以部分數字為例，PC首頁和主會場上的品牌模塊是效果最為顯著的模塊之一，在6/1-6/17日期間，相對人工，日均點擊率提升了138%，UV價值（GMV/UV日均提升超過200%；在App首頁會場入口模塊，在6/18-6/20期間，UV價值最高有100%以上的提升。 如果感覺我寫的還可以可以加一下我的微信學習更多的幹貨：nan0597最後更新：2017-11-01 03:06:48