645
京东网上商城
京东搜索个性化算法和活动智能推荐系统
京东搜索个性化算法和活动智能推荐系统（全面解析）京东618智能卖场业务场景file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg我所说的智能卖场，就是把之前是通过人工去排放商品活动会场元素，变成有通过一定算法来进行排序。 这里我们通过实现了不仅仅是传统的商品排序，还实现了楼层、活动、品牌、类目、优惠券、以及店铺各种活动会场的算法排序，根据每个京东用户的个人兴趣，给你展示出为你最感兴趣的活动会场，而不是像以往的活动方式一样，所以仍是千人千面的一样的促销活动。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image004.jpg这里我给大家展示了一些会场的截图，通过618的经验在京东的电脑端的活动会场，首页等页面位子，在重要的区域都实现了，个性化智能卖场的的逻辑概念。 通过PC端口主的会场可以看到，每个大的区域模块，是一个楼层商品和店铺，里面是同一个大品类的促销活动，我们实现了，楼层之间的个性化推荐排序，把你最有兴趣的楼层商品拍到最合适最上面位子，比如“手机”就是我们看到的第一楼层，并且在楼层的内部，这些每个图片加上超链接的形式进入分会场，我们叫做“活动”也是我们实现中的个性化的排序中的，我们团队对每个会场的楼层几十个活动进行个性排序，最终显示前一些个的活动。 上面的中间部分截图的PC首页上，使用了个性化排序的品牌模块。 右边是手机APP京东的活动618会场上的，整个楼层都和内部的活动也是采用了我们个性化京东规则算法进行排序。 个性化算法和系统框架file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image006.jpg我们技术做京东会场智能化的目的，是看到了会场做了个性化的巨大机会与需求， 从商家角度开始讲，随着京东在各个市场上的拓展和大促期间期望值参加进来的商家越来越多，尤其在京东APP上，在小小的一个广告位字上展示一些活动上和商品活动上，已经满足不了商家的需求，而从用户角度上去分析，这样的小的区域内，所有可以看到的都一样的话，那肯定是没法满足到所有人需求。 所以我们研发团队进行架构认为通过对用户的个性化投入进行精准化，是一个可以大大提高销售转化率和满足用户需求，达到商家和用户双赢的一种方案。 算法框架 另外我们认为，在京东目前大数据范围上市可以做的起来这个事情得，从计算算法和人工操作对比，算法方案在一下几个方面是具备很大的优势: 1,个性化：我们利用京东大数据积累下面的数据能分析出一个消费者的个人兴趣爱好，从而对其实现精准投放推荐功能。 2，大数据驱动：每天京东都会累计上亿的客户行为大数据，这事利用大数据来源源不断的驱动算法的关键点。 3，内容理解：在部门决策内容排名时，机器可以快速充分的时间分析一个活动内的具体信息，比如里面有哪些商品，这些商品都是什么属性类别，销售量如何等，不管人工再有经营，也没法快速的全面总结出这个得数据信息。 4，状态更新：利用技术算法的整体布局会场另外一个好处是随时可以提供内容的状态，替换内容，比如商品显示无货，会场可以立即知道后通过系统自动化去掉它的展示，排上都是优良的商品，而人工就无法做到这一点，是不可能做到这一点，这样会造成流量的流失和降低会场的位子质量。 5，减少人工运营成本：采用机器来排，人工就可以解放出来。 算法和人工 不过同时，我们现阶段的这次大胆的时间还没有完全的去除人工的依赖性，也就是我们还是有通过人为的方式进行排布进行选择模块的，选品方面我们没法排除智能化来。另外我们还需要人为设定和控制一些规则机制，来满足业务对排序的最高需求。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image008.jpg我们可以通过上面PPT可以看到整体的算法框架和布局特征体系： 整体上来讲，我们的算法模型使用到三个类特征：用户的画像，内容的画像，实时反馈数据的模型。 用户画像就是通过我们京东大数据部门上亿级别的数据和用户过去几个月或者一年内的行为数据进行深入挖掘，打标出的一些客户属性，比如年龄等信息。偏好等信息标签。 内容画像，系统要对算法排序进行各类元素，我们都会抽象出各自的内容上特征，如品类，性别，等消费属性。 把以上两类画像中的一些标签类特征做结合，就能计算出交互类特征，从而实现个性化内容匹配。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image010.jpg此外，京东大数据算法中还特别加入了实时的反馈结果来获取活动期间用户的内容行为进行快速的应对变化，也就是我们所谓的赛马等机制体系来进行个性化会场推荐。 在用户维度，我们实时收集用户最近几个小时内的点击、购买行为，可以实现分钟级的延迟。 内容维度上，我们也会收集到内容的实时点击和部分购买行为，点击行为可以实现分钟级内的延迟。 这类特征对我们解决数据冷启，非个性化内容的排序、以及补充我们对内容理解上的不足等问题都起到了非常大的帮助。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image012.jpg京东智能在整体架构框架上，我们和传统模式的推荐系统比较雷同，可能最大的不同就是一个召回上，我们会根据前端展示的商品楼和模块的ID，来召回我们对应的资源池内的内容元素。这里我们需要特别保证的是在选品系统和线上内容缓存之间要做到实时同步，我们通过实时消息通知和定期全量同步两种机制来保证。 内容同步过来后，我们会有pipeline抽取内容中的特征。 在排序阶段，我们设计的排序模型、穿插和业务逻辑对内容进行排序。 在最前面，为了我们内部实验的需求，以及和人工对比，我们也有AB分流系统。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image014.jpg在排序测试的模型上，初步为了测试的时候方便，并且由于缺少测试样本，我们还是采用了，人工调整，参加简单的线性规则的方式来给内容打分进行区分。 后期当具备一定的流量池之后，我们在部分模板上，如楼层模块，我们就会通过软件机器来学习来训练优良的模型。 相对人工调参，机器学习的模型在部分场景上还是有一定提升的，楼层模块点击率可以有50%左右的提升。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image016.jpg 业务层级上，我们有说过算法过滤掉无货或者下架的内容，重点是平衡每个坑位的价值和信息曝光的比例大小，保证一些冷门的类目也能有很大的曝光机会，并且限制一些特别热门的类目曝光比例。 我们也对冷淡用户进行优化，因为在大促时候，尤其是高峰期，大量对得用户是没有腥味数据，或是非常的少。我们也做了技术算法的推动，让有效的用户唤醒起来形成有用户行为。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image018.jpg通过邀请的朋友分析，我们可以看到京东也在慢慢跟进友商的脚步，对智能的会场进行很大的改动，这个是一个从没有到有的过程。我们一起期待这个京东活动效果最大化吧。 通过跟以前的人工对比，我们看到确实得到很大的提升，但是京东也会包吃有人工的方案做对比。并且在大型活动之前，我们要通过一些小型活动进行测试，来熟练我们的算法和结果系统。 其实京东去年就测试过智能推荐会场的概念进行一个测试，那时在年货节部分的品类可以达到一个百分百提升点击率的情况。 此外，即使在618期间，我们也是持续有和人工流量的对比，不过算法流量是占绝大部分。 最终结果页证明了智能卖场的巨大价值，这里可以以部分数字为例，PC首页和主会场上的品牌模块是效果最为显着的模块之一，在6/1-6/17日期间，相对人工，日均点击率提升了138%，UV价值（GMV/UV日均提升超过200%；在App首页会场入口模块，在6/18-6/20期间，UV价值最高有100%以上的提升。 京东搜索个性化算法和活动智能推荐系统（全面解析）京东618智能卖场业务场景file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg我所说的智能卖场，就是把之前是通过人工去排放商品活动会场元素，变成有通过一定算法来进行排序。 这里我们通过实现了不仅仅是传统的商品排序，还实现了楼层、活动、品牌、类目、优惠券、以及店铺各种活动会场的算法排序，根据每个京东用户的个人兴趣，给你展示出为你最感兴趣的活动会场，而不是像以往的活动方式一样，所以仍是千人千面的一样的促销活动。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image004.jpg这里我给大家展示了一些会场的截图，通过618的经验在京东的电脑端的活动会场，首页等页面位子，在重要的区域都实现了，个性化智能卖场的的逻辑概念。 通过PC端口主的会场可以看到，每个大的区域模块，是一个楼层商品和店铺，里面是同一个大品类的促销活动，我们实现了，楼层之间的个性化推荐排序，把你最有兴趣的楼层商品拍到最合适最上面位子，比如“手机”就是我们看到的第一楼层，并且在楼层的内部，这些每个图片加上超链接的形式进入分会场，我们叫做“活动”也是我们实现中的个性化的排序中的，我们团队对每个会场的楼层几十个活动进行个性排序，最终显示前一些个的活动。 上面的中间部分截图的PC首页上，使用了个性化排序的品牌模块。 右边是手机APP京东的活动618会场上的，整个楼层都和内部的活动也是采用了我们个性化京东规则算法进行排序。 个性化算法和系统框架file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image006.jpg我们技术做京东会场智能化的目的，是看到了会场做了个性化的巨大机会与需求， 从商家角度开始讲，随着京东在各个市场上的拓展和大促期间期望值参加进来的商家越来越多，尤其在京东APP上，在小小的一个广告位字上展示一些活动上和商品活动上，已经满足不了商家的需求，而从用户角度上去分析，这样的小的区域内，所有可以看到的都一样的话，那肯定是没法满足到所有人需求。 所以我们研发团队进行架构认为通过对用户的个性化投入进行精准化，是一个可以大大提高销售转化率和满足用户需求，达到商家和用户双赢的一种方案。 算法框架 另外我们认为，在京东目前大数据范围上市可以做的起来这个事情得，从计算算法和人工操作对比，算法方案在一下几个方面是具备很大的优势: 1,个性化：我们利用京东大数据积累下面的数据能分析出一个消费者的个人兴趣爱好，从而对其实现精准投放推荐功能。 2，大数据驱动：每天京东都会累计上亿的客户行为大数据，这事利用大数据来源源不断的驱动算法的关键点。 3，内容理解：在部门决策内容排名时，机器可以快速充分的时间分析一个活动内的具体信息，比如里面有哪些商品，这些商品都是什么属性类别，销售量如何等，不管人工再有经营，也没法快速的全面总结出这个得数据信息。 4，状态更新：利用技术算法的整体布局会场另外一个好处是随时可以提供内容的状态，替换内容，比如商品显示无货，会场可以立即知道后通过系统自动化去掉它的展示，排上都是优良的商品，而人工就无法做到这一点，是不可能做到这一点，这样会造成流量的流失和降低会场的位子质量。 5，减少人工运营成本：采用机器来排，人工就可以解放出来。 算法和人工 不过同时，我们现阶段的这次大胆的时间还没有完全的去除人工的依赖性，也就是我们还是有通过人为的方式进行排布进行选择模块的，选品方面我们没法排除智能化来。另外我们还需要人为设定和控制一些规则机制，来满足业务对排序的最高需求。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image008.jpg我们可以通过上面PPT可以看到整体的算法框架和布局特征体系： 整体上来讲，我们的算法模型使用到三个类特征：用户的画像，内容的画像，实时反馈数据的模型。 用户画像就是通过我们京东大数据部门上亿级别的数据和用户过去几个月或者一年内的行为数据进行深入挖掘，打标出的一些客户属性，比如年龄等信息。偏好等信息标签。 内容画像，系统要对算法排序进行各类元素，我们都会抽象出各自的内容上特征，如品类，性别，等消费属性。 把以上两类画像中的一些标签类特征做结合，就能计算出交互类特征，从而实现个性化内容匹配。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image010.jpg此外，京东大数据算法中还特别加入了实时的反馈结果来获取活动期间用户的内容行为进行快速的应对变化，也就是我们所谓的赛马等机制体系来进行个性化会场推荐。 在用户维度，我们实时收集用户最近几个小时内的点击、购买行为，可以实现分钟级的延迟。 内容维度上，我们也会收集到内容的实时点击和部分购买行为，点击行为可以实现分钟级内的延迟。 这类特征对我们解决数据冷启，非个性化内容的排序、以及补充我们对内容理解上的不足等问题都起到了非常大的帮助。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image012.jpg京东智能在整体架构框架上，我们和传统模式的推荐系统比较雷同，可能最大的不同就是一个召回上，我们会根据前端展示的商品楼和模块的ID，来召回我们对应的资源池内的内容元素。这里我们需要特别保证的是在选品系统和线上内容缓存之间要做到实时同步，我们通过实时消息通知和定期全量同步两种机制来保证。 内容同步过来后，我们会有pipeline抽取内容中的特征。 在排序阶段，我们设计的排序模型、穿插和业务逻辑对内容进行排序。 在最前面，为了我们内部实验的需求，以及和人工对比，我们也有AB分流系统。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image014.jpg在排序测试的模型上，初步为了测试的时候方便，并且由于缺少测试样本，我们还是采用了，人工调整，参加简单的线性规则的方式来给内容打分进行区分。 后期当具备一定的流量池之后，我们在部分模板上，如楼层模块，我们就会通过软件机器来学习来训练优良的模型。 相对人工调参，机器学习的模型在部分场景上还是有一定提升的，楼层模块点击率可以有50%左右的提升。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image016.jpg 业务层级上，我们有说过算法过滤掉无货或者下架的内容，重点是平衡每个坑位的价值和信息曝光的比例大小，保证一些冷门的类目也能有很大的曝光机会，并且限制一些特别热门的类目曝光比例。 我们也对冷淡用户进行优化，因为在大促时候，尤其是高峰期，大量对得用户是没有腥味数据，或是非常的少。我们也做了技术算法的推动，让有效的用户唤醒起来形成有用户行为。file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image018.jpg通过邀请的朋友分析，我们可以看到京东也在慢慢跟进友商的脚步，对智能的会场进行很大的改动，这个是一个从没有到有的过程。我们一起期待这个京东活动效果最大化吧。 通过跟以前的人工对比，我们看到确实得到很大的提升，但是京东也会包吃有人工的方案做对比。并且在大型活动之前，我们要通过一些小型活动进行测试，来熟练我们的算法和结果系统。 其实京东去年就测试过智能推荐会场的概念进行一个测试，那时在年货节部分的品类可以达到一个百分百提升点击率的情况。 此外，即使在618期间，我们也是持续有和人工流量的对比，不过算法流量是占绝大部分。 最终结果页证明了智能卖场的巨大价值，这里可以以部分数字为例，PC首页和主会场上的品牌模块是效果最为显着的模块之一，在6/1-6/17日期间，相对人工，日均点击率提升了138%，UV价值（GMV/UV日均提升超过200%；在App首页会场入口模块，在6/18-6/20期间，UV价值最高有100%以上的提升。 如果感觉我写的还可以可以加一下我的微信学习更多的干货：nan0597最后更新：2017-11-01 03:06:48