188      微信

数据格式规范__数据规范_开发者指南_推荐引擎-阿里云

推荐引擎的基础数据模型如下：

该数据模型总共包括了六张表，这些表有以下特点：

1. 在MaxCompute（原来ODPS）中需要自己手工创建这些表；
2. 表名没有固定要求，可以按照自己的习惯命名；
3. 每张表的表结构必须符合推荐引擎的要求，列名、字段类型和分区格式需要和规范中保持一致（参考下面的表结构说明）；
4. 每张表中填充的数据，必须符合推荐引擎的要求；
5. 每张表中是否都有记录取决于业务场景和业务数据现状，其中以下几张表中必须有数据：用户信息表、物品信息表、用户行为表；
6. 对于业务数据中无法提供的字段可以填NULL；
7. 每张表都必须是分区表，以’yyyyMMdd’格式的字符型字段ds作为分区字段；

8. 除了行为表需要每日上传外，其他meta表如果不发生变化可以不导，推荐引擎会自动获取最近一个有数据的分区中的meta表数据进行算法计算。将数据导入不同分区时，请遵守下面的规则：

   • 用户表（user_meta）：每天可全量导入在一个固定分区（insert OVERWRITE TABLE user_meta PARTITION (ds=’20160501’})）；
   • 物品表（item_meta）：每天可全量导入在一个固定分区（insert OVERWRITE TABLE item_meta PARTITION (ds=’20160501’})）；
   • 可推荐物品表（rec_item_info）：每天全量导入在一个固定分区（insert OVERWRITE TABLE rec_item_info PARTITION (ds=’20160501’})）；
   • 行为表（user_behavior）：每天增量导入在不同的分区（insert OVERWRITE TABLE user_behavior PARTITION (ds=yyyyMMdd’})）；
9. 推荐引擎在对数据进行离线计算时，会产生数据结果数据和中间数据。其中中间数据的数据量大小取决于所使用的离线流程中的算法复杂度。例如一个标准的协同过滤算法其中间表数据量可能是原始数据输入表数据量的5到10倍。推荐引擎默认对中间数据保留一天。

用户表（user_meta）

字段描述

分区描述

ODPS DDL示例

CREATE TABLE user_meta (
    user_id STRING,
    tags STRING
)
PARTITIONED BY (
    ds STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE user_meta PARTITION (ds='20160101')
SELECT 'u1' AS user_id
    , concat('age', '03', '18') AS tags
FROM dual;

用户属性维度表 （user_meta_config）

字段描述

ODPS DDL示例

CREATE TABLE user_meta_config (
    config_name STRING,
    config_value STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE user_meta_config
SELECT 'age' AS config_name
    , 'sv_enum' AS config_value
FROM dual;

物品表（item_meta）

字段描述

分区描述

ODPS DDL示例

CREATE TABLE item_meta (
    item_id STRING,
    category STRING,
    keywords STRING,
    description STRING,
    properties STRING,
    bizinfo STRING
)
PARTITIONED BY (
    ds STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE item_meta PARTITION (ds='20160101')
SELECT 'i1' AS item_id
    , '16' AS category
    , concat('hello', '02', 'word') AS keywords
    , '' AS description
    , NULL AS properties
    , NULL AS bizinfo
FROM dual

物品属性维度表 （item_meta_config）

字段描述

ODPS DDL示例

CREATE TABLE item_meta_config (
    config_name STRING,
    config_value STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE item_meta_config
SELECT 'singer' AS config_name
    , 'sv_enum' AS config_value
FROM dual;

行为表（user_behavior）

字段描述

分区描述

ODPS DDL示例

CREATE TABLE user_behavior (
    user_id STRING,
    item_id STRING,
    bhv_type STRING,
    bhv_amt DOUBLE,
    bhv_cnt DOUBLE,
    bhv_datetime DATETIME,
    content STRING,
    media_type STRING,
    pos_type STRING,
    position STRING,
    env STRING,
    trace_id STRING
)
PARTITIONED BY (
    ds STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE user_behavior PARTITION (ds='20160101')
SELECT 'u1' AS user_id
    , 'i1' AS item_id
    , 'click' AS bhv_type
    , 0 AS bhv_amt
    , 1 AS bhv_cnt
    , getdate() AS bhv_datetime
    , NULL AS content
    , NULL AS media_type
    , 'll' AS pos_type
    , concat('74', '02', '56') AS position
    , NULL AS env
    , NULL AS trace_id
FROM dual;

可推荐物品表（rec_item_info）

字段描述

分区描述

ODPS DDL示例

CREATE TABLE rec_item_info (
    item_id STRING,
    item_info STRING
)
PARTITIONED BY (
    ds STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE rec_item_info PARTITION (ds='20160101')
SELECT 'i1'
    , NULL
FROM dual;

注释1

特征的数值类型分为mv_enum，kv_num，sv_enum，sv_num，分别代表多值枚举型，KV数值型，单值枚举型，单值数值型四种标签取值类型
举例：
单值数值型，如信用，只能取一个值，但这个值是不可枚举的
单值枚举型，如性别，只能取一个值，但这个值是可以枚举的（男，女）
KV数值型，如用户的类目偏好，用户对某几个类目有偏好分，如3298:0.89,3456:0.98..这里3298和3456是类目id，0.89和0.98是偏好分
多值枚举型，如用户的标签，美包控、准妈妈等可以枚举，但是每个用户可以取多个
在特征串中，不同key之间用02分隔，key和value之间用03分隔，多值key的value之间用04连接。以上述4个例子为例，如果把它们串起来，则形式为    
            信用 03 98 
          02 
          性别 03 男 
          02
          类目偏好 03 3298 04 0.89 03 3456 04 0.98
          02
          标签 03 美包控 03 准妈妈

注释2

文中提到 02 03 等指的是ASCII码为整型2，3的特殊字符，每种编程语言有不同的表示方法，ODPS SQL 及 JAVA可以直接使用 '02'