188      windows

數據格式規範__數據規範_開發者指南_推薦引擎-阿裏雲

推薦引擎的基礎數據模型如下：

該數據模型總共包括了六張表，這些表有以下特點：

1. 在MaxCompute（原來ODPS）中需要自己手工創建這些表；
2. 表名沒有固定要求，可以按照自己的習慣命名；
3. 每張表的表結構必須符合推薦引擎的要求，列名、字段類型和分區格式需要和規範中保持一致（參考下麵的表結構說明）；
4. 每張表中填充的數據，必須符合推薦引擎的要求；
5. 每張表中是否都有記錄取決於業務場景和業務數據現狀，其中以下幾張表中必須有數據：用戶信息表、物品信息表、用戶行為表；
6. 對於業務數據中無法提供的字段可以填NULL；
7. 每張表都必須是分區表，以’yyyyMMdd’格式的字符型字段ds作為分區字段；

8. 除了行為表需要每日上傳外，其他meta表如果不發生變化可以不導，推薦引擎會自動獲取最近一個有數據的分區中的meta表數據進行算法計算。將數據導入不同分區時，請遵守下麵的規則：

   • 用戶表（user_meta）：每天可全量導入在一個固定分區（insert OVERWRITE TABLE user_meta PARTITION (ds=’20160501’})）；
   • 物品表（item_meta）：每天可全量導入在一個固定分區（insert OVERWRITE TABLE item_meta PARTITION (ds=’20160501’})）；
   • 可推薦物品表（rec_item_info）：每天全量導入在一個固定分區（insert OVERWRITE TABLE rec_item_info PARTITION (ds=’20160501’})）；
   • 行為表（user_behavior）：每天增量導入在不同的分區（insert OVERWRITE TABLE user_behavior PARTITION (ds=yyyyMMdd’})）；
9. 推薦引擎在對數據進行離線計算時，會產生數據結果數據和中間數據。其中中間數據的數據量大小取決於所使用的離線流程中的算法複雜度。例如一個標準的協同過濾算法其中間表數據量可能是原始數據輸入表數據量的5到10倍。推薦引擎默認對中間數據保留一天。

用戶表（user_meta）

字段描述

分區描述

ODPS DDL示例

CREATE TABLE user_meta (
    user_id STRING,
    tags STRING
)
PARTITIONED BY (
    ds STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE user_meta PARTITION (ds='20160101')
SELECT 'u1' AS user_id
    , concat('age', '03', '18') AS tags
FROM dual;

用戶屬性維度表 （user_meta_config）

字段描述

ODPS DDL示例

CREATE TABLE user_meta_config (
    config_name STRING,
    config_value STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE user_meta_config
SELECT 'age' AS config_name
    , 'sv_enum' AS config_value
FROM dual;

物品表（item_meta）

字段描述

分區描述

ODPS DDL示例

CREATE TABLE item_meta (
    item_id STRING,
    category STRING,
    keywords STRING,
    description STRING,
    properties STRING,
    bizinfo STRING
)
PARTITIONED BY (
    ds STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE item_meta PARTITION (ds='20160101')
SELECT 'i1' AS item_id
    , '16' AS category
    , concat('hello', '02', 'word') AS keywords
    , '' AS description
    , NULL AS properties
    , NULL AS bizinfo
FROM dual

物品屬性維度表 （item_meta_config）

字段描述

ODPS DDL示例

CREATE TABLE item_meta_config (
    config_name STRING,
    config_value STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE item_meta_config
SELECT 'singer' AS config_name
    , 'sv_enum' AS config_value
FROM dual;

行為表（user_behavior）

字段描述

分區描述

ODPS DDL示例

CREATE TABLE user_behavior (
    user_id STRING,
    item_id STRING,
    bhv_type STRING,
    bhv_amt DOUBLE,
    bhv_cnt DOUBLE,
    bhv_datetime DATETIME,
    content STRING,
    media_type STRING,
    pos_type STRING,
    position STRING,
    env STRING,
    trace_id STRING
)
PARTITIONED BY (
    ds STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE user_behavior PARTITION (ds='20160101')
SELECT 'u1' AS user_id
    , 'i1' AS item_id
    , 'click' AS bhv_type
    , 0 AS bhv_amt
    , 1 AS bhv_cnt
    , getdate() AS bhv_datetime
    , NULL AS content
    , NULL AS media_type
    , 'll' AS pos_type
    , concat('74', '02', '56') AS position
    , NULL AS env
    , NULL AS trace_id
FROM dual;

可推薦物品表（rec_item_info）

字段描述

分區描述

ODPS DDL示例

CREATE TABLE rec_item_info (
    item_id STRING,
    item_info STRING
)
PARTITIONED BY (
    ds STRING
);

ODPS SQL示例

INSERT OVERWRITE TABLE rec_item_info PARTITION (ds='20160101')
SELECT 'i1'
    , NULL
FROM dual;

注釋1

特征的數值類型分為mv_enum，kv_num，sv_enum，sv_num，分別代表多值枚舉型，KV數值型，單值枚舉型，單值數值型四種標簽取值類型
舉例：
單值數值型，如信用，隻能取一個值，但這個值是不可枚舉的
單值枚舉型，如性別，隻能取一個值，但這個值是可以枚舉的（男，女）
KV數值型，如用戶的類目偏好，用戶對某幾個類目有偏好分，如3298:0.89,3456:0.98..這裏3298和3456是類目id，0.89和0.98是偏好分
多值枚舉型，如用戶的標簽，美包控、準媽媽等可以枚舉，但是每個用戶可以取多個
在特征串中，不同key之間用02分隔，key和value之間用03分隔，多值key的value之間用04連接。以上述4個例子為例，如果把它們串起來，則形式為    
            信用 03 98 
          02 
          性別 03 男 
          02
          類目偏好 03 3298 04 0.89 03 3456 04 0.98
          02
          標簽 03 美包控 03 準媽媽

注釋2

文中提到 02 03 等指的是ASCII碼為整型2，3的特殊字符，每種編程語言有不同的表示方法，ODPS SQL 及 JAVA可以直接使用 '02'