1003      财经资讯

特征工程__使用手册(new)_机器学习-阿里云

特征工程

目录

• 主成分分析

• 特征规范

• 特征尺度变换

• 特征离散

• 特征异常平滑

• 随机森林特征重要性

• GBDT特征重要性

• 线性模型特征重要性

• 偏好计算

• 过滤式特征选择

• 基于GBDT的过滤式特征选择

• 窗口变量统计

• one-hot编码

• 异常检测

主成分分析

• PCA 利用主成分分析方法，实现降维和降维的功能. PCA算法原理见wiki
• 目前支持稠密数据格式

PAI 命令

PAI -name PrinCompAnalysis 
    -project algo_public 
    -DinputTableName=bank_data 
    -DeigOutputTableName=pai_temp_2032_17900_2
    -DprincompOutputTableName=pai_temp_2032_17900_1 
    -DselectedColNames=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed
    -DtransType=Simple
    -DcalcuType=CORR
    -DcontriRate=0.9;

算法参数说明

PCA输出示例

1. 降维后的数据表

2. 特征值和特征向量表

特征规范

功能说明

• 根据用户选择需要规范特征，采用Min-Max或者ZScore进行规范化。默认情况下 支持稀疏和稠密特征数据自动化筛选需要规范化的Top10特征(按照标准差大小筛选)

PAI 命令

PAI -name fe_normlize_runner -project algo_public 
    -DnormTopN=10 
    -Dlifecycle=28 -DnormCols=nr_employed 
    -DnormMethod=minmax 
    -DinputTable=pai_dense_10_1 
    -DoutputTable=pai_temp_2262_22605_1;

参数说明

建模示例

输入数据

create table if not exists pai_dense_10_1 as 
select
    nr_employed 
from bank_data limit 10;

参数配置

输入数据为pai_dense_10_1， 串联特征规范组件，规范特征勾选nr_employed ，配置规范方法是Min-Max，运行

运行结果

特征尺度变换

功能说明

• 支持常见的 尺度变化函数 log2,log10,ln,abs,sqrt。支持 稠密或稀疏

PAI 命令

PAI -name fe_scale_runner -project algo_public 
    -Dlifecycle=28 
    -DscaleMethod=log2 
    -DscaleCols=nr_employed 
    -DinputTable=pai_dense_10_1 
    -DoutputTable=pai_temp_2262_20380_1;

算法参数

实例

输入数据

create table if not exists pai_dense_10_1 as 
select
    nr_employed 
from bank_data limit 10;

参数配置

勾选nr_employed 做特征尺度变化的特征，只支持数值类特征尺度变化函数，勾选log2

运行结果

特征离散

离散模块功能介绍

• 支持 稠密或稀疏的 数值类特征 离散
• 支持 等频离散 和 等距离离散(默认)

pai 命令

PAI -name fe_discrete_runner -project algo_public 
   -DdiscreteMethod=SameFrequecy 
   -Dlifecycle=28 
   -DmaxBins=5 
   -DinputTable=pai_dense_10_1 
   -DdiscreteCols=nr_employed 
   -DoutputTable=pai_temp_2262_20382_1;

算法参数

建模示例

输入数据

create table if not exists pai_dense_10_1 as 
select
    nr_employed 
from bank_data limit 10;

参数配置

输入数据为pai_dense_10_1离散特征勾选 nr_employed，用 等距离离散 方法离散成5个区间, 结果如下

运行结果

特征异常平滑

组件功能介绍

• 功能：将输入特征中含有异常的数据平滑到一定区间,支持稀疏和稠密

ps: 特征平滑组件只是将异常取值的特征值修正成正常值，本身不过滤或删除任何记录，输入数据维度和条数都不变.

平滑方法介绍

• Zscore平滑：如果特征分布遵循正态分布，考虑噪音一般集在-3xalpha 和 3xalpha 之外，ZScore是将该范围数据平滑到[-3xalpha,3xalpha]。

eg: 某个特征遵循特征分布，均值为0，标准差为3，因此-10的特征值会被识别为异常而修正为-3x3+0=-9，同理,10会被修正为3x3+0

• 百分位平滑: 将数据分布在[minPer, maxPer]分位之外的数据平滑平滑到minPer/maxPer这两个分位点

eg: age特征取值0-200，设置minPer为0，maxPer为50%，那么在0-100之外的特征取值都会被修正成0或者100

• 阈值平滑: 将数据分布在[minThresh, maxThresh]之外的数据平滑到minThresh和maxThresh这两个数据点.

eg: age特征取值0-200，设置minThresh=10，maxThresh=80，那么在0-80之外的特征取值都会被修正成0或者80

三 pai 命令

PAI -name fe_soften_runner -project algo_public 
    -DminThresh=5000 -Dlifecycle=28 
    -DsoftenMethod=min-max-thresh 
    -DsoftenCols=nr_employed 
    -DmaxThresh=6000 
    -DinputTable=pai_dense_10_1
    -DoutputTable=pai_temp_2262_20381_1;

四 算法参数

五 实例

1. 输入数据

输入数据

create table if not exists pai_dense_10_1 as 
select
    nr_employed 
from bank_data limit 10;

参数配置

平滑特征列勾选nr_employed，参数配置中选择阈值平滑，下限5000，上限6000

运行结果

随机森林特征重要性

组件功能

使用原始数据和随机森林模型，计算特征重要性.

PAI 命令

pai -name feature_importance -project algo_public 
    -DinputTableName=pai_dense_10_10
    -DmodelName=xlab_m_random_forests_1_20318_v0 
    -DoutputTableName=erkang_test_dev.pai_temp_2252_20319_1  
    -DlabelColName=y
    - DfeatureColNames="pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign,poutcome"
    -Dlifecycle=28 ;

算法参数

实例

训练数据

drop table if exists pai_dense_10_10;
creat table if not exists pai_dense_10_10 as 
select  
    age,campaign,pdays, previous, poutcome, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, nr_employed, y
from  bank_data limit 10;

参数配置

实例流程图如下，数据源为pai_dense_10_10, y列为随机森林的标签列，其他列为特征列，强制转换列勾选age和campaign，表示这两个特征当做枚举特征处理，其他采用默认参数。 运行成功如下

运行结果

随机森林特征重要性组件上 右键查看可视化分析,效果如下所示

GBDT特征重要性

组件功能

计算梯度渐进决策树(GBDT)特征重要性

PAI 命令

pai -name gbdt_importance -project algo_public
    -DmodelName=xlab_m_GBDT_LR_1_20307_v0
    -Dlifecycle=28 -DoutputTableName=pai_temp_2252_20308_1 -DlabelColName=y
    -DfeatureColNames=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign
    -DinputTableName=pai_dense_10_9;

算法参数

实例

输入数据

drop table if exists pai_dense_10_9;
create table if not exists pai_dense_10_9 as 
select  
    age,campaign,pdays, previous, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, nr_employed, y
from  bank_data limit 10;

参数配置

实例流程图如下，输入数据为pai_dense_10_9, GBDT二分类组件选择标签列y，其他字段作为特征列，组件参数配置中叶节点最小样本数配置为1，运行

运行结果

右键查看可视化分析报告

线性模型特征重要性

组件功能

计算线性模型的特征重要性，包括线性回归和二分类逻辑回归。 支持稀疏和稠密。

PAI 命令

PAI -name regression_feature_importance -project algo_public 
    -DmodelName=xlab_m_logisticregressi_20317_v0  
    -DoutputTableName=pai_temp_2252_20321_1 
    -DlabelColName=y 
  -DfeatureColNames=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign 
    -DenableSparse=false -DinputTableName=pai_dense_10_9;

算法参数

实例

输入数据

create table if not exists pai_dense_10_9 as 
select  
    age,campaign,pdays, previous, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, nr_employed, y
from  bank_data limit 10;

参数配置

建模流程如下图示， 逻辑回归多分类组件选择标签列为y，其他字段为特征列，其他参数默认，运行

运行效果

指标计算公式

在线性模型特征重要性组件上，右键查看可视化分析

偏好计算

功能介绍

• 给定用户的明细行为特征数据，自动计算用户对特征值的偏好得分.
• 输入表包含用户id和用户明细行为特征输入，假设在口碑到店场景，某用户2088xxx1在3个月内吃了两次川菜，一次西式快餐，那么输入表形式如下：

• 输出表为用户对川菜和西式快餐的偏好得分,形式如下：

PAI命令示例

pai -name=preference 
    -project=algo_public 
    -DInputTableName=preference_input_table 
    -DIdColumnName=user_id 
    -DFeatureColNames=cate
    -DOutputTableName=preference_output_table 
    -DmapInstanceNum=2 
    -DreduceInstanceNum=1;

算法参数

实例

测试数据

新建数据SQL

drop table if exists preference_input_table;
create table preference_input_table as 
select 
  *
from 
(
  select '2088xxx1' as user_id, '川菜' as cate from alipaydw.dual
    union all
  select '2088xxx1' as user_id, '川菜' as cate from alipaydw.dual
    union all
  select '2088xxx1' as user_id, '西式快餐' cate from alipaydw.dual
    union all
  select '2088xxx3' as user_id, '川菜' as cate from alipaydw.dual
    union all
  select '2088xxx3' as user_id, '川菜' as cate from alipaydw.dual
    union all
  select '2088xxx3' as user_id, '西式快餐' as cate from alipaydw.dual
) tmp;

运行结果

+------------+------------+
| user_id    | cate       |
+------------+------------+
| 2088xxx1          | 川菜:0.0544694,西式快餐:0.0272347          |
| 2088xxx3          | 川菜:0.0544694,西式快餐:0.0272347          |
+------------+------------+  

过滤式特征选择

组件功能

根据用户不同的特征选择方法，选择并过滤出TopN的特征数据，同时保存所有特征重要性表(右输出)。支持稀疏和稠密数据

PAI 命令

PAI -name fe_select_runner -project algo_public 
     -DfeatImportanceTable=pai_temp_2260_22603_2 
     -DselectMethod=iv 
-DselectedCols=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign 
     -DtopN=5 
     -DlabelCol=y 
     -DmaxBins=100 
     -DinputTable=pai_dense_10_9 
     -DoutputTable=pai_temp_2260_22603_1;

算法参数

实例

输入数据

create table if not exists pai_dense_10_9 as 
select  
    age,campaign,pdays, previous, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, nr_employed, y
from  bank_data limit 10;

参数配置

标签列勾选y字段，其他字段勾选为特征列, 特征选择方法选IV，topN特征为5，表示过滤top5的特征

运行结果

左输出是过滤后的数据

右输出是特征重要性表

特征重要性表字段结构如下,featureName存放特征名称，weight表示特征选择方法计算出来的权重。

weight计算公式

窗口变量统计

功能介绍

• 给定时间窗口，计算相应用户在相应时间窗内的行为次数和金额。如时间窗口为’1,7,30,90,180’，则计算用户相应天数内的行为次数和金额。

PAI命令示例

pai -name=rfm 
    -project=algo_public 
    -DinputTableName=window_input_table 
    -DuserName=user_id 
    -DdtName=dt 
    -DcntName=cnt 
    -DamtName=amt 
    -Dwindow=1,7,30,90 
    -DoutputTableName=window_output_table 
    -DmapInstanceNum=2 
    -DreduceInstanceNum=2;

算法参数

实例

测试数据

新建数据SQL

drop table if exists window_input_table;
create table window_input_table as 
select 
  *
from 
(
  select 'a' as user_id, '20151201' as dt, 2 as cnt, 32.0 as amt from dual
    union all
  select 'a' as user_id, '20160201' as dt, 3 as cnt, 37.0 as amt from dual
    union all
  select 'a' as user_id, '20160223' as dt, 1 as cnt, 22.0 as amt from dual
    union all
  select 'b' as user_id, '20151212' as dt, 1 as cnt, 12.0 as amt from dual
    union all
  select 'b' as user_id, '20160110' as dt, 2 as cnt, 30.0 as amt from dual
    union all
  select 'c' as user_id, '20151001' as dt, 3 as cnt, 60.0 as amt from dual
    union all
  select 'c' as user_id, '20151201' as dt, 2 as cnt, 39.0 as amt from dual
) tmp;

运行结果

+------------+------------+------------+------------+------------+-------------+-------------+-------------+-------------+
| user_id    | cnt_1d_sum | amt_1d_sum | cnt_7d_sum | amt_7d_sum | cnt_30d_sum | amt_30d_sum | cnt_90d_sum | amt_90d_sum |
+------------+------------+------------+------------+------------+-------------+-------------+-------------+-------------+
| a          | 1          | 22.0       | 1          | 22.0       | 4           | 59.0        | 6           | 91.0        |
| c          | 0          | 0.0        | 0          | 0.0        | 0           | 0.0         | 2           | 39.0        |
| b          | 0          | 0.0        | 0          | 0.0        | 0           | 0.0         | 3           | 42.0        |
+------------+------------+------------+------------+------------+-------------+-------------+-------------+-------------+  

one-hot编码

一 功能组件

one-hot编码，也称独热编码，对于每一个特征，如果它有m个可能值，那么经过独热编码后，就变成了m个二元特征。并且，这些特征互斥，每次只有一个激活。因此，数据会变成稀疏的,输出结果也是k:v的稀疏结构。

二 PAI命令

PAI -name fe_binary_runner -project algo_public 
    -DinputTable=one_hot 
    -DbinaryCols=edu_num 
    -DlabelCol=income 
    -DbinaryReserve=false 
    -DbinStrategy=noDealStrategy 
    -DbinaryIndexTable=pai_temp_2458_23436_3 
    -DmodelTable=pai_temp_2458_23436_2 
    -DoutputTable=pai_temp_2458_23436_1
    -Dlifecycle=28;

三 参数说明

编码策略

• noDealStrategy： 简单二值化，比如sex特征取值 Female|Male|Unknowed. 那么二值化出来特征是sex_female, sex_male 和 sex_Unknowed
• autoStrategy：自动二值化. 在简单二值化的基础上，利用逻辑回归算法计算每个one-hot特征，将one-hot特征权重为0的特征合并成独立一项，命名other

实例

1 输入数据

2. 组件参数

勾选edu_num作为二值化特征， 其他全部采用默认参数，即简单二值化策略，

3. 结果

编码后结果(outputTable)

kv的序列列表(binaryIndexTable)

异常检测

一 组件功能

支持一下功能

• 针对连续值特征： 按箱线图最大值和最小值检测异常特征.

• 针对枚举值特征: 按照枚举特征的取值频率，按照阈值过滤异常特征

二 PAI 参数

 PAI -name fe_detect_runner -project algo_public 
     -DselectedCols="emp_var_rate,cons_price_rate,cons_conf_idx,euribor3m,nr_employed" 
     -Dlifecycle="28" 
     -DdetectStrategy="boxPlot" 
     -DmodelTable="pai_temp_2458_23565_2" 
     -DinputTable="pai_bank_data" 
     -DoutputTable="pai_temp_2458_23565_1";

三 参数说明

最后更新：2016-11-17 10:05:00

  上一篇： 数据预处理__使用手册(new)_机器学习-阿里云

  下一篇： 统计分析__使用手册(new)_机器学习-阿里云