1003      阿裏雲

特征工程__使用手冊(new)_機器學習-阿裏雲

特征工程

目錄

• 主成分分析

• 特征規範

• 特征尺度變換

• 特征離散

• 特征異常平滑

• 隨機森林特征重要性

• GBDT特征重要性

• 線性模型特征重要性

• 偏好計算

• 過濾式特征選擇

• 基於GBDT的過濾式特征選擇

• 窗口變量統計

• one-hot編碼

• 異常檢測

主成分分析

• PCA 利用主成分分析方法，實現降維和降維的功能. PCA算法原理見wiki
• 目前支持稠密數據格式

PAI 命令

PAI -name PrinCompAnalysis 
    -project algo_public 
    -DinputTableName=bank_data 
    -DeigOutputTableName=pai_temp_2032_17900_2
    -DprincompOutputTableName=pai_temp_2032_17900_1 
    -DselectedColNames=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed
    -DtransType=Simple
    -DcalcuType=CORR
    -DcontriRate=0.9;

算法參數說明

PCA輸出示例

1. 降維後的數據表

2. 特征值和特征向量表

特征規範

功能說明

• 根據用戶選擇需要規範特征，采用Min-Max或者ZScore進行規範化。默認情況下 支持稀疏和稠密特征數據自動化篩選需要規範化的Top10特征(按照標準差大小篩選)

PAI 命令

PAI -name fe_normlize_runner -project algo_public 
    -DnormTopN=10 
    -Dlifecycle=28 -DnormCols=nr_employed 
    -DnormMethod=minmax 
    -DinputTable=pai_dense_10_1 
    -DoutputTable=pai_temp_2262_22605_1;

參數說明

建模示例

輸入數據

create table if not exists pai_dense_10_1 as 
select
    nr_employed 
from bank_data limit 10;

參數配置

輸入數據為pai_dense_10_1， 串聯特征規範組件，規範特征勾選nr_employed ，配置規範方法是Min-Max，運行

運行結果

特征尺度變換

功能說明

• 支持常見的 尺度變化函數 log2,log10,ln,abs,sqrt。支持 稠密或稀疏

PAI 命令

PAI -name fe_scale_runner -project algo_public 
    -Dlifecycle=28 
    -DscaleMethod=log2 
    -DscaleCols=nr_employed 
    -DinputTable=pai_dense_10_1 
    -DoutputTable=pai_temp_2262_20380_1;

算法參數

實例

輸入數據

create table if not exists pai_dense_10_1 as 
select
    nr_employed 
from bank_data limit 10;

參數配置

勾選nr_employed 做特征尺度變化的特征，隻支持數值類特征尺度變化函數，勾選log2

運行結果

特征離散

離散模塊功能介紹

• 支持 稠密或稀疏的 數值類特征 離散
• 支持 等頻離散 和 等距離離散(默認)

pai 命令

PAI -name fe_discrete_runner -project algo_public 
   -DdiscreteMethod=SameFrequecy 
   -Dlifecycle=28 
   -DmaxBins=5 
   -DinputTable=pai_dense_10_1 
   -DdiscreteCols=nr_employed 
   -DoutputTable=pai_temp_2262_20382_1;

算法參數

建模示例

輸入數據

create table if not exists pai_dense_10_1 as 
select
    nr_employed 
from bank_data limit 10;

參數配置

輸入數據為pai_dense_10_1離散特征勾選 nr_employed，用 等距離離散 方法離散成5個區間, 結果如下

運行結果

特征異常平滑

組件功能介紹

• 功能：將輸入特征中含有異常的數據平滑到一定區間,支持稀疏和稠密

ps: 特征平滑組件隻是將異常取值的特征值修正成正常值，本身不過濾或刪除任何記錄，輸入數據維度和條數都不變.

平滑方法介紹

• Zscore平滑：如果特征分布遵循正態分布，考慮噪音一般集在-3xalpha 和 3xalpha 之外，ZScore是將該範圍數據平滑到[-3xalpha,3xalpha]。

eg: 某個特征遵循特征分布，均值為0，標準差為3，因此-10的特征值會被識別為異常而修正為-3x3+0=-9，同理,10會被修正為3x3+0

• 百分位平滑: 將數據分布在[minPer, maxPer]分位之外的數據平滑平滑到minPer/maxPer這兩個分位點

eg: age特征取值0-200，設置minPer為0，maxPer為50%，那麼在0-100之外的特征取值都會被修正成0或者100

• 閾值平滑: 將數據分布在[minThresh, maxThresh]之外的數據平滑到minThresh和maxThresh這兩個數據點.

eg: age特征取值0-200，設置minThresh=10，maxThresh=80，那麼在0-80之外的特征取值都會被修正成0或者80

三 pai 命令

PAI -name fe_soften_runner -project algo_public 
    -DminThresh=5000 -Dlifecycle=28 
    -DsoftenMethod=min-max-thresh 
    -DsoftenCols=nr_employed 
    -DmaxThresh=6000 
    -DinputTable=pai_dense_10_1
    -DoutputTable=pai_temp_2262_20381_1;

四 算法參數

五 實例

1. 輸入數據

輸入數據

create table if not exists pai_dense_10_1 as 
select
    nr_employed 
from bank_data limit 10;

參數配置

平滑特征列勾選nr_employed，參數配置中選擇閾值平滑，下限5000，上限6000

運行結果

隨機森林特征重要性

組件功能

使用原始數據和隨機森林模型，計算特征重要性.

PAI 命令

pai -name feature_importance -project algo_public 
    -DinputTableName=pai_dense_10_10
    -DmodelName=xlab_m_random_forests_1_20318_v0 
    -DoutputTableName=erkang_test_dev.pai_temp_2252_20319_1  
    -DlabelColName=y
    - DfeatureColNames="pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign,poutcome"
    -Dlifecycle=28 ;

算法參數

實例

訓練數據

drop table if exists pai_dense_10_10;
creat table if not exists pai_dense_10_10 as 
select  
    age,campaign,pdays, previous, poutcome, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, nr_employed, y
from  bank_data limit 10;

參數配置

實例流程圖如下，數據源為pai_dense_10_10, y列為隨機森林的標簽列，其他列為特征列，強製轉換列勾選age和campaign，表示這兩個特征當做枚舉特征處理，其他采用默認參數。 運行成功如下

運行結果

隨機森林特征重要性組件上 右鍵查看可視化分析,效果如下所示

GBDT特征重要性

組件功能

計算梯度漸進決策樹(GBDT)特征重要性

PAI 命令

pai -name gbdt_importance -project algo_public
    -DmodelName=xlab_m_GBDT_LR_1_20307_v0
    -Dlifecycle=28 -DoutputTableName=pai_temp_2252_20308_1 -DlabelColName=y
    -DfeatureColNames=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign
    -DinputTableName=pai_dense_10_9;

算法參數

實例

輸入數據

drop table if exists pai_dense_10_9;
create table if not exists pai_dense_10_9 as 
select  
    age,campaign,pdays, previous, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, nr_employed, y
from  bank_data limit 10;

參數配置

實例流程圖如下，輸入數據為pai_dense_10_9, GBDT二分類組件選擇標簽列y，其他字段作為特征列，組件參數配置中葉節點最小樣本數配置為1，運行

運行結果

右鍵查看可視化分析報告

線性模型特征重要性

組件功能

計算線性模型的特征重要性，包括線性回歸和二分類邏輯回歸。 支持稀疏和稠密。

PAI 命令

PAI -name regression_feature_importance -project algo_public 
    -DmodelName=xlab_m_logisticregressi_20317_v0  
    -DoutputTableName=pai_temp_2252_20321_1 
    -DlabelColName=y 
  -DfeatureColNames=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign 
    -DenableSparse=false -DinputTableName=pai_dense_10_9;

算法參數

實例

輸入數據

create table if not exists pai_dense_10_9 as 
select  
    age,campaign,pdays, previous, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, nr_employed, y
from  bank_data limit 10;

參數配置

建模流程如下圖示， 邏輯回歸多分類組件選擇標簽列為y，其他字段為特征列，其他參數默認，運行

運行效果

指標計算公式

在線性模型特征重要性組件上，右鍵查看可視化分析

偏好計算

功能介紹

• 給定用戶的明細行為特征數據，自動計算用戶對特征值的偏好得分.
• 輸入表包含用戶id和用戶明細行為特征輸入，假設在口碑到店場景，某用戶2088xxx1在3個月內吃了兩次川菜，一次西式快餐，那麼輸入表形式如下：

• 輸出表為用戶對川菜和西式快餐的偏好得分,形式如下：

PAI命令示例

pai -name=preference 
    -project=algo_public 
    -DInputTableName=preference_input_table 
    -DIdColumnName=user_id 
    -DFeatureColNames=cate
    -DOutputTableName=preference_output_table 
    -DmapInstanceNum=2 
    -DreduceInstanceNum=1;

算法參數

實例

測試數據

新建數據SQL

drop table if exists preference_input_table;
create table preference_input_table as 
select 
  *
from 
(
  select '2088xxx1' as user_id, '川菜' as cate from alipaydw.dual
    union all
  select '2088xxx1' as user_id, '川菜' as cate from alipaydw.dual
    union all
  select '2088xxx1' as user_id, '西式快餐' cate from alipaydw.dual
    union all
  select '2088xxx3' as user_id, '川菜' as cate from alipaydw.dual
    union all
  select '2088xxx3' as user_id, '川菜' as cate from alipaydw.dual
    union all
  select '2088xxx3' as user_id, '西式快餐' as cate from alipaydw.dual
) tmp;

運行結果

+------------+------------+
| user_id    | cate       |
+------------+------------+
| 2088xxx1          | 川菜:0.0544694,西式快餐:0.0272347          |
| 2088xxx3          | 川菜:0.0544694,西式快餐:0.0272347          |
+------------+------------+  

過濾式特征選擇

組件功能

根據用戶不同的特征選擇方法，選擇並過濾出TopN的特征數據，同時保存所有特征重要性表(右輸出)。支持稀疏和稠密數據

PAI 命令

PAI -name fe_select_runner -project algo_public 
     -DfeatImportanceTable=pai_temp_2260_22603_2 
     -DselectMethod=iv 
-DselectedCols=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign 
     -DtopN=5 
     -DlabelCol=y 
     -DmaxBins=100 
     -DinputTable=pai_dense_10_9 
     -DoutputTable=pai_temp_2260_22603_1;

算法參數

實例

輸入數據

create table if not exists pai_dense_10_9 as 
select  
    age,campaign,pdays, previous, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, nr_employed, y
from  bank_data limit 10;

參數配置

標簽列勾選y字段，其他字段勾選為特征列, 特征選擇方法選IV，topN特征為5，表示過濾top5的特征

運行結果

左輸出是過濾後的數據

右輸出是特征重要性表

特征重要性表字段結構如下,featureName存放特征名稱，weight表示特征選擇方法計算出來的權重。

weight計算公式

窗口變量統計

功能介紹

• 給定時間窗口，計算相應用戶在相應時間窗內的行為次數和金額。如時間窗口為’1,7,30,90,180’，則計算用戶相應天數內的行為次數和金額。

PAI命令示例

pai -name=rfm 
    -project=algo_public 
    -DinputTableName=window_input_table 
    -DuserName=user_id 
    -DdtName=dt 
    -DcntName=cnt 
    -DamtName=amt 
    -Dwindow=1,7,30,90 
    -DoutputTableName=window_output_table 
    -DmapInstanceNum=2 
    -DreduceInstanceNum=2;

算法參數

實例

測試數據

新建數據SQL

drop table if exists window_input_table;
create table window_input_table as 
select 
  *
from 
(
  select 'a' as user_id, '20151201' as dt, 2 as cnt, 32.0 as amt from dual
    union all
  select 'a' as user_id, '20160201' as dt, 3 as cnt, 37.0 as amt from dual
    union all
  select 'a' as user_id, '20160223' as dt, 1 as cnt, 22.0 as amt from dual
    union all
  select 'b' as user_id, '20151212' as dt, 1 as cnt, 12.0 as amt from dual
    union all
  select 'b' as user_id, '20160110' as dt, 2 as cnt, 30.0 as amt from dual
    union all
  select 'c' as user_id, '20151001' as dt, 3 as cnt, 60.0 as amt from dual
    union all
  select 'c' as user_id, '20151201' as dt, 2 as cnt, 39.0 as amt from dual
) tmp;

運行結果

+------------+------------+------------+------------+------------+-------------+-------------+-------------+-------------+
| user_id    | cnt_1d_sum | amt_1d_sum | cnt_7d_sum | amt_7d_sum | cnt_30d_sum | amt_30d_sum | cnt_90d_sum | amt_90d_sum |
+------------+------------+------------+------------+------------+-------------+-------------+-------------+-------------+
| a          | 1          | 22.0       | 1          | 22.0       | 4           | 59.0        | 6           | 91.0        |
| c          | 0          | 0.0        | 0          | 0.0        | 0           | 0.0         | 2           | 39.0        |
| b          | 0          | 0.0        | 0          | 0.0        | 0           | 0.0         | 3           | 42.0        |
+------------+------------+------------+------------+------------+-------------+-------------+-------------+-------------+  

one-hot編碼

一 功能組件

one-hot編碼，也稱獨熱編碼，對於每一個特征，如果它有m個可能值，那麼經過獨熱編碼後，就變成了m個二元特征。並且，這些特征互斥，每次隻有一個激活。因此，數據會變成稀疏的,輸出結果也是k:v的稀疏結構。

二 PAI命令

PAI -name fe_binary_runner -project algo_public 
    -DinputTable=one_hot 
    -DbinaryCols=edu_num 
    -DlabelCol=income 
    -DbinaryReserve=false 
    -DbinStrategy=noDealStrategy 
    -DbinaryIndexTable=pai_temp_2458_23436_3 
    -DmodelTable=pai_temp_2458_23436_2 
    -DoutputTable=pai_temp_2458_23436_1
    -Dlifecycle=28;

三 參數說明

編碼策略

• noDealStrategy： 簡單二值化，比如sex特征取值 Female|Male|Unknowed. 那麼二值化出來特征是sex_female, sex_male 和 sex_Unknowed
• autoStrategy：自動二值化. 在簡單二值化的基礎上，利用邏輯回歸算法計算每個one-hot特征，將one-hot特征權重為0的特征合並成獨立一項，命名other

實例

1 輸入數據

2. 組件參數

勾選edu_num作為二值化特征， 其他全部采用默認參數，即簡單二值化策略，

3. 結果

編碼後結果(outputTable)

kv的序列列表(binaryIndexTable)

異常檢測

一 組件功能

支持一下功能

• 針對連續值特征： 按箱線圖最大值和最小值檢測異常特征.

• 針對枚舉值特征: 按照枚舉特征的取值頻率，按照閾值過濾異常特征

二 PAI 參數

 PAI -name fe_detect_runner -project algo_public 
     -DselectedCols="emp_var_rate,cons_price_rate,cons_conf_idx,euribor3m,nr_employed" 
     -Dlifecycle="28" 
     -DdetectStrategy="boxPlot" 
     -DmodelTable="pai_temp_2458_23565_2" 
     -DinputTable="pai_bank_data" 
     -DoutputTable="pai_temp_2458_23565_1";

三 參數說明

最後更新：2016-11-17 10:05:00

  上一篇： 數據預處理__使用手冊(new)_機器學習-阿裏雲

  下一篇： 統計分析__使用手冊(new)_機器學習-阿裏雲