450      微信

文本分析__使用手冊(new)_機器學習-阿裏雲

文本分析

目錄

• 詞頻統計

• TF-IDF

• PLDA

• Word2Vec

• SplitWord

• 三元組轉kv

• 字符串相似度

• 字符串相似度-topN

• 停用詞過濾

詞頻統計

功能介紹

• 在對文章進行分詞的基礎上，按行保序輸出對應文章ID列(docId)對應文章的詞，統計指定文章ID列(docId)對應文章內容(docContent)的詞頻。

參數設置

輸入參數：經過分詞組件生成兩列—文檔ID列和分詞後的文檔內容列

兩個輸出參數:

第一個輸出端：輸出表包含三個字段—id,word,count，如下圖：

count—統計每個文檔中，對應word詞匯出現的次數

第二個輸出端：輸出包含兩個字段—id,word,如下圖：

本端口輸出表按詞語在文章中出現的順序依次輸出，沒有統計詞語的出現次數，因此同一文檔中某個詞匯可能出現多條記錄。 包輸出表格式主要用於兼容Word2Vec組件使用。

實例

采用阿裏分詞實例數據中，將分別將輸出表的兩個列作為詞頻統計的輸入參數：選擇文檔ID列 — id ； 選擇文檔內容列 — text經過詞頻統計運算後，生成的結果 見本組件中第一個輸出參數展示圖。

pai命令示例

pai -name doc_word_stat
    -project algo_public
    -DinputTableName=doc_test_split_word
    -DdocId=id
    -DdocContent=content
    -DoutputTableNameMulti=doc_test_stat_multi
    -DoutputTableNameTriple=doc_test_stat_triple
    -DinputTablePartitions="region=cctv_news"

算法參數

備注：其中參數outputTableNameMulti指定的表是docId列及docId列對應的文章內容(docContent)完成分詞後，按各個詞語在文章中出現的順序依次輸出。參數outputTableNameTriple指定的表輸出docId列及docId列對應的文章內容(docContent)完成分詞後，統計得到的各個詞語及其在文章中出現的次數。

TF-IDF

• TF-IDF（term frequency–inverse document frequency）是一種用於資訊檢索與文本挖掘的常用加權技術。TF-IDF是一種統計方法，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。TF-IDF加權的各種形式常被搜索引擎應用，作為文件與用戶查詢之間相關程度的度量或評級。
• 詳細介紹，請參考：[維基百科tf-idf]
• 本組件是詞頻統計輸出的基礎上，計算各個word對於各個文章的tfidf值

參數設置（略）

實例

以詞頻統計組件實例中的輸出表作為TF-IDF組件的輸入表，對應的參數設置如下：選擇文檔ID列： id選擇單詞列：word選擇單詞計數列：count

輸出表有9列：docid，word，word_count（當前word在當前doc中出現次數），total_word_count（當前doc中總word數）, doc_count（包含當前word的總doc數）, total_doc_count（全部doc數）, tf, idf, tfidf結果如下：

pai命令示例

pai -name tfidf
    -project algo_public
    -DinputTableName=rgdoc_split_triple_out
    -DdocIdCol=id
    -DwordCol=word
    -DcountCol=count
    -DoutputTableName=rg_tfidf_out;

算法參數

PLDA

• 主題模型，返回文檔對應的主題
• LDA(Latent Dirichlet allocation)，是一種主題模型，它可以將文檔集中每篇文檔的主題按照概率分布的形式給出。同時它是一種無監督學習算法，在訓練時不需要手工標注的訓練集，需要的僅僅是文檔集以及指定主題的數量k即可。LDA首先由David M. Blei、Andrew Y. Ng和Michael I. Jordan於2003年提出，目前在文本挖掘領域包括文本主題識別、文本分類以及文本相似度計算方麵都有應用。

參數設置

主題個數: 設置LDA的輸出的主題個數Alpha:P(z/d)的先驗狄利克雷分布的參數beta: P(w/z)的先驗狄利克雷分布的參數burn In:burn in 迭代次數,必須小於總迭代次數，默認值：100總迭代次數: 正整數 | 非必選，默認值：150注：z是主題, w是詞, d是文檔

輸入輸出設置

輸入：數據必須為稀疏矩陣的格式（格式見數據格式說明章節）。目前需要用戶自己寫一個MR，實現數據的轉換輸入格式如下：

第一列：docid； 第二列：單詞及詞頻的kv數據

輸出依次為：

·topic-word頻率貢獻表
·單詞|主題輸出表
·主題|單詞輸出表
·文檔|主題輸出表
·主題|文檔輸出表
·主題輸出表

topic-word頻率貢獻表的輸出格式如下：

pai命令示例

pai -name PLDA
    -project algo_public
    -DinputTableName=lda_input
    –DtopicNum=10
    -topicWordTableName=lda_output;

算法參數

注：z是主題, w是詞, d是文檔

word2vec

功能介紹

• Word2Vec是Google在2013年開源的一個將詞表轉為向量的算法，其利用神經網絡，可以通過訓練，將詞映射到K維度空間向量，甚至對於表示詞的向量進行操作還能和語義相對應，由於其簡單和高效引起了很多人的關注。
• Google Word2Vec的工具包相關鏈接：https://code.google.com/p/word2vec/

參數設置

算法參數：單詞的特征維度：建議 0-1000向下采樣閾值 建議值為1e-3-1e-5

輸入：單詞列和詞匯表輸出：輸出詞向量表和詞匯表

pai命令示例

pai -name Word2Vec
    -project algo_public
    -DinputTableName=w2v_input
    –DwordColName=word
    -DoutputTableName=w2v_output;

算法參數

SplitWord

• 基於AliWS(Alibaba Word Segmenter的簡稱)詞法分析係統，對指定列對應的文章內容進行分詞，分詞後的各個詞語間以空格作為分隔符，若用戶指定了詞性標注或語義標注相關參數，則會將分詞結果、詞性標注結果和語義標注結果一同輸出，其中詞性標注分隔符為”/“，語義標注分隔符為”|”。目前僅支持中文淘寶分詞和互聯網分詞。

功能介紹

字段設置（略）

參數設置：

分詞算法：CRF,UNIGRAM  
識別選項：分詞中，是否識別特殊意義的名詞；  
合並選項：將具有特殊領域的名詞作為整體，不進行切分操作  
字符串切分長度：>=0,數字串按指定長度進行截斷作為檢索單元；默認為0,不對數字串進行長度切分  
使用詞頻糾錯：是否使用糾錯詞典；  
標注詞性：輸出結果中，標注詞性  

實例介紹

輸入包含兩列的表，第一列是文檔id，第二列是文檔內容text,如下：

輸出結果如下：

pai命令示例

pai -name split_word
    -project algo_public
    -DinputTableName=doc_test
    -DselectedColNames=content1,content2
    -DoutputTableName=doc_test_split_word
    -DinputTablePartitions="region=cctv_news"
    -DoutputTablePartition="region=news"
    -Dtokenizer=TAOBAO_CHN
    -DenableDfa=true
    -DenablePersonNameTagger=false
    -DenableOrgnizationTagger=false
    -DenablePosTagger=false
    -DenableTelephoneRetrievalUnit=true
    -DenableTimeRetrievalUnit=true
    -DenableDateRetrievalUnit=true
    -DenableNumberLetterRetrievalUnit=true
    -DenableChnNumMerge=false
    -DenableNumMerge=true
    -DenableChnTimeMerge=false
    -DenableChnDateMerge=false
    -DenableSemanticTagger=true

算法參數

三元組轉kv

功能介紹

• 給定三元組（row,col,value）類型為XXD 或 XXL, X表示任意類型, D表示Double, L表示bigint，轉成kv格式（row,[col_id:value]），其中row和value類型和原始輸入數據一致，col_id類型是bigint，並給出col的索引表映射到col_id
• 輸入表形式如下

• 輸出kv表如下，kv分隔符可以自定義

• 輸出word的索引表如下

PAI命令示例

PAI -name triple_to_kv 
-project algo_public 
-DinputTableName=test_data 
-DoutputTableName=test_kv_out
-DindexOutputTableName=test_index_out
-DidColName=id 
-DkeyColName=word 
-DvalueColName=count
-DinputTablePartitions=ds=test1
-DindexInputTableName=test_index_input
-DindexInputKeyColName=word
-DindexInputKeyIdColName=word_id
-DkvDelimiter=:
-DpairDelimiter=;
-Dlifecycle=3

算法參數

實例

測試數據

新建數據SQL

drop table if exists triple2kv_test_input;
create table triple2kv_test_input as 
select 
  *
from 
(
  select '01' as id, 'a' as word, 10 as count from dual
    union all
      select '01' as id, 'b' as word, 20 as count from dual
    union all
      select '01' as id, 'c' as word, 30 as count from dual
    union all
      select '02' as id, 'a' as word, 100 as count from dual
    union all
      select '02' as id, 'd' as word, 200 as count from dual
    union all
      select '02' as id, 'e' as word, 300 as count from dual
) tmp;

運行命令

PAI -name triple_to_kv 
-project algo_public 
-DinputTableName=triple2kv_test_input 
-DoutputTableName=triple2kv_test_input_out
-DindexOutputTableName=triple2kv_test_input_index_out 
-DidColName=id 
-DkeyColName=word 
-DvalueColName=count 
-Dlifecycle=1;

運行結果triple2kv_test_input_out

+------------+------------+
| id         | key_value  |
+------------+------------+
| 02         | 1:100;4:200;5:300 |
| 01         | 1:10;2:20;3:30 |
+------------+------------+

triple2kv_test_input_index_out

+------------+------------+
| key        | key_id     |
+------------+------------+
| a          | 1          |
| b          | 2          |
| c          | 3          |
| d          | 4          |
| e          | 5          |
+------------+------------+

字符串相似度

功能介紹

計算字符串相似度在機器學習領域是一個非常基本的操作，主要用在信息檢索，自然語言處理，生物信息學等領域。本算法支持Levenshtein Distance，Longest Common SubString，String Subsequence Kernel，Cosine，simhash_hamming五種相似度計算方式。支持兩兩計算和top n計算兩種輸入方式。

Levenshtein（Levenshtein Distance）支持距離和相似度兩個參數，相似度=1-距離，距離在參數中表示為levenshtein，相似度在參數中表示為levenshtein_sim。

lcs（Longest Common SubString）支持距離和相似度兩個參數，相似度=1-距離，距離在參數中表示為lcs，相似度在參數中表示為lcs_sim。

ssk（String Subsequence Kernel）支持相似度計算，在參數中表示為ssk。

參考：Lodhi, Huma; Saunders, Craig; Shawe-Taylor, John; Cristianini, Nello; Watkins, Chris (2002). “Text classification using string kernels”. Journal of Machine Learning Research: 419–444.

cosine（Cosine）支持相似度計算，在參數中表示為cosine。

參考：Leslie, C.; Eskin, E.; Noble, W.S. (2002), The spectrum kernel: A string kernel for SVM protein classification 7, pp. 566–575

simhash_hamming，其中SimHash算法是把原始的文本映射為64位的二進製指紋，HammingDistance則是計算二進製指紋在相同位置上不同的字符的個數，支持距離和相似度兩個參數，相似度=1-距離/64.0，距離在參數中表示為simhash_hamming，相似度在參數中表示為simhash_hamming_sim。

SimHash詳細介紹請見pdf；

HammingDistance詳細介紹請見維基百科鏈接wiki

兩兩計算

PAI命令

PAI -name string_similarity
    -project algo_public
    -DinputTableName="pai_test_string_similarity"
    -DoutputTableName="pai_test_string_similarity_output"
    -DinputSelectedColName1="col0"
    -DinputSelectedColName2="col1";

算法參數

示例

測試數據

create table pai_ft_string_similarity_input as select * from 
(select 0 as id, "北京" as col0, "北京" as col1 from dual
union all
select 1 as id, "北京" as col0, "北京上海" as col1 from dual
union all
select 2 as id, "北京" as col0, "北京上海香港" as col1 from dual
)tmp;

pai命令

PAI -name string_similarity
    -project sre_mpi_algo_dev
    -DinputTableName=pai_ft_string_similarity_input
    -DoutputTableName=pai_ft_string_similarity_output
    -DinputSelectedColName1=col0
    -DinputSelectedColName2=col1
    -Dmethod=simhash_hamming
    -DinputAppendColNames=col0,col1;

輸出說明

方法simhash_hamming輸出結果如下：

方法simhash_hamming_sim輸出結果如下：

字符串相似度-topN

PAI命令

PAI -name string_similarity_topn
    -project algo_public
    -DinputTableName="pai_test_string_similarity_topn"
    -DoutputTableName="pai_test_string_similarity_topn_output"
    -DmapTableName="pai_test_string_similarity_map_topn"
    -DinputSelectedColName="col0"
    -DmapSelectedColName="col1";

算法參數

示例

測試數據

create table pai_ft_string_similarity_topn_input as select * from 
(select 0 as id, "北京" as col0 from dual
union all
select 1 as id, "北京上海" as col0 from dual
union all
select 2 as id, "北京上海香港" as col0 from dual
)tmp;

pai命令

PAI -name string_similarity_topn
    -project sre_mpi_algo_dev
    -DinputTableName=pai_ft_string_similarity_topn_input
    -DmapTableName=pai_ft_string_similarity_topn_input
    -DoutputTableName=pai_ft_string_similarity_topn_output
    -DinputSelectedColName=col0
    -DmapSelectedColName=col0
    -DinputAppendColNames=col0
    -DinputAppendRenameColNames=input_col0
    -DmapAppendColNames=col0
    -DmapAppendRenameColNames=map_col0
    -Dmethod=simhash_hamming_sim;

輸出說明

停用詞過濾

功能介紹

停用詞過濾，是文本分析中一個預處理方法。它的功能是過濾分詞結果中的噪聲（例如：的、是、啊等）。

參數設置

組件說明

兩個輸入樁，從左到右依次為：

• 輸入表，即需要過濾的分詞結果表；對應的參數名為inputTableName
• 停用詞表，表的格式為一列，每行為一個停用詞；對應的參數名為noiseTableName

參數界麵說明

• 可以選擇需要過渡的列

執行調化說明

• 可以自己配置並發計算核心數目與內存，默認係統自動分配

PAI命令

PAI -name FilterNoise -project algo_public 
    -DinputTableName=”test_input” -DnoiseTableName=”noise_input” 
    -DoutputTableName=”test_output” 
    -DselectedColNames=”words_seg1,words_seg2” 
    -Dlifecycle=30

算法參數

示例

源數據

• 分詞的結果表 temp_word_seg_input

• 停用詞表 temp_word_noise_input

  

1 創建實驗

2 選擇待過濾列 seg

3 運行結果

最後更新：2016-09-09 09:58:16

  上一篇： 統計分析__使用手冊(new)_機器學習-阿裏雲

  下一篇： 網絡分析__使用手冊(new)_機器學習-阿裏雲