353
技術社區[雲棲]
阿裏雲E-MapReduce Hive 作業配置
E-MapReduce 中，用戶申請集群的時候，默認為用戶提供了 Hive 環境，用戶可以直接使用 Hive 來創建和操作自己的表和數據。操作步驟如下。
1.用戶需要提前準備好 Hive SQL 的腳本，例如：
USE DEFAULT;
DROP TABLE uservisits;
CREATE EXTERNAL TABLE IF NOT EXISTS uservisits (sourceIP STRING,destURL STRING,visitDate STRING,adRevenue DOUBLE,user
Agent STRING,countryCode STRING,languageCode STRING,searchWord STRING,duration INT ) ROW FORMAT DELIMITED FIELDS TERMI
NATED BY ',' STORED AS SEQUENCEFILE LOCATION '/HiBench/Aggregation/Input/uservisits';
DROP TABLE uservisits_aggre;
CREATE EXTERNAL TABLE IF NOT EXISTS uservisits_aggre ( sourceIP STRING, sumAdRevenue DOUBLE) STORED AS SEQUENCEFILE LO
CATION '/HiBench/Aggregation/Output/uservisits_aggre';
INSERT OVERWRITE TABLE uservisits_aggre SELECT sourceIP, SUM(adRevenue) FROM uservisits GROUP BY sourceIP;
2.將該腳本保存到一個腳本文件中，例如叫 uservisits_aggre_hdfs.hive，然後將該腳本上傳到 OSS 的某個目錄中（例如：oss://path/to/uservisits_aggre_hdfs.hive）。
3.登錄阿裏雲 E-MapReduce 控製台作業列表。
4.單擊該頁右上角的創建作業，進入創建作業頁麵。
5.填寫作業名稱。
6.選擇 Hive 作業類型，表示創建的作業是一個 Hive 作業。這種類型的作業，其後台實際上是通過以下的方式提交。
hive [user provided parameters]
7.在應用參數選項框中填入 Hive 命令後續的參數。例如，如果需要使用剛剛上傳到 OSS 的 Hive 腳本，則填寫的內容如下：
-f ossref://path/to/uservisits_aggre_hdfs.hive
您也可以單擊選擇 OSS 路徑，從 OSS 中進行瀏覽和選擇，係統會自動補齊 OSS 上 Hive 腳本的絕對路徑。請務必將 Hive 腳本的前綴修改為 ossref（單擊切換資源類型），以保證 E-MapReduce 可以正確下載該文件。
8.選擇執行失敗後策略。
9.單擊確定，Hive 作業即定義完成。
最後更新：2017-09-01 01:02:48