閱讀421 返回首頁    go 人物


Hive 作業配置__作業_用戶指南_E-MapReduce-阿裏雲

E-MapReduce 中,用戶申請集群的時候,默認為用戶提供了 Hive 環境,用戶可以直接使用 Hive 來創建和操作自己的表和數據。操作步驟如下。

  1. 用戶需要提前準備好 Hive SQL 的腳本,例如:

    1. USE DEFAULT;
    2. DROP TABLE uservisits;
    3. CREATE EXTERNAL TABLE IF NOT EXISTS uservisits (sourceIP STRING,destURL STRING,visitDate STRING,adRevenue DOUBLE,user
    4. Agent STRING,countryCode STRING,languageCode STRING,searchWord STRING,duration INT ) ROW FORMAT DELIMITED FIELDS TERMI
    5. NATED BY ',' STORED AS SEQUENCEFILE LOCATION '/HiBench/Aggregation/Input/uservisits';
    6. DROP TABLE uservisits_aggre;
    7. CREATE EXTERNAL TABLE IF NOT EXISTS uservisits_aggre ( sourceIP STRING, sumAdRevenue DOUBLE) STORED AS SEQUENCEFILE LO
    8. CATION '/HiBench/Aggregation/Output/uservisits_aggre';
    9. INSERT OVERWRITE TABLE uservisits_aggre SELECT sourceIP, SUM(adRevenue) FROM uservisits GROUP BY sourceIP;
  2. 將該腳本保存到一個腳本文件中,例如叫 uservisits_aggre_hdfs.hive,然後將該腳本上傳到 OSS 的某個目錄中(例如:oss://path/to/uservisits_aggre_hdfs.hive)。

  3. 登錄阿裏雲 E-MapReduce 控製台作業列表

  4. 單擊該頁右上角的創建作業,進入創建作業頁麵。

  5. 填寫作業名稱。

  6. 選擇 Hive 作業類型,表示創建的作業是一個 Hive 作業。這種類型的作業,其後台實際上是通過以下的方式提交。

    1. hive [user provided parameters]
  7. 應用參數選項框中填入 Hive 命令後續的參數。例如,如果需要使用剛剛上傳到 OSS 的 Hive 腳本,則填寫的內容如下:

    1. -f ossref://path/to/uservisits_aggre_hdfs.hive

    您也可以單擊選擇 OSS 路徑,從 OSS 中進行瀏覽和選擇,係統會自動補齊 OSS 上 Hive 腳本的絕對路徑。請務必將 Hive 腳本的前綴修改為 ossref(單擊切換資源類型),以保證 E-MapReduce 可以正確下載該文件。

  8. 選擇執行失敗後策略。

  9. 單擊確定,Hive 作業即定義完成。

最後更新:2016-11-23 16:03:59

  上一篇:go Hadoop MapReduce 作業配置__作業_用戶指南_E-MapReduce-阿裏雲
  下一篇:go Pig 作業配置__作業_用戶指南_E-MapReduce-阿裏雲