853      阿裏雲  技術社區[雲棲]

E-MapReduce 快速開始__創建 E-MapReduce_快速入門_E-MapReduce-阿裏雲

注意：請確認您已經完成了必選的準備工作

通過本教程，用戶能夠基本了解E-MapReduce中集群，作業和執行計劃的作用和使用方法。能夠創建一個Spark Pi的作業在集群上運行成功，並最後在控製台頁麵上看到圓周率Pi的近似計算結果。

1. 創建集群
   1. 在控製台左側選擇集群，並點擊右上創建集群
   2. 軟件配置
      1. 選擇EMR-2.1.1產品版本
      2. 使用默認軟件配置
   3. 硬件配置
      1. 選擇按量付費
      2. 若沒有安全組，打開新建，並填寫安全組名稱
      3. 選擇 Master 4核8G
      4. 選擇 Core 4核8G， 一台
      5. 其他保持默認
   4. 基礎配置
      1. 填寫集群名稱
      2. 選擇日誌路徑保存作業日誌，務必開啟。在集群對應的地域，創建OSS的Bucket
      3. 填寫密碼
   5. 創建集群
2. 創建作業
   1. 在控製台左側選擇作業，並點擊右上創建作業
   2. 填寫作業名稱
   3. 選擇Spark類型
   4. 參數填寫，使用如下

      --class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /opt/apps/spark-1.6.1-bin-hadoop2.7/lib/spark-examples-1.6.1-hadoop2.7.2.jar 10

   5. 其他保持默認，創建作業
3. 創建執行計劃
   1. 確認之前創建的集群已經創建成功以後，在列表上的狀態顯示為空閑
   2. 在控製台左側選擇執行計劃，並點擊右上創建執行計劃
   3. 創建時選擇已有集群，並選擇之前創建集群進行關聯
   4. 將之前創建的作業，加入到運行隊列中
   5. 填寫執行計劃名稱
   6. 默認手動執行
   7. 創建執行計劃
4. 運行執行計劃
   1. 在執行計劃列表頁麵，點擊立即運行
5. 查看作業日誌並確認結果
   1. 點擊管理，進入管理頁麵，在下方查看運行記錄
   2. 點擊運行記錄的右側，查看作業列表
   3. 點擊stdout能夠查看到，Pi的近似計算結果，3.14xxxx

最後更新：2016-11-23 16:04:17

  上一篇： 準備工作__快速入門_E-MapReduce-阿裏雲

  下一篇： 創建執行計劃__創建 E-MapReduce_快速入門_E-MapReduce-阿裏雲