631
技術社區[雲棲]
阿裏雲創建E-MapReduce 1 快速開始
注意：請確認您已經完成了必選的準備工作。
通過本教程，用戶能夠基本了解E-MapReduce中集群、作業和執行計劃的作用和使用方法。能夠創建一個Spark Pi的作業在集群上運行成功，並最後在控製台頁麵上看到圓周率Pi的近似計算結果。
1.創建集群
在控製台左側選擇集群，並點擊右上創建集群
軟件配置
選擇最新的EMR產品版本，比如EMR-3.4.1
使用默認軟件配置
硬件配置
選擇按量付費
若沒有安全組，打開新建，並填寫安全組名稱
選擇 Master 4核8G
選擇 Core 4核8G， 兩台
其他保持默認
基礎配置
填寫集群名稱
選擇日誌路徑保存作業日誌，務必開啟。在集群對應的地域，創建OSS的Bucket
填寫密碼
創建集群
2.創建作業
在控製台左側選擇作業，並點擊右上創建作業
填寫作業名稱
選擇Spark類型
參數填寫，使用如下
--class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar 10
注意：，這個/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar, 需要根據實際集群中的 Spark 版本來修改這個jar包，比如 Spark 是2.1.1的, 那麼就是spark-examples_2.11-2.1.1.jar,如果是2.2.0的，那麼就是spark-examples_2.11-2.2.0.jar
其他保持默認，創建作業
3.創建執行計劃
確認之前創建的集群已經創建成功以後，在列表上的狀態顯示為空閑
在控製台左側選擇執行計劃，並點擊右上創建執行計劃
創建時選擇已有集群，並選擇之前創建集群進行關聯
將之前創建的作業，加入到運行隊列中
填寫執行計劃名稱
默認手動執行
創建執行計劃
運行執行計劃
在執行計劃列表頁麵，點擊立即運行
查看作業日誌並確認結果
點擊管理，進入管理頁麵，在下方查看運行記錄
點擊運行記錄的右側，查看作業列表
點擊stdout能夠查看到Pi的近似計算結果：3.14xxxx
最後更新：2017-08-31 23:32:57