809      阿裏雲  技術社區[雲棲]

引導操作__用戶指南_E-MapReduce-阿裏雲

引導操作的作用

引導操作的作用是在集群啟動 Hadoop 前執行您自定義的腳本，以便安裝您需要的第三方軟件，或者修改集群運行環境。

通過引導操作，您可以安裝很多目前集群尚未支持的東西到您的集群上，例如：

• 使用 yum 安裝已經提供的軟件。

• 直接下載公網上的一些公開的軟件。

• 讀取 OSS 中您的自有數據。

• 安裝並運行一個服務，例如 Flink 或者 Impala，但需要編寫的腳本會複雜些。

強烈建議您先用按量付費的集群來進行引導操作的測試，測試都正確以後再創建包年包月的集群。

如何使用

1. 登錄阿裏雲 E-MapReduce 控製台集群列表。

2. 在上方選擇所在的地域（Region），所創建集群將會在對應的 Region 內。

3. 單擊創建集群，即會進入創建集群的操作界麵。

4. 在創建集群的基本信息頁麵，單擊添加引導操作，進入其操作界麵。

5. 填寫添加引導操作界麵上的配置項，完成添加。

您最多可以添加 16 個引導操作，它們會按照您指定的順序在集群初始化時執行。默認會使用 root 賬戶執行您指定的腳本，您可以在腳本中使用 su hadoop 切換到 Hadoop 賬戶。

引導操作可能會執行失敗。為方便您的使用，引導操作失敗並不會影響集群的創建。集群創建成功後，您可以在集群詳情頁集群信息欄內的引導/軟件配置查看是否有異常發生。如果有異常，您可以登錄到各個節點上查看運行日誌，運行日誌在 /var/log/bootstrap-actions 目錄下。

引導操作類型

引導操作有兩種，一種是自定義引導操作，另一種是運行條件引導操作。兩者的主要區別是運行條件引導操作隻會在滿足條件的節點上運行您的指定操作。

自定義引導操作

自定義引導操作需要指定引導操作名稱和執行腳本在 OSS 中的位置，根據需要指定可選參數。集群初始化時各個節點會下載您指定的 OSS 腳本，直接執行或者附加上可選參數執行。

您可以在腳本中指定從 OSS 下載需要的文件，下麵的例子會將 oss://yourbucket/myfile.tar.gz 這個文件下載到本地，並解壓到 /yourdir 目錄下：

#!/bin/bash
osscmd --id=<yourid> --key=<yourkey> --host=oss-cn-hangzhou-internal.aliyuncs.com get oss://<yourbucket>/<myfile>.tar.gz ./<myfile>.tar.gz
mkdir -p /<yourdir>
tar -zxvf <myfile>.tar.gz -C /<yourdir>

osscmd 已預安裝在節點上，可以直接調用來下載文件。

注意：OSS 地址 host 有內網地址、外網地址和 VPC 網絡地址之分。如果用經典網絡，需要指定內網地址，杭州是 oss-cn-hangzhou-internal.aliyuncs.com。如果用 VPC 網絡，要指定 VPC 內網可訪問的域名，杭州是 vpc100-oss-cn-hangzhou.aliyuncs.com。

引導操作也可以通過 yum 安裝額外的係統軟件包，下麵的例子會安裝 ld-linux.so.2：

#!/bin/bash
yum install -y ld-linux.so.2

運行條件引導操作

運行條件引導操作的執行腳本是預定義的不需要您額外指定，您隻需要指定名稱和可選參數。運行條件引導操作必須提供可選參數，可選參數需要包括運行條件和操作命令，以空格間隔。運行條件支持 instance.isMaster=true/false，指定隻在 master 或者在非 master 節點上運行。以下示例為運行條件引導操作下麵的可選參數指定隻在 master 節點上創建目錄：

instance.isMaster=true mkdir -p /tmp/abc

如果需要指定多個操作命令，您可以用分號“；”分割多個語句，例如：instance.isMaster=true mkdir -p /tmp/abc;mkdir -p /tmp/def

最後更新：2016-11-23 16:03:59

  上一篇： 軟件配置__用戶指南_E-MapReduce-阿裏雲

  下一篇： 專有網絡__用戶指南_E-MapReduce-阿裏雲