755      windows

使用Shell/MR時的常見問題___常見問題_大數據開發套件-阿裏雲

Q：怎麼順利執行Shell/MR類型任務

A：需要完成如下操作：

步驟1：購買ECS雲服務器。

【說明】1、建議使用centos6、centos7，或者aliyunos，其他操作係統初始化腳本暫時不支持；2、如果您添加的ecs需要執行odps任務或者同步任務，需要檢查當前ecs的python版本是否是python2.6.5以上的版本（centos5的版本為2.4的，其餘os自帶了2.6以上版本）；3、請確保ECS有公網IP；4、建議ECS的內存大小在8G以上；5、用戶自定義添加的ECS隻能支持執行ODPS_SQL、MR、SHELL、同步任務，其餘任務類型不支持；6、您需要購買“華東區”經典網絡ECS服務器，否則查詢日誌會出現網絡不可達的問題；

步驟2：添加安全組規則。

導航至安全組點擊配置規則，進入配置規則頁麵 ，如下：

• 添加內網入方向規則：

• 添加公網出方向規則：

【注意】ECS需開通8000端口，因為讀取日誌是通過IP+port方式獲取的本地日誌，如果不開通則無法查閱日誌。若不開通公網出的80端口，則無法正常將該ECS注冊到大數據開發套件中。

步驟3：查看ECS主機名和IP地址。

【說明】如果您在購買ecs的時候沒有修改機器名稱，那麼主機名和IP如下截圖所示； 如果修改過機器名稱，請到ecs服務器上執行hostname，和hostname -i獲取主機名稱和IP。

步驟4：組織管理員進入數據開發套件，導航至組織管理>調度資源，點擊增加調度資源，將購買的ECS雲服務器添加到資源組。

點擊新建調度資源操作欄中的配置服務器，進入服務器添加頁麵。

點擊添加服務器，並在添加服務器彈出框中輸入ECS主機名和IP地址，然後點擊提交。

步驟5：經過上述步驟後，已經將新購買的ECS信息注冊到了數據開發套件中，但是目前為止還不能服務。如果是新添加機器，請按照如下步驟操作：

【說明】如果執行install.sh過程中出錯或需要重新執行，請先刪除已經生成的文件，請在跟install.sh同一個目錄下執行：rm –rf base-biz*；然後在去執行install.sh

步驟6：稍後（大約15秒後）在添加服務器頁麵，點擊刷新按鈕，觀察服務狀態是否轉為“正常”狀態，若顯示正常則表示新建ECS服務注冊成功。

【說明】步驟6.2和步驟6.3中的命名都可通過點擊執行初始化按鈕來直接查看與複製。

步驟7：導航至組織管理>項目管理，在項目空間列表中點擊編輯，並在彈出框調度資源配置項中選擇新建的資源組，然後點擊提交。

Q：為什麼按照流程部署完畢了ecs，但界麵還是顯示“終止”？

A：

（1）如果是經典網絡，請確認您注冊使用的機器名稱是真實的機器名,請使用命令到ecs上執行：hostname，返回的結果即為機器名稱；不支持自定義名稱；

（2）如果是專有網絡，請確認使用的是界麵提供的命令查詢到的uuid；

（3）如果注冊信息都是正確的，而且也是按照“執行初始化”的命令複製粘貼部署的，但還是“終止”，請將ecs上的文件/home/admin/alisatasknode/logs/alisatasknode.log這份文件轉為txt格式，提工單反饋給我們；

Q：為什麼添加了調度資源，也安裝ECS成功了，但是shell任務還是執行失敗，報錯“exec target was null”？

A：執行shell任務，需要將任務修改資源組，修改到自定義創建的調度資源中；（https://help.aliyun.com/document_detail/30272.html?spm=0.0.0.0.q7siAE ）

Q：如何使用shell執行MR任務？

A：shell執行mr任務的邏輯同您在本地使用odpscmd執行邏輯一樣，案列：執行代碼：

##@resource_reference{"aaa.jar"}
/opt/taobao/tbdpapp/odpswrapper/odpsconsole/bin/odpscmd   -u  testid  -p  testkey  --project=testproject --endpoint=https://service.odps.aliyun.com/api  -e "jar -resources aaa.jar -classpath ./aaa.jar com.XXX.A"

說明：

（1）##@resource_reference{“aaa.jar”}表示您上傳到DataIDE中的資源jar包，您可以直接在編輯界麵找到這個資源，然後點擊引用即可；無需自己編寫；

（2）aaa.jar: jar的名稱；這個名稱需要保證資源名稱、classpath的名稱、resource的名稱都一致；不然會報找不到對應的jar；

（3）需要自己傳accessid，accesskey，project，endpoint；其中endpoint固定為https://service.odps.aliyun.com/api ；

（4）-e後麵就是需要執行的代碼，需要用雙引號括起來；執行不同的odps任務，隻需要替換雙引號內部的代碼即可，其餘為固定的執行命令；

Q：為什麼我注冊了ecs服務器，經常會出現自動的“暫停服務”的狀態？

A：在注冊ECS的時候，部署了一個agent，agent會有一個監聽動作，發現當前ECS的內存、cpu、load較高的時候，不適合繼續接收新的任務執行，會主動將agent服務暫停；待機器指標下降後會自動置為“正常”狀態；

Q：為什麼安裝ECS的時候，部署完成了，但是啟動失敗？

A：請檢查您的ECS係統是否有jdk1.6以上的環境；如果您是centos5.x的操作係統需要您自己安裝jdk的版本以及python2.6.5以上的版本；

最後更新：2016-11-18 14:50:55

  上一篇： 權限相關常見問題__常見問題_大數據開發套件-阿裏雲

  下一篇： 如何跨項目配置任務依賴__用戶常見問題反饋_常見問題_大數據開發套件-阿裏雲