206      魔獸

準備工作常見問題__常見問題_大數據開發套件-阿裏雲

Q：大數據開發平台上的項目怎麼綁原來已有的OPDS project？

A：組織管理員把已有的ODPS project添加為計算引擎，然後創建大數據平台的項目的時候綁定該計算引擎。

Q：我公司已經有創建組織了，怎麼把我加為成員？

A：注冊好雲賬號，線下找到組織管理員，把雲賬號發給管理員，讓管理員加為組織成員後，再找到項目管理員加為項目成員。（組織管理員可以知道項目管理員是誰。）

Q：一個賬號可以加入多個組織麼？

A：一個雲賬號隻能加入一個組織，但可以成為那個組織裏多個項目的成員。

Q：怎麼開通MR（MapReduce）類型任務？

A：通過工單提交申請，申請內容需要提供需要申請的ODPS project名稱，並簡單描述使用場景。

Q：怎麼開通Shell類型任務

A：需要完成以下幾個步驟。

步驟1：進入數加管控台，點擊工單服務選擇提交工單，並在工單中填寫申請信息。

步驟2：購買ECS雲服務器。

【說明】1、建議使用centos6、centos7，或者aliyunos；2、如果您添加的ecs需要執行odps任務或者同步任務，需要檢查當前ecs的python版本是否是python2.6.5以上的版本（centos5的版本為2.4的，其餘os自帶了2.6以上版本）；3、請確保ECS有公網IP；4、建議ECS的內存大小在4G以上；5、用戶自定義添加的ECS隻能支持執行ODPS_SQL、MR、SHELL、同步任務，其餘任務類型不支持；

步驟3：添加安全組規則。

導航至安全組點擊配置規則，進入配置規則頁麵 ，如下：

• 添加內網入方向規則：

• 添加公網出方向規則：

【注意】ECS需開通8000端口，因為讀取日誌是通過IP+port方式獲取的本地日誌，如果不開通則無法查閱日誌。若不開通公網出的80端口，則無法正常將該ECS注冊到大數據開發套件中。

步驟4：查看ECS主機名和IP地址。

【說明】如果您在購買ecs的時候沒有修改機器名稱，那麼主機名和IP如下截圖所示； 如果修改過機器名稱，請到ecs服務器上執行hostname，和hostname -i獲取主機名稱和IP。

步驟5：組織管理員進入數據開發套件，導航至組織管理>調度資源，點擊增加調度資源，將購買的ECS雲服務器添加到資源組。

點擊新建調度資源操作欄中的配置服務器，進入服務器添加頁麵。

點擊添加服務器，並在添加服務器彈出框中輸入ECS主機名和IP地址，然後點擊提交。

步驟6：經過上述步驟後，已經將新購買的ECS信息注冊到了數據開發套件中，但是目前為止還不能服務。如果是新添加機器，請按照如下步驟操作：

【說明】如果執行install.sh過程中出錯或需要重新執行，請先刪除已經生成的文件，請在跟install.sh同一個目錄下執行：rm –rf base-biz*；然後在去執行install.sh

• 步驟6.4：稍後（大約15秒後）在添加服務器頁麵，點擊刷新按鈕，觀察服務狀態是否轉為“正常”狀態，若顯示正常則表示新建ECS服務注冊成功。

【說明】步驟6.2和步驟6.3中的命名都可通過點擊執行初始化按鈕來直接查看與複製。

步驟7：導航至組織管理>項目管理，在項目空間列表中點擊編輯，並在彈出框調度資源配置項中選擇新建的資源組，然後點擊提交。

Q：為什麼按照流程部署完畢了ecs，但界麵還是顯示“終止”？

A：

（1）如果是經典網絡，請確認您注冊使用的機器名稱是真實的機器名,請使用命令到ecs上執行：hostname，返回的結果即為機器名稱；不支持自定義名稱；

（2）如果是專有網絡，請確認使用的是界麵提供的命令查詢到的uuid；

（3）如果注冊信息都是正確的，而且也是按照“執行初始化”的命令複製粘貼部署的，但還是“終止”，請將ecs上的文件/home/admin/alisatasknode/logs/alisatasknode.log這份文件轉為txt格式，提工單反饋給我們；

Q：為什麼添加了調度資源，也安轉ECS成功了，但是shell任務還是執行失敗，報錯“exec target was null”？

A：執行shell任務，需要將任務修改資源組，修改到自定義創建的調度資源中；（https://help.aliyun.com/document_detail/30272.html?spm=0.0.0.0.q7siAE ）

Q：如何使用shell執行MR任務？

A：shell執行mr任務的邏輯同您在本地使用odpscmd執行邏輯一樣，案列：執行代碼：

##@resource_reference{"aaa.jar"}
/opt/taobao/tbdpapp/odpswrapper/odpsconsole/bin/odpscmd   -u  testid  -p  testkey  --project=testproject --endpoint=https://service.odps.aliyun.com/api  -e "jar -resources aaa.jar -classpath ./aaa.jar com.XXX.A"

說明：

（1）##@resource_reference{“aaa.jar”}表示您上傳到DataIDE中的資源jar包，您可以直接在編輯界麵找到這個資源，然後點擊引用即可；無需自己編寫；

（2）aaa.jar: jar的名稱；這個名稱需要保證資源名稱、classpath的名稱、resource的名稱都一致；不然會報找不到對應的jar；

（3）需要自己傳accessid，accesskey，project，endpoint；其中endpoint固定為https://service.odps.aliyun.com/api ；

（4）-e後麵就是需要執行的代碼，需要用雙引號括起來；執行不同的odps任務，隻需要替換雙引號內部的代碼即可，其餘為固定的執行命令；

Q：為什麼我注冊了ecs服務器，經常會出現自動的“暫停服務”的狀態？

A：在注冊ECS的時候，部署了一個agent，agent會有一個監聽動作，發現當前ECS的內存、cpu、load較高的時候，不適合繼續接收新的任務執行，會主動將agent服務暫停；待機器指標下降後會自動置為“正常”狀態；

Q：為什麼安裝ECS的時候，部署完成了，但是啟動失敗？

A：請檢查您的ECS係統是否有jdk1.6以上的環境；如果您是centos5.x的操作係統需要您自己安裝jdk的版本以及python2.6.5以上的版本；

Q：如何修改自定義ECS的任務並發數？

A：在配置服務器的界麵中，有個最大槽位數：說明：槽位數是定義一台機器並發任務的一個量化單位，一個shell任務或者odpssql任務占用一個槽位；一個datax任務（同步任務）可能會占用2-20個不等的槽位；可以修改該值增加您ecs並發的大小；目前默認是40個槽位

最後更新：2016-11-23 16:04:08

  上一篇： 補數據__基礎示例—完整數據開發_場景教程_大數據開發套件-阿裏雲

  下一篇： 數據開發常見問題__常見問題_大數據開發套件-阿裏雲