閱讀120 返回首頁    go 人物

項目管理__手冊_用戶操作指南_大數據開發套件-阿裏雲

項目配置

項目配置表單功能

在項目管理的項目列表頁中點擊“項目配置”，進入大數據開發套件項目配置頁麵：

  1. 項目名稱：大數據開發套件的項目名稱，隻支持27位字母或者數字（必須字母開頭），不區分大小寫。該作為項目的唯一標識，創建後無法修改；
  2. 項目顯示名稱：大數據開發套件的項目顯示名稱，用於標識項目，支持10位字母、數字或中文，可以修改；
  3. 管理員：項目的創建人，作為項目的創建者，擁有刪除項目、禁用項目的權限，並且該身份無法變更；
  4. 創建日期：項目的創建日期，中國站以東八區為準，無法變更；
  5. 狀態：項目狀態有4種，分為正常、初始化中、禁用、初始化失敗。其中，項目新建時狀態為初始化中；新建失敗時狀態為初始化失敗，可以重試；正常的項目可以被管理員禁用，禁用後項目所有功能無法使用，數據保留，已經提交的任務正常執行，且可以通過恢複的功能將項目重新置於正常狀態；
  6. 發布目標：任務在同一個租戶內跨項目遷移的時候需要通過發布的功能，該功能需要通過此處配置才可以激活使用。用戶可以選擇同一租戶下的其他項目作為發布目標，並在數據開發界麵中選擇發布內容，將所選擇的內容發布（遷移）至目標項目；
  7. 生產賬號：大數據開發套件離線調度係統執行調度任務所使用的賬號，在項目初始化時建立，無法變更；
  8. 啟用調度周期：控製當前項目是否啟用調度係統，如果關閉則無法周期性調起任務；
  9. 允許在本項目中直接編輯任務和代碼：控製當前項目成員在本項目新建/編輯代碼文件的權限，如果關閉則無法新建/編輯代碼文件；
  10. 在本項目中能下載select結果：控製數據開發中select出的數據結果是否能夠下載，如果關閉則無法下載select的數據查詢結果；
  11. 描述：項目描述信息，用於備注項目相關信息，可以編輯變更，支持128位中文、字母、符號或數字；

注釋：項目沒有刪除狀態，所有刪除的項目不會在界麵中顯示

項目成員管理

在大數據開發套件項目配置頁麵中點擊項目成員管理，進入大數據開發套件項目成員管理頁麵：

  1. 列表項概念：
  2.     成員名稱：成員顯示昵稱，默認為登錄者雲賬號；
  3.     登錄名：成員雲賬號；
  4.     成員角色：成員作為當前大數據開發套件項目成員，在項目中擁有的角色（項目管理員、開發、運維、部署、訪客）；
  5.     操作類型：當前用戶可以針對成員進行的操作，現為“移出本項目”（僅項目管理員角色擁有該權限），即將該成員移除出當前項目；
  6. 添加成員：係統可以為您全量同步主賬號下全量子用戶賬號，並提供搜索篩選的功能。可以選中一個或多個搜索結果並批量設置角色。點擊確定後成員添加至項目中，被添加的成員可以進入當前項目操作數據和項目中的其他功能；

注釋：

  • 移出本項目的操作，無法針對本人。
  • 對應項目的角色，權限概述：
Data IDE角色 平台權限特征 MaxCompute角色 MaxCompute數據權限
組織管理員 指組織的管理者，可新建計算引擎、新建項目空間、新建調度資源、添加組織成員、為組織成員賦予組織管理員角色、配置數據類目等。 無 無
項目管理員 指項目空間的管理者，可針對項目空間基本屬性、數據源、當前項目空間計算引擎配置和項目成員進行管理，並為組織成員賦予項目管理員、開發、運維、部署、訪客角色。 role_project_admin project/table/fuction/resource/instance/job/volume/offlinemodel/package的所有權限
開發 開發角色用戶能夠創建工作流、腳本文件、資源和UDF，新建/刪除表，同時可以創建發布包，但不能執行發布操作。 role_project_dev project/fuction/resource/instance/job/volume/offlinemodel/package/table的所有權限
運維 項目空間的運維人員，由項目管理員/項目所有者分配運維權限；擁有發布及線上運維的操作權限，無數據開發的操作權限。 role_project_pe project/fuction/resource/instance/job/offlinemodel的所有權限，擁有volume/package的read權限，擁有table的read和describe權限
部署 部署角色與運維角色相似，但是其沒有線上運維操作權限。 role_project_deploy 默認無權限
訪客 訪客角色的用戶隻具備查看權限，而無權限進行編輯工作流和代碼等。 role_project_guest 默認無權限

數據源管理

數據源作為數據同步任務鏈接數據源端和目標端的通路，在項目級別進行統一的管理和配置，由項目管理員對該部分進行配置操作。目前支持多種數據源類型，具體包括：MaxCompute、OCS、DRDS、ADS、RDS（MySQL、SQL Server、PostgreSQL）、OSS、Oracle、FTP、HDFS。

  1. 列表項概念：
  2.     數據源名稱：數據源鏈接在建立時用於唯一標識的名稱，用戶可以通過搜索功能來快速定位數據源；
  3.     數據源類型：當前數據源鏈接作用的數據源類型；
  4.     鏈接信息：描述數據源鏈接的詳細信息，如MaxCompute中的Endpoint、MaxCompute Project、Access Id；
  5.     數據源描述：描述當前數據源的信息，非必填信息；
  6.     操作：
  7.         刪除：刪除當前數據源，僅項目管理員可以操作；
  8.         編輯：編輯當前數據源，如修改數據源配置，僅項目管理員可以操作；
  9. 新增數據源：
  10.     數據源名稱：
  11.     數據源描述：
  12.     數據源類型：
  13.     數據源標識（每種數據源該部分內容均有差異，下麵以RDS的mysql實例為例）：
  14.         RDS實例名稱：對應RDS實例的名稱；
  15.         數據庫名稱：該實例中目標鏈接庫名；
  16.         用戶名：目標鏈接庫的用戶名；
  17.         密碼：目標鏈接庫的密碼；

注釋：

  • 數據源名稱的odps_first作為默認數據源，無法被刪除；
  • 更多數據源配置請參考大數據開發套件文檔中心《數據源配置》章節；

調度資源管理

調度資源可以包括若幹台物理機或ECS虛機，用於運行調度任務。項目管理員可以在“項目配置-調度資源管理頁麵”中新建、修改調度資源。用戶在默認調度資源的響應性能無法滿足業務需要時，可以自主購買ECS配置成為調度資源，以提升調度任務的執行效率。

  1. 列表項概念：
  2.     資源名稱：調度資源組名稱，由英文字母、下劃線、數字組成，不超過60個字符，創建後不支持修改；
  3.     ID：調度資源在係統中的唯一標識，在任務執行日誌定位中使用；
  4.     網絡類型：調度資源添加的ECS服務器所使用的網絡類型，分為專有網絡和經典網絡；
  5.     服務器：當前調度資源中所包含的的服務器名稱；
  6.     默認調度資源：默認調度資源為標記位，標記當前調度資源是否為默認調度資源。調度任務默認向該資源組提交任務，一個項目內有且隻有一個默認調度資源。
  7.     操作類型：
  8.         服務器初始化：配置的好的ECS服務器，需要以相應的ECS中admin角色，修改如界麵提示中的配置，詳細操作參考下文的“新增調度資源”；
  9.         修改服務器：修改當前調度資源中的服務器配置，可以新增/刪除務器，以及修改服務器的最大並發任務數；
  10.         修改歸屬項目：分配當前調度資源可以被指定項目使用，該操作隻能由開通服務的主賬號進行；
  12. 修改默認資源：變更默認調度資源，可以指定當前項目下任何一個調度資源為默認調度資源。默認調度資源調整會影響全體任務，請慎重修改。
  13. 新增調度資源：新增調度資源組，詳細操作參考下文的“新增調度資源”；

注釋：

  • 經典網絡：IP地址由阿裏雲統一分配，配置簡便，使用方便，適合對操作易用性要求比較高、需要快速使用ECS的用戶。
  • 專有網絡：邏輯隔離的私有網絡，用戶可以自定義網絡拓撲和IP地址，支持通過專線連接。適合對網絡管理熟悉了解的用戶。
  • 經典網絡和專有網絡相關問題請參考阿裏雲文檔中心《經典網絡和VPC常見問題FAQ》；

常見問題：如何新增調度資源？

  1. 步驟一：購買ECS雲服務器；

    注釋：

    • 建議使用centos6、centos7，或者aliyunos；
    • 如果您添加的ecs需要執行odps任務或者同步任務，需要檢查當前ecs的python版本是否是python2.6.5以上的版本（centos5的版本為2.4的，其餘os自帶了2.6以上版本）；
    • 請確保ECS有公網IP；
    • 建議ECS的內存大小在4G以上；
    • 用戶自定義添加的ECS隻能支持執行ODPS_SQL、MR、SHELL、同步任務，其餘任務類型不支持。

  2. 步驟二：查看ECS主機名和IP地址；

    注釋：如果您在購買ecs的時候沒有修改機器名稱，那麼主機名和IP如下截圖所示； 如果修改過機器名稱，請到ecs服務器上執行hostname和hostname -i，獲取主機名稱和IP。

  3. 步驟三：項目管理員，進入“項目配置-調度資源管理頁麵”，點擊“新增調度資源”（或選擇某一個調度資源，點擊“修改服務器”），將購買的ECS雲服務器作為服務器，添加到資源組中；

    注釋：

    • 填寫專有網絡下的ECS作為服務器時，需要用戶填寫ECS的UUID作為服務器名稱。獲取方式：登陸到ECS機器執行命令：dmidecode | grep UUID；
    • 如執行dmidecode | grep UUID，返回結果是UUID: 713F4718-8446-4433-A8EC-6B5B62D75A24，則對應的uuid為713F4718-8446-4433-A8EC-6B5B62D75A24。

  4. 步驟四：項目管理員，進入“項目配置-調度資源管理頁麵”，選中某一台機器，點擊“服務器初始化”，根據彈出窗內容進行操作：

  1. 用root權限，登錄ECS服務器[服務器IP]（該服務器為您所需要操作的ECS），ssh root@[服務器IP]，如：ssh root@121.43.59.64；
  2. 執行命令（該行命令直接copy界麵提示，並執行）：wget https://alisaproxy.shuju.aliyun.com/install.sh ；
  3. 執行命令（該行命令直接copy界麵提示，並執行）：sh install.sh --user_name=zz_[調度資源唯一標識] --password=[AK密碼] --enable_uuid=false；
  4. 稍後（大約15秒）在添加服務器頁麵，點擊刷新按鈕，觀察服務狀態是否轉為“正常”狀態，若顯示正常則表示新建ECS服務器注冊成功；

MaxCompute配置

基本設置

  1. 列表項概念：
  2.     MaxCompute基本配置：
  3.         MaxCompute項目名稱：當前大數據開發套件項目，底層使用的MaxCompute Project名稱（該MaxCompute Project作為計算和存儲資源）；
  4.         MaxCompute訪問身份：當前大數據開發套件項目，係統做計算及存儲等相關操作時，使用的一個雲賬號，該賬號默認為該項目的創建者使用的主賬號，用於訪問MaxCompute Project；
  5.         MaxCompute Owner賬號：當前大數據開發套件項目，底層使用的MaxCompute Project的Owner賬號，該賬號可以在用戶單獨訪問MaxCompute Console時使用（一般不推薦使用）；
  6.     MaxCompute安全設置：
  7.         使用ACL授權：默認激活，激活/凍結該開關，相當於Owner賬號在MaxCompute Project中執行set CheckPermissionUsingACL=true/false操作；
  8.         允許對象創建者訪問對象：默認激活，激活/凍結該開關，相當於Owner賬號在MaxCompute Project中執行set ObjectCreatorHasAccessPermission=true/false；
  9.         允許對象創建者授權對象：默認激活，激活/凍結該開關，相當於Owner賬號在MaxCompute Project中執行set ObjectCreatorHasGrantPermission=true/false；
  10.         項目空間數據保護：默認凍結，激活/凍結該開關，相當於Owner賬號在MaxCompute Project中執行set ProjectProtection=true/false；
  11.         子賬號服務：默認激活，激活/凍結該開關，控製子賬號可以訪問/禁止訪問該MaxCompute Project；

自定義用戶角色

  1. 列表項概念：
  2.     角色名稱：MaxCompute Project中的Role名稱；
  3.     操作：
  4.         查看詳情：查看當前Role中包含的成員List，以及當前Role對表/項目的權限；
  5.         權限管理：設置並管理當前Role對表/項目的權限；
  6.         成員管理：添加/刪除當前Role中的成員；
  7.         刪除：刪除當前Role；
  8. 新增角色：
  9.     角色名稱：新增Role名稱；
  10.     修改成員：添加/刪除Role中的成員；

注釋：此處自定義角色所設定權限，將與原有係統權限取並集；

計費轉換

用戶可以對任一項目進行計費轉換的操作。目前MaxCompute支持兩種計費方式：按CU預付費和按I/O後付費。

如果您選擇從按CU預付費轉換為按I/O後付費，在點擊轉換後會出現以下提示：

  1. 您正在將項目"****"的計費模式由按CU預付費轉換為按I/O後付費。本次轉換後，該項目中的計算任務將會按實際的計算消耗進行扣款；已購買的未到期CU預留資源仍可繼續在其他項目中使用。

注釋：

  • CU預付費與IO後付費的區別：區別隻在於計算資源的收費及運行模式，存儲和下載的收費對兩種模式來說是一致的。CU預付費的計算任務獨占購買的CU資源，且隻享有這些購買的CU數量；IO後付費的計算任務共享公共計算資源，運行任務的快慢需要視當前運行任務總個數來定。
  • 計費互轉生效的時間：項目的收費方式的互轉，一般來說是立即生效，但有正在運行中的任務，需要等下次運行且一段時間後才會轉換過來。
  • IO後付費轉換為CU預付費項目時，需要您提前購買MaxCompute的CU資源，且隻能在同一個區域中進行項目的計費模式互轉。
  • CU預付費的項目轉換為IO後付費時，已收取的包月費用不會退還，您仍然可以新建其他的項目來使用已購的CU資源。您購買了MaxCompute的CU資源，可以創建多個項目，共享這些CU資源。
  • 不建議您進行頻繁的計費切換，可能會影響您計算任務運行的時間。
  • 需要特殊說明的是，MaxCompute 按CU的收費模式是按天計費、按月結算的。用戶在使用過程中可以根據實際使用天數退還多餘費用的等額代金券。例如：用戶采購 100 CU，預支15000元。使用25天後，MaxCompute可以以代金券形式向用戶退還其餘5天的費用，即返還2500元代金券。

進入工作區

點擊後，用戶可以進入對應項目的工作區域。

刪除

刪除操作目前隻允許大數據開發套件創建者（主賬號）操作，係統將為您同步刪除MaxCompute Project。此項操作為不可逆操作！

禁用/恢複

禁用/恢複操作目前隻允許大數據開發套件創建者（主賬號）操作，被禁用後的項目無法進行任何操作，直至恢複為止。

最後更新：2016-12-05 18:35:01

  上一篇：go 數據源配置__項目管理手冊_用戶操作指南_大數據開發套件-阿裏雲
  下一篇：go 調度資源__組織管理手冊_用戶操作指南_大數據開發套件-阿裏雲