閱讀93 返回首頁    go 奇藝

如何提交作業__操作指南_批量計算-阿裏雲

如何提交一個作業

A君： 我有一個python程序，我在本地可以這麼運行:python test.py, 但是想要在雲上運行怎麼做？

test.py 內容如下：

  1. print('Hello, cloud!')

雲上運行大致過程： 您提交一個作業到BatchCompute，BatchCompute會按照你提供的配置去申請機器，啟動虛擬機，在虛擬機中運行: python test.py, 得到結果後自動上傳到OSS中。然後您可以去OSS中查看運行的結果。

提交作業的方法有很多，下麵列舉4種：

1. 使用命令行(一條命令提交作業):

  1. bcs sub "python test.py" -p ./test.py

搞定！

  • 這條命令會將test.py文件打包成 worker.tar.gz 上傳到指定位置，然後再提交作業運行。

bcs命令需要先安裝 batchcompute-cli工具才能使用， 請看這裏。

2. 使用控製台提交作業:

下麵列舉詳細解釋步驟:

(1). 將test.py打包上傳到雲端OSS

在test.py所在目錄運行下麵的命令:

  1. tar -czf worker.tar.gz test.py # 將 test.py 打包到 worker.tar.gz

然後使用OSS控製台將 worker.tar.gz 上傳到OSS。

如果還沒有開通OSS，請先開通.

還需要創建Bucket，假設創建了Bucket名稱為 mybucket

然後在這個Bucket下創建一個目錄: test

假設您上傳到了mybucket這個Bucket下的test目錄下，則OSS路徑表示為： oss://mybucket/test/worker.tar.gz

(2). 使用控製台提交作業

打開 提交作業頁麵。

  • 按照表單提示，填寫作業名稱： first_job

第1步

  • 拖拽一個任務，按照下圖填寫表單, 其中ECS鏡像ID可以從這裏獲取: 鏡像

第2步

  • 然後點擊下麵的”提交作業”按鈕, 即可提交成功。

  • 提交成功後，自動跳轉到作業列表頁麵，您可以在這裏看到你提交的作業狀態。

  • 等待片刻後作業運行完成，即可查看結果。

3. 使用 Python SDK 提交作業

(1) 將test.py打包上傳到雲端OSS

同上一節。

(2) 提交作業

  1. from batchcompute import Client, ClientError
  2. from batchcompute import CN_SHENZHEN as REGION
  4. ACCESS_KEY_ID = 'your_access_key_id'          #需要配置
  5. ACCESS_KEY_SECRET = 'your_access_key_secret'  #需要配置
  7. job_desc = {
  8.   "Name": "my_job_name",
  9.   "Description": "hello test",
  10.   "JobFailOnInstanceFail": true,
  11.   "Priority": 0,
  12.   "Type": "DAG",
  13.   "DAG": {
  14.     "Tasks": {
  15.       "test": {
  16.         "InstanceCount": 1,
  17.         "MaxRetryCount": 0,
  18.         "Parameters": {
  19.           "Command": {
  20.             "CommandLine": "python test.py",
  21.             "PackagePath": "oss://mybucket/test/worker.tar.gz"
  22.           },
  23.           "StderrRedirectPath": "oss://mybucket/test/logs/",
  24.           "StdoutRedirectPath": "oss://mybucket/test/logs/"
  25.         },
  26.         "Timeout": 21600,
  27.         "AutoCluster": {
  28.           "InstanceType": "bcs.a2.large",
  29.           "ImageId": "img-ubuntu"
  30.         }
  31.       }
  32.     },
  33.     "Dependencies": {}
  34.   }
  35. }
  37. client = Client(REGION, ACCESS_KEY_ID, ACCESS_KEY_SECRET)
  38. result = client.create_job(job_desc)
  39. job_id = result.Id
  41. ....

(3) 更多關於Python SDK內容

請看 Python SDK

4. 使用 Java SDK 提交作業

(1) 將test.py打包上傳到雲端OSS

同上一節。

(2) 提交作業

  1. import com.aliyuncs.batchcompute.main.v20151111.*;
  2. import com.aliyuncs.batchcompute.model.v20151111.*;
  3. import com.aliyuncs.batchcompute.pojo.v20151111.*;
  4. import com.aliyuncs.exceptions.ClientException;
  6. public class SubmitJob{
  8.     String REGION = "cn-shenzhen";
  9.     String ACCESS_KEY_ID = "";     //需要配置
  10.     String ACCESS_KEY_SECRET = ""; //需要配置
  12.     public static void main(String[] args) throws ClientException{
  13.         JobDescription desc = new SubmitJob().getJobDesc();
  15.         BatchCompute client = new BatchComputeClient(REGION, ACCESS_KEY_ID, ACCESS_KEY_SECRET);
  16.         CreateJobResponse res = client.createJob(desc);
  17.         String jobId = res.getJobId();
  19.         //...
  20.     }
  22.     private JobDescription getJobDesc() {
  23.        JobDescription desc = new JobDescription();
  25.        desc.setName("testJob");
  26.        desc.setPriority(1);
  27.        desc.setDescription("JAVA SDK TEST");
  28.        desc.setType("DAG");
  29.        desc.setJobFailOnInstanceFail(true);
  31.        DAG dag = new DAG();
  33.        dag.addTask(getTaskDesc());
  35.        desc.setDag(dag);
  36.        return desc;
  37.    }
  39.    private TaskDescription getTaskDesc() {
  40.        TaskDescription task = new TaskDescription();
  42.        task.setClusterId(gClusterId);
  43.        task.setInstanceCount(1);
  44.        task.setMaxRetryCount(0);
  45.        task.setTaskName("test");
  46.        task.setTimeout(10000);
  48.        AutoCluster autoCluster = new AutoCluster();
  49.        autoCluster.setImageId("img-ubuntu");
  50.        autoCluster.setInstanceType("bcs.a2.large");
  51.     //   autoCluster.setResourceType("OnDemand");
  53.        task.setAutoCluster(autoCluster);
  55.        Parameters parameters = new Parameters();
  56.        Command cmd = new Command();
  57.        cmd.setCommandLine("python test.py");
  58.     //    cmd.addEnvVars("a", "b");
  60.        cmd.setPackagePath("oss://mybucket/test/worker.tar.gz");
  61.        parameters.setCommand(cmd);
  62.        parameters.setStderrRedirectPath("oss://mybucket/test/logs/");
  63.        parameters.setStdoutRedirectPath("oss://mybucket/test/logs/");
  64.     //    InputMappingConfig input = new InputMappingConfig();
  65.     //    input.setLocale("GBK");
  66.     //    input.setLock(true);
  67.     //    parameters.setInputMappingConfig(input);
  69.        task.setParameters(parameters);
  71.     //    task.addInputMapping("oss://my-bucket/disk1/", "/home/admin/disk1/");
  72.     //    task.addOutputtMapping("/home/admin/disk2/", "oss://my-bucket/disk2/");
  73.     //    task.addLogMapping( "/home/admin/a.log","oss://my-bucket/a.log");
  75.        return task;
  76.    }
  77. }

(3) 更多關於Java SDK內容

請看 Java SDK

最後更新：2016-12-05 17:40:27

  上一篇：go Python快速開始__快速入門_批量計算-阿裏雲
  下一篇：go OSS掛載__操作指南_批量計算-阿裏雲