81      人物

命令行快速開始2__快速入門_批量計算-阿裏雲

本文檔將介紹如何使用命令行工具來提交一個作業，目的是統計一個日誌文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出現的次數。

如果您還沒開通批量計算服務，請先開通。

步驟預覽

• 命令行工具安裝和配置
• 作業準備
  • 上傳數據文件到OSS
  • 準備任務程序
• 提交作業
• 查看作業運行狀態
• 查看運行結果

1. 命令行工具安裝和配置

命令行工具安裝和配置

2. 作業準備

目的：統計一個日誌文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出現的次數。

該作業包含3個任務: split, count 和 merge:

• split 任務會把日誌文件分成 3 份。
• count 任務會統計每份日誌文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出現的次數 (count 任務需要配置InstanceCount為3，表示同時啟動3個 count 任務)。
• merge 任務會把 count 的結果合並起來。

DAG圖例:

(1) 上傳數據文件到OSS

下載本例子所需的數據: log-count-data.txt

將 log-count-data.txt 上傳到:

oss://your-bucket/log-count/log-count-data.txt

• your-bucket如表示您自己創建的bucket，本例子假設region為: cn-shenzhen.

bcs oss upload ./log-count-data.txt oss://your-bucket/log-count/log-count-data.txt
bcs oss cat oss://your-bucket/log-count/log-count-data.txt  # 檢查是否上傳成功

(2) 準備任務程序

本例子的作業程序是使用python編寫的， 下載本例子所需的程序: log-count.tar.gz

mkdir log-count && tar -xvf log-count.tar.gz -C log-count

log-count
  |-- conf.py    # 配置
  |-- split.py       # split 任務程序
  |-- count.py      # count 任務程序
  |-- merge.py    # merge 任務程序

[DEFAULT]
job_name=log-count
description=demo
pack=./log-count/
deps=split->count;count->merge
[split]
cmd=python split.py
[count]
cmd=python count.py
nodes=3
[merge]
cmd=python merge.py

bcs sub --file job.cfg -r oss://your-bucket/log-count/:/home/input -w oss://your-bucket/log-count/:/home/output

bcs j   # 獲取作業列表, 每次獲取作業列表後都會將列表緩存下來，一般第一個即是你剛才提交的作業
bcs ch 1  # 查看緩存中第一個作業的狀態
bcs log 1 # 查看緩存中第一個作業日誌

bcs oss cat oss://your-bucket/log-count/merge_result.txt

{"INFO": 2460, "WARN": 2448, "DEBUG": 2509, "ERROR": 2583}