81      同花顺

命令行快速开始2__快速入门_批量计算-阿里云

本文档将介绍如何使用命令行工具来提交一个作业，目的是统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。

如果您还没开通批量计算服务，请先开通。

步骤预览

• 命令行工具安装和配置
• 作业准备
  • 上传数据文件到OSS
  • 准备任务程序
• 提交作业
• 查看作业运行状态
• 查看运行结果

1. 命令行工具安装和配置

命令行工具安装和配置

2. 作业准备

目的：统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。

该作业包含3个任务: split, count 和 merge:

• split 任务会把日志文件分成 3 份。
• count 任务会统计每份日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数 (count 任务需要配置InstanceCount为3，表示同时启动3个 count 任务)。
• merge 任务会把 count 的结果合并起来。

DAG图例:

(1) 上传数据文件到OSS

下载本例子所需的数据: log-count-data.txt

将 log-count-data.txt 上传到:

oss://your-bucket/log-count/log-count-data.txt

• your-bucket如表示您自己创建的bucket，本例子假设region为: cn-shenzhen.

bcs oss upload ./log-count-data.txt oss://your-bucket/log-count/log-count-data.txt
bcs oss cat oss://your-bucket/log-count/log-count-data.txt  # 检查是否上传成功

(2) 准备任务程序

本例子的作业程序是使用python编写的， 下载本例子所需的程序: log-count.tar.gz

mkdir log-count && tar -xvf log-count.tar.gz -C log-count

log-count
  |-- conf.py    # 配置
  |-- split.py       # split 任务程序
  |-- count.py      # count 任务程序
  |-- merge.py    # merge 任务程序

[DEFAULT]
job_name=log-count
description=demo
pack=./log-count/
deps=split->count;count->merge
[split]
cmd=python split.py
[count]
cmd=python count.py
nodes=3
[merge]
cmd=python merge.py

bcs sub --file job.cfg -r oss://your-bucket/log-count/:/home/input -w oss://your-bucket/log-count/:/home/output

bcs j   # 获取作业列表, 每次获取作业列表后都会将列表缓存下来，一般第一个即是你刚才提交的作业
bcs ch 1  # 查看缓存中第一个作业的状态
bcs log 1 # 查看缓存中第一个作业日志

bcs oss cat oss://your-bucket/log-count/merge_result.txt

{"INFO": 2460, "WARN": 2448, "DEBUG": 2509, "ERROR": 2583}