443
阿里云
编写Graph__快速开始_大数据计算服务-阿里云
Graph作业的提交方式与 MapReduce基本相同。下面,以SSSP算法为例,说明如何提交Graph作业。使用Maven的用户可以从Maven库中搜索”odps-sdk-graph”获取不同版本的Java SDK,相关配置信息:
<dependency>
<groupId>com.aliyun.odps</groupId>
<artifactId>odps-sdk-graph</artifactId>
<version>0.20.7</version>
</dependency>
下面将以运行示例程序单源最短距离(Single Source Shortest Path,简写:SSSP)为例, 帮助您快速掌握如何运行Graph作业。
1 进入console并运行odpscmd。
2 创建输入输出表。
create table sssp_in (v bigint, es string);
create table sssp_out (v bigint, l bigint);
备注:创建Table语句请参考 SQL Create描述。
3 上传数据
本地数据内容如下:
1 2:2,3:1,4:4
2 1:2,3:2,4:1
3 1:1,2:2,5:1
4 1:4,2:1,5:1
5 3:1,4:1
以空格键做两列的分隔符,执行tunnel命令上传数据:
tunnel u -fd " " sssp.txt sssp_in;
4 编写sssp示例:
根据 Graph开发插件 的介绍,本地编译、调试SSSP算法示例。本示例中假定代码被打包为odps-graph-example-sssp.jar。
备注:请注意,仅需要将SSSP代码打包即可,不需要同时将SDK打入”odps-graph-example-sssp.jar”中。
5 添加jar资源:
add jar $LOCAL_JAR_PATH/odps-graph-example-sssp.jar
备注:创建资源介绍请参考 资源操作
6 运行sssp:
jar -libjars odps-graph-example-sssp.jar -classpath $LOCAL_JAR_PATH/odps-graph-example-sssp.jar com.aliyun.odps.graph.examples.SSSP 1 sssp_in sssp_out;
jar命令用于运行 MaxCompute GRAPH 作业,用法与 MapReduce 作业的运行命令完全一致。
GRAPH作业执行时命令行会打印作业实例ID,执行进度,结果Summary等。
7 输出示例如下:
ID = 20130730160742915gl205u3
2013-07-31 00:18:36 SUCCESS
Summary:
Graph Input/Output
Total input bytes=211
Total input records=5
Total output bytes=161
Total output records=5
graph_input_[bsp.sssp_in]_bytes=211
graph_input_[bsp.sssp_in]_records=5
graph_output_[bsp.sssp_out]_bytes=161
graph_output_[bsp.sssp_out]_records=5
Graph Statistics
Total edges=14
Total halted vertices=5
Total sent messages=28
Total supersteps=4
Total vertices=5
Total workers=1
Graph Timers
Average superstep time (milliseconds)=7
Load time (milliseconds)=8
Max superstep time (milliseconds) =14
Max time superstep=0
Min superstep time (milliseconds)=5
Min time superstep=2
Setup time (milliseconds)=277
Shutdown time (milliseconds)=20
Total superstep time (milliseconds)=30
Total time (milliseconds)=344
OK
注意:如果用户需要使用Graph功能,需要在工单系统上提交申请,提供项目空间名称,简单描述使用场景。只有申请通过,开通好权限后才可以使用。
最后更新:2016-05-18 17:56:39
上一篇:
编写MapReduce__快速开始_大数据计算服务-阿里云
下一篇:
处理非结构化数据__快速开始_大数据计算服务-阿里云
长轮询__最佳实践_消息服务-阿里云
DescribeLoadBalancerUDPListenerAttribute__Listener相关API_API 参考_负载均衡-阿里云
产品SLA__产品简介_CDN-阿里云
数据拆分策略__最佳实践_分布式关系型数据库 DRDS-阿里云
开发问题排查__开发者指南_企业级分布式应用服务 EDAS-阿里云
公众趋势分析__数加产品概览_数加平台介绍-阿里云
监控任务管理__管理监控任务_用户指南_业务实时监控服务 ARMS-阿里云
子用户已经被授权了某Bucket权限,为什么登录OSS控制台访问时提示没有操作权限___对象存储(OSS)授权问题_授权常见问题_访问控制-阿里云
producer-lib__loghub-采集_用户指南_日志服务-阿里云
阿里云回应局座张召忠喊话云栖大会:我们给你留了位置
相关内容
常见错误说明__附录_大数据计算服务-阿里云
发送短信接口__API使用手册_短信服务-阿里云
接口文档__Android_安全组件教程_移动安全-阿里云
运营商错误码(联通)__常见问题_短信服务-阿里云
设置短信模板__使用手册_短信服务-阿里云
OSS 权限问题及排查__常见错误及排除_最佳实践_对象存储 OSS-阿里云
消息通知__操作指南_批量计算-阿里云
设备端快速接入(MQTT)__快速开始_阿里云物联网套件-阿里云
查询API调用流量数据__API管理相关接口_API_API 网关-阿里云
使用STS访问__JavaScript-SDK_SDK 参考_对象存储 OSS-阿里云