1010      阿裏雲

圖模型功能介紹__圖模型_大數據計算服務-阿裏雲

MaxCompute 客戶端提供一個Jar命令用於運行 MaxCompute GRAPH作業，其使用方式與 MapReduce中的Jar命令 相同，這裏僅作簡要介紹：

Usage: jar [<GENERIC_OPTIONS>] <MAIN_CLASS> [ARGS]
    -conf <configuration_file>         Specify an application configuration file
    -classpath <local_file_list>       classpaths used to run mainClass
    -D <name>=<value>                  Property value pair, which will be used to run mainClass
    -local                             Run job in local mode
    -resources <resource_name_list>    file/table resources used in graph, seperate by comma

其中 < GENERIC_OPTIONS>包括(均為可選參數)：

• -conf <configuration file > ：指定JobConf配置文件；
• -classpath <local_file_list > : 本地執行時的classpath，主要用於指定main函數所在的jar包。大多數情況下，用戶更習慣於將main函數與Graph作業編寫在一個包中，例如：單源最短距離算法 ，因此，在執行示例程序時，-resources及-classpath的參數中都出現了用戶的jar包，但二者意義不同，-resources引用的是Graph作業，運行於分布式環境中，而-classpath引用的是main函數，運行於本地，指定的jar包路徑也是本地文件路徑。包名之間使用係統默認的文件分割符作分割(通常情況下，windows係統是分號”;”，linux係統是冒號”:”)；
• -D <prop_name > = < prop_value > : 本地執行時，<mainClass > 的java屬性，可以定義多個；
• -local：以本地模式執行Graph作業，主要用於程序調試；
• -resources <resource_name_list > : Graph作業運行時使用的資源聲明。一般情況下，resource_name_list中需要指定Graph作業所在的資源名稱。如果用戶在Graph作業中讀取了其他ODPS資源，那麼，這些資源名稱也需要被添加到resource_name_list中。資源之間使用逗號分隔，使用跨項目空間使用資源時，需要前麵加上：PROJECT_NAME/resources/，示例：-resources otherproject/resources/resfile；

同時，用戶也可以直接運行GRAPH作業的main函數直接將作業提交到 MaxCompute ，而不是通過 MaxCompute 客戶端提交作業。以PageRank算法 為例:

public static void main(String[] args) throws IOException {
  if (args.length < 2)
    printUsage();
  GraphJob job = new GraphJob();
  job.setGraphLoaderClass(PageRankVertexReader.class);
  job.setVertexClass(PageRankVertex.class);
  job.addInput(TableInfo.builder().tableName(args[0]).build());
  job.addOutput(TableInfo.builder().tableName(args[1]).build());
  // 將作業中使用的資源添加到cache resource，對應於jar命令中 -resources 和 -libjars 中指定的資源
  job.addCacheResource("mapreduce-examples.jar");
  // 將使用的jar及其他文件添加到class cache resource，對應於jar命令中 -libjars 中指定的資源
  job.addCacheResourceToClassPath("mapreduce-examples.jar");
  // 設置console中，odps_config.ini對應的配置項，使用時替換為自己的配置
  OdpsConf.getInstance().setProjName("project_name");
  OdpsConf.getInstance().setEndpoint("end_point");
  OdpsConf.getInstance().setAccessId("access_id");
  OdpsConf.getInstance().setAccessKey("access_key");
  // default max iteration is 30
  job.setMaxIteration(30);
  if (args.length >= 3)
    job.setMaxIteration(Integer.parseInt(args[2]));
  long startTime = System.currentTimeMillis();
  job.run();
  System.out.println("Job Finished in "
    + (System.currentTimeMillis() - startTime) / 1000.0 + " seconds");
}

GraphJob job = new GraphJob();
job.addInput(TableInfo.builder().tableName(“tblname”).build());  //表作為輸入
job.addInput(TableInfo.builder().tableName(“tblname”).partSpec("pt1=a/pt2=b").build()); //分區作為輸入
//隻讀取輸入表的 col2 和 col0 列，在 GraphLoader 的 load 方法中，record.get(0) 得到的是col2列，順序一致
job.addInput(TableInfo.builder().tableName(“tblname”).partSpec("pt1=a/pt2=b").build(), new String[]{"col2", "col0"});

GraphJob job = new GraphJob();
//輸出表為分區表時需要給到最末一級分區
job.addOutput(TableInfo.builder().tableName("table_name").partSpec("pt1=a/pt2=b").build());
// 下麵的參數 true 表示覆蓋tableinfo指定的分區，即INSERT OVERWRITE語義，false表示INSERT INTO語義
job.addOutput(TableInfo.builder().tableName("table_name").partSpec("pt1=a/pt2=b").lable("output1").build(), true);

void addCacheResources(String resourceNames)
void addCacheResourcesToClassPath(String resourceNames)

public byte[] readCacheFile(String resourceName) throws IOException;
public Iterable<byte[]> readCacheArchive(String resourceName) throws IOException;
public Iterable<byte[]> readCacheArchive(String resourceName, String relativePath)throws IOException;
public Iterable<WritableRecord> readResourceTable(String resourceName);
public BufferedInputStream readCacheFileAsStream(String resourceName) throws IOException;
public Iterable<BufferedInputStream> readCacheArchiveAsStream(String resourceName) throws IOException;
public Iterable<BufferedInputStream> readCacheArchiveAsStream(String resourceName, String relativePath) throws IOException;