阅读515 返回首页    go 阿里云


Windows平台使用说明__官方迁移工具_常用工具_对象存储 OSS-阿里云

简介

ossimport2工具可以将用户本地或者存储在其他云存储的数据迁移到oss。

主要特性:

  • 支持的数据源类型有本地,七牛,百度对象存储,金山对象存储,又拍云存储,亚马逊s3,腾讯cos,http链接
  • 支持断点续传
  • 支持上传流量控制
  • 支持配置只同步某个时间之后修改的数据文件
  • 支持并行list和并行数据下载/上传
  • 支持自动同步增量数据

除了ossimport2单机工具之外,我们还提供了迁移服务,同样支持如上数据源,并支持多台机器并行地迁移数据到OSS,如果你有较大量数据并且期望以较短时间迁移到OSS,请加旺旺群:904193608联系我们。

运行环境

请确保机器的JDK版本都为java7(包含7)以上版本,如果不是,请先点击这里 将java更新到最新版本。

工具部署

下载 点击这里并解压

工具配置

编辑工作目录下的配置文件 conf/sys.properties 和 conf/local_job.cfg,根据文件中的提示进行配置

服务运行

1.执行”一键导入.bat”程序

2.如果之前执行过程序,会提示有是否从上次的断点处继续执行,或者重新执行同步任务(如果修改了同步的源端或者目的端配置,可以直接选择重新执行)

3.任务开始后,会打开一个新的cmd窗口执行同步任务并显示日志,旧窗口会每隔10秒打一次任务状态,在同步期间不要关闭两个窗口

4.当job完成后,如果发现有任务失败了,会提示是否重试,输入y确定重试,输入n则跳过退出

5.上传失败的文件及原因存在master/jobs/local_test/failed_tasks/任务taskid/audit.log下

6.常见任务失败原因

  • 任务配置出错,比如access key/id出错,权限不足等,这种情况下通常现象是所有task都失败,具体确认需要查看logs/ossimport2.log文件。
  • 源文件名的编码方式与系统默认的文件名编码方式不符,如在windows下文件名默认为gbk编码,linux下默认为utf-8编码。
  • 上传过程中源目录的文件发生了修改,这种情况在audit.log里会提示SIZE_NOT_MATCH相关字样的错误,这种情况下老的文件已经上传成功,新的修改没有上传到oss。
  • 源文件在上传过程中被删除,导致下载的时候失败。
  • 源文件名不符合oss命名规范(不能以/开头,不能为空),导致上传到oss失败。
  • 数据源出现问题导致下载数据源文件失败。
  • 程序异常退出,任务状态为Abort,这种情况请联系我们(请加旺旺群:904193608)。

最后更新:2016-11-23 20:00:46

  上一篇:go Linux平台使用说明__官方迁移工具_常用工具_对象存储 OSS-阿里云
  下一篇:go RAM策略编辑器__常用工具_对象存储 OSS-阿里云