515
阿里云
Windows平台使用说明__官方迁移工具_常用工具_对象存储 OSS-阿里云
简介
ossimport2工具可以将用户本地或者存储在其他云存储的数据迁移到oss。
主要特性:
- 支持的数据源类型有本地,七牛,百度对象存储,金山对象存储,又拍云存储,亚马逊s3,腾讯cos,http链接
- 支持断点续传
- 支持上传流量控制
- 支持配置只同步某个时间之后修改的数据文件
- 支持并行list和并行数据下载/上传
- 支持自动同步增量数据
除了ossimport2单机工具之外,我们还提供了迁移服务,同样支持如上数据源,并支持多台机器并行地迁移数据到OSS,如果你有较大量数据并且期望以较短时间迁移到OSS,请加旺旺群:904193608联系我们。
运行环境
请确保机器的JDK版本都为java7(包含7)以上版本,如果不是,请先点击这里 将java更新到最新版本。
工具部署
下载 点击这里并解压
工具配置
编辑工作目录下的配置文件 conf/sys.properties 和 conf/local_job.cfg,根据文件中的提示进行配置
服务运行
1.执行”一键导入.bat”程序
2.如果之前执行过程序,会提示有是否从上次的断点处继续执行,或者重新执行同步任务(如果修改了同步的源端或者目的端配置,可以直接选择重新执行)
3.任务开始后,会打开一个新的cmd窗口执行同步任务并显示日志,旧窗口会每隔10秒打一次任务状态,在同步期间不要关闭两个窗口
4.当job完成后,如果发现有任务失败了,会提示是否重试,输入y确定重试,输入n则跳过退出
5.上传失败的文件及原因存在master/jobs/local_test/failed_tasks/任务taskid/audit.log下
6.常见任务失败原因
- 任务配置出错,比如access key/id出错,权限不足等,这种情况下通常现象是所有task都失败,具体确认需要查看logs/ossimport2.log文件。
- 源文件名的编码方式与系统默认的文件名编码方式不符,如在windows下文件名默认为gbk编码,linux下默认为utf-8编码。
- 上传过程中源目录的文件发生了修改,这种情况在audit.log里会提示SIZE_NOT_MATCH相关字样的错误,这种情况下老的文件已经上传成功,新的修改没有上传到oss。
- 源文件在上传过程中被删除,导致下载的时候失败。
- 源文件名不符合oss命名规范(不能以/开头,不能为空),导致上传到oss失败。
- 数据源出现问题导致下载数据源文件失败。
- 程序异常退出,任务状态为Abort,这种情况请联系我们(请加旺旺群:904193608)。
最后更新:2016-11-23 20:00:46
上一篇:
Linux平台使用说明__官方迁移工具_常用工具_对象存储 OSS-阿里云
下一篇:
RAM策略编辑器__常用工具_对象存储 OSS-阿里云
查看实例列表__实例管理_开放API_分布式关系型数据库 DRDS-阿里云
批量操作__域名操作_产品使用手册_云解析-阿里云
搜索管道__管道接口_API使用手册_媒体转码-阿里云
创建报警任务__报警任务_用户指南_弹性伸缩-阿里云
单IP多HTTPS域名场景下的解决方案__最佳实践_HTTPDNS-阿里云
更新自定义转码模版__自定义转码模板接口_API使用手册_媒体转码-阿里云
如何保证幂等性__附录_API 参考_云服务器 ECS-阿里云
更新媒体-封面__媒体接口_API使用手册_视频点播-阿里云
数据管理简介__产品简介_数据管理-阿里云
ALIYUN::ECS::InstanceGroup__资源列表_资源编排-阿里云
相关内容
常见错误说明__附录_大数据计算服务-阿里云
发送短信接口__API使用手册_短信服务-阿里云
接口文档__Android_安全组件教程_移动安全-阿里云
运营商错误码(联通)__常见问题_短信服务-阿里云
设置短信模板__使用手册_短信服务-阿里云
OSS 权限问题及排查__常见错误及排除_最佳实践_对象存储 OSS-阿里云
消息通知__操作指南_批量计算-阿里云
设备端快速接入(MQTT)__快速开始_阿里云物联网套件-阿里云
查询API调用流量数据__API管理相关接口_API_API 网关-阿里云
使用STS访问__JavaScript-SDK_SDK 参考_对象存储 OSS-阿里云