閱讀515 返回首頁    go 阿裏雲 go 技術社區[雲棲]


Windows平台使用說明__官方遷移工具_常用工具_對象存儲 OSS-阿裏雲

簡介

ossimport2工具可以將用戶本地或者存儲在其他雲存儲的數據遷移到oss。

主要特性:

  • 支持的數據源類型有本地,七牛,百度對象存儲,金山對象存儲,又拍雲存儲,亞馬遜s3,騰訊cos,http鏈接
  • 支持斷點續傳
  • 支持上傳流量控製
  • 支持配置隻同步某個時間之後修改的數據文件
  • 支持並行list和並行數據下載/上傳
  • 支持自動同步增量數據

除了ossimport2單機工具之外,我們還提供了遷移服務,同樣支持如上數據源,並支持多台機器並行地遷移數據到OSS,如果你有較大量數據並且期望以較短時間遷移到OSS,請加旺旺群:904193608聯係我們。

運行環境

請確保機器的JDK版本都為java7(包含7)以上版本,如果不是,請先點擊這裏 將java更新到最新版本。

工具部署

下載 點擊這裏並解壓

工具配置

編輯工作目錄下的配置文件 conf/sys.properties 和 conf/local_job.cfg,根據文件中的提示進行配置

服務運行

1.執行”一鍵導入.bat”程序

2.如果之前執行過程序,會提示有是否從上次的斷點處繼續執行,或者重新執行同步任務(如果修改了同步的源端或者目的端配置,可以直接選擇重新執行)

3.任務開始後,會打開一個新的cmd窗口執行同步任務並顯示日誌,舊窗口會每隔10秒打一次任務狀態,在同步期間不要關閉兩個窗口

4.當job完成後,如果發現有任務失敗了,會提示是否重試,輸入y確定重試,輸入n則跳過退出

5.上傳失敗的文件及原因存在master/jobs/local_test/failed_tasks/任務taskid/audit.log下

6.常見任務失敗原因

  • 任務配置出錯,比如access key/id出錯,權限不足等,這種情況下通常現象是所有task都失敗,具體確認需要查看logs/ossimport2.log文件。
  • 源文件名的編碼方式與係統默認的文件名編碼方式不符,如在windows下文件名默認為gbk編碼,linux下默認為utf-8編碼。
  • 上傳過程中源目錄的文件發生了修改,這種情況在audit.log裏會提示SIZE_NOT_MATCH相關字樣的錯誤,這種情況下老的文件已經上傳成功,新的修改沒有上傳到oss。
  • 源文件在上傳過程中被刪除,導致下載的時候失敗。
  • 源文件名不符合oss命名規範(不能以/開頭,不能為空),導致上傳到oss失敗。
  • 數據源出現問題導致下載數據源文件失敗。
  • 程序異常退出,任務狀態為Abort,這種情況請聯係我們(請加旺旺群:904193608)。

最後更新:2016-11-23 20:00:46

  上一篇:go Linux平台使用說明__官方遷移工具_常用工具_對象存儲 OSS-阿裏雲
  下一篇:go RAM策略編輯器__常用工具_對象存儲 OSS-阿裏雲