966      阿裏雲  技術社區[雲棲]

OssImport係列之一——架構

概述

OssImport工具可以將本地、其它雲存儲的數據遷移到OSS，它有以下特點：

• 支持的豐富的數據源，有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍雲、騰訊雲COS、金山KS3、HTTP、OSS等，並可根據需要擴展；
• 支持斷點續傳；
• 支持流量控製；
• 支持遷移指定時間後的文件、特定前綴的文件；
• 支持並行數據下載、上傳；
• 支持單機模式和分布式模式，單機模式部署簡單使用方便，分布式模式適合大規模數據遷移。

架構

OssImport是基於 master-worker 的分布式架構，如下圖：

Master --------- Job --------- Console
    |
    |
   TaskTracker
    |_____________________
    |Task     | Task      | Task
    |         |           |
Worker      Worker      Worker

其中：

• Job：用戶通過提交的數據遷移任務，對用戶來說一個任務對應一個配置文件job.cfg。
• Task：Job按照 數據大小 和 文件個數 可以分成多個*Task*，每個*Task*遷移部分文件。Job切分成Task的最小單位是文件，同一個文件不會切分到多個Task中。

OssImport各模塊說明，如下表：

部署方式

OssImport有 單機模式 和 分布式模式 兩種部署方式。對於小於 1TB 的小規模數據數據遷移，單機模式即可完成。對於大規模的數據遷移，請使用分布式模式。

單機

Master、Worker、Tracker、Console運行在一個機器上，係統中有且隻有一個Worker。我們對單機模式的部署和執行進行了封裝優化，單機部署和執行都很簡單。點擊模式下Master、Worker、TaskTracker、Console四個模塊統一打包成ossimport2.jar。

單機模式下文件結構如下：

ossimport
├── bin
│   └── ossimport2.jar  # 包括Master、Worker、Tracker、Console四個模塊的總jar
├── conf
│   ├── local_job.cfg   # 單機Job配置文件
│   └── sys.properties  # 係統運行參數配置文件
├── console.bat         # Windows命令行，可以分布執行調入任務
├── console.sh          # Linux命令行，可以分布執行調入任務
├── import.bat          # Windows一鍵導入，執行配置文件為conf/local_job.cfg配置的數據遷移任務，包括啟動、遷移、校驗、重試
├── import.sh           # Linux一鍵導入，執行配置文件為conf/local_job.cfg配置的數據遷移任務，包括啟動、遷移、校驗、重試
├── logs                # 日誌目錄
└── README.md           # 說明文檔，強烈建議使用前仔細閱讀

提示：

• import.bat/import.sh為一鍵導入腳本，修改完local_job.cfg後可以直接運行；
• console.bat/console.sh為命令行工具，可以用於分布執行命令；
• 腳本或命令時請在ossimport目錄下執行，即 \.bat*/**.sh* 的同級目錄。

分布式

分布式模式下可以啟動多個Worker執行遷移數據，Task平均分配到Worker上執行，一個Worker執行多個Task。每一個機器上隻能啟動一個Worker。workers配置的第一個*Worker*上會同時啟動*Master*、*TaskTracker*，*Console*也要在該機器上運行。

分布式模式下文件結構如下：

ossimport
├── bin
│   ├── console.jar     # Console模塊jar包
│   ├── master.jar      # Master模塊jar包
│   ├── tracker.jar     # Tracker模塊jar包
│   └── worker.jar      # Worker模塊jar包
├── conf
│   ├── job.cfg         # Job配置文件模板
│   ├── sys.properties  # 係統運行參數配置文件
│   └── workers         # Worker列表
├── console.sh          # 命令行工具，目前支持隻Linux
├── logs                # 日誌目錄
└── README.md           # 說明文檔，強烈建議使用前仔細閱讀

提示：

• 分布式命令行工具*console.sh*目前隻支持Linux，Windowns暫不支持。

配置文件

單機模式下有兩個配置文件sys.properties、local_job.cfg，分布式模式下有三個配置文件sys.properties、local_job.cfg、workers。其中local_job.cfg和job.cfg是完全一樣的，隻是名稱不一樣，workers是分布式環境先獨有的。

sys.properties

係統運行參數。

job.cfg

數據遷移任務配置，local_job.cfg和job.cfg的配置項是完全一樣的，隻是名稱不一樣。

workers

workers是分布式模式先獨有的，每個IP一行，如：

192.168.1.6
192.168.1.7
192.168.1.8

提示：

• 上述配置情況下，192.168.1.6上會啟動*Master*、*Worker*、*TaskTracker*，*Console*也需要在該機上執行。
• 多個*Worker*機器的用戶名、登錄方式、工作目錄請確保相同。

運行環境

• Java 1.7及以上

最後更新：2017-07-12 11:02:19

  上一篇：  OssImport係列之二——單機部署

  下一篇：  阿裏雲入選 Gartner 2017年全球雲基礎設施即服務魔力象限