922      阿裏雲  技術社區[雲棲]

【大數據新手上路】“零基礎”係列課程--MySQL 數據整庫遷移到 MaxCompute

隨著公司業務的增多，雲數據庫 RDS 下的 MySQL 數據庫的表越來越多，想要把它全部遷移到 MaxCompute 中進行計算分析，但又愁要配置太多次同步任務。如何能將大量的數據表一次性上傳到 MaxCompute 中呢？通過大數據開發套件的整庫遷移功能，便可快速完成 MySQL 數據整庫遷移到 MaxCompute，從而節省同步時間，提高工作效率。

下麵介紹一個適用於中小企業用戶，高效率低成本的數據同步方案：

對於雲數據庫 RDS 的 MySQL 數據庫中的數據，可以通過整庫遷移功能，快速同步到 MaxCompute 中進行存儲與分析，流程圖如下：

雲數據庫 RDS ：RDS 是一種穩定可靠、可彈性伸縮的在線數據庫服務，本實驗主要使用 雲數據庫 MySQL 版。

MaxCompute：原名 ODPS，是由阿裏雲自主研發的一款服務，提供針對TB/PB級數據、實時性要求不高的分布式處理能力，它適用於海量數據的存儲、計算，商業智能等領域。

大數據開發套件：大數據開發套件提供全麵托管的工作流服務，一站式開發管理的界麵，幫助企業快速搭建數據中心。

實驗目的和前期說明

實驗目的：
通過大數據開發套件的整庫遷移功能，快速把雲數據庫中的數據同步到 MaxCompute 中。

前期說明：
用戶擁有阿裏雲官網實名認證賬號，並且創建好賬號 Access Key。

實驗前的準備工作

開通並創建 MaxCompute 項目

1.阿裏雲實名認證賬號訪問 https://www.aliyun.com/product/odps ，開通 MaxCompute，選擇按量付費進行購買；

2.點擊開通成功頁麵的管理控製台，進入 MaxCompute 的 控製台頁麵；

3.創建項目。進入控製台頁麵後導航至 大數據開發套件 — 項目列表，點擊 創建項目，如圖所示：

4.在彈出框中選擇區域和付費方式，輸入項目名稱：

準備同步數據

創建 RDS 實例

1 . 登錄 RDS 管理控製台；
2 . 在 實例列表 頁麵，單擊 新建實例，進入 創建 頁麵；
3 . 選擇包年包月或按量付費，示例選擇包年包月。關於計費方式的選擇，請參見 收費項目及價格說明 中的計費方式；
4 . 選擇實例配置，如下圖所示：

本實驗中選擇的是上圖中的配置，網絡類型選擇的是專有網絡，您可以根據自身需求進行選擇，詳情請參見：創建實例中的選擇實例配置。
5 . 單擊立即購買，進入訂單確認頁麵；
6 . 閱讀關係型數據庫 RDS 服務條款後，根據後續提示完成支付流程。

設置白名單

1 . 登錄 RDS 管理控製台，選擇目標實例；
2 . 在實例左側菜單中選擇 數據安全性；
3 . 在數據安全性頁麵的默認分組後單擊 修改，如下圖所示：

4 . 在修改白名單分組頁麵刪除默認白名單 127.0.0.1，填寫自定義白名單後，單擊 確定，如下圖所示：

詳情請參見：設置白名單中的操作步驟。

創建賬號和數據庫

1 . 登錄 RDS 管理控製台，選擇目標實例；
2 . 選擇左側菜單中的 賬號管理，單擊 創建賬號，如下圖所示：

3 . 輸入要創建的賬號信息，單擊 確定，如下圖所示：

4 . 選擇菜單中的 數據庫管理，單擊 創建數據庫，如下圖所示：

5 . 輸入要創建的數據庫信息，單擊 確定，如下圖所示：

登錄數據庫

進入數據庫管理頁麵，點擊上側 登錄數據庫，在彈出頁麵填寫數據庫用戶名和密碼，如下圖所示：

創建表並準備數據

1 . 成功登錄數據庫後，點擊 SQL 操作下的 SQL 窗口，如下圖所示：

2 . 輸入建表語句，點擊執行,示例如下：

 CREATE TABLE `a1` 
(
    `id` int(11) NULL,
    `col1` varchar(32) NULL,
    `col2` varchar(32) NULL,
    `col3` varchar(32) NULL,
    `col4` varchar(32) NULL
)
 ENGINE=InnoDB
 DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci;

3 . 根據自身需求寫入數據即可，insert 語句如下：
INSERT INTO table_name(col_name,...) values(expr,...)

整庫遷移配置

新增數據源

1 . 登錄到大數據開發套件 數據集成產品頁，單擊左側導航欄離線同步—數據源，進入數據源管理頁麵，如下圖所示：

2 . 點擊右上角的 新增數據源，添加一個麵向整庫遷移的 MySQL 數據源 mysql_demo，填寫相關信息，如下圖所示：

3 . 點擊 測試連通性 驗證數據源訪問正確無誤後，確認並保存此數據源。

整庫遷移

1 . 進入數據源列表頁麵，找到新增的數據源，點擊對應 MySQL 數據源後的 整庫遷移，即可進入對應數據源的整庫遷移功能界麵，如下圖所示：

2 . 點擊右上角 高級設置 按鈕，您可以根據自身需求選擇轉換規則。比如 MaxCompute 端建表時統一增加了 ods_ 這一前綴，如下圖所示：

3 . 根據自身需求選擇需要遷移的數據表、同步方式、日期字段、同步並發配置、開始時間和同步數量，如下圖所示：

4 . 點擊 a1 表後對應的查看任務，會跳轉到數據集成的任務開發界麵。如下圖所示：

由上圖可以看到：源頭 a1 表對應的 MaxCompute 表 ods_a1 創建成功，列的名字和類型也符合之前映射轉換配置。在左側目錄樹 mysql_demo 目錄下，會有對應的所有整庫遷移任務，任務命名規則是: mysql2odps 源表名，如上圖紅框部分所示。

5 . 此時便成功將一個 MySQL 數據源 mysql_demo 整庫遷移到 MaxCompute 的工作。這些任務會根據配置的調度周期（默認天調度）被調度執行，您也可以使用 DataWorks DataIde 調度補數據功能完成曆史數據的傳輸。

通過 數據集成-整庫遷移功能 可以極大減少您初始化上雲的配置、遷移成本。

最後更新：2017-06-20 11:32:22

  上一篇：  霓彩 新款LED洗牆燈4048 戶外防水大功率輪廓燈 全彩洗牆燈

  下一篇：  霓彩 LED線條燈3318 線型輪廓燈線條燈 戶外防水線條燈