閱讀565 返回首頁    go 阿裏雲 go 技術社區[雲棲]

在 Docker 中運行 MySQL：多主機網絡下 Docker Swarm 模式的容器管理

本文將以多主機網絡環境為基礎，探討如何利用內置編排工具 Docker Swarm 模式對各主機上的容器加以管理。

Docker Engine – Swarm 模式

在多台主機之上運行 MySQL 容器擁有一定程度的複雜性，而具體水平則取決於您所選擇的集群技術。

在嚐試利用容器加多主機網絡運行 MySQL 之前，我們首先需要理解鏡像的起效原理、各資源的分配方式（包括磁盤、內存與 CPU）、網絡（覆蓋網絡驅動因素，默認情況下包括 flannel 與 weave 等）以及容錯機製（容器如何實現重新定位、故障轉移以及負載均衡等）。

這一切都會給數據庫的整體運行、正常運行時間以及性能表現造成影響。我們建議大家使用編排工具保證 Docker 引擎集群擁有更出色的可管理性與可擴展性。最新的 Docker Engine（版本為 1.12，發布於 2016 年 7 月 14 日）當中包含有 Swarm 模式，專門用於以原生方式管理名為 Swarm 的 Docker Engine 集群。

需要注意的是，Docker Engine Swarm 模式與 Docker Swarm 是兩個不同的項目，二者雖然工作原理類似，但卻擁有不同的安裝步驟。

下麵我們來看看著手進行之前，首先需要完成的準備工作：

必須首先打開以下端口：

  • 2377 (TCP) – 集群管理
  • 7946 (TCP 與 UDP) – 節點通信
  • 4789 (TCP 與 UDP) – 覆蓋網絡流量

節點類型分為 2 種：

  • 管理節點 - 管理節點負責執行維護 Swarm 必要狀態所必需的編排與集群管理功能。管理節點會選擇單一主管理方執行編排任務。
  • 工作節點 - 工作節點負責從管理節點處接收並執行各項任務。在默認情況下，管理節點本身同時也作為工作節點存在，但大家可以通過配置保證其僅執行管理任務。

在本文中，我們將立足於 3 台 Docker 主機（docker1、docker2 與 docker3）在負載均衡 Galera Cluster 之上部署應用程序容器，同時將其接入一套覆蓋網絡。我們將利用 Docker Engine Swarm 模式作為編排工具。

集群構建

首先讓我們將 Docker 節點納入 Swarm 集群當中。Swarm 模式要求利用奇數台管理節點（當然不止一台）以維持容錯能力。因此，我們在這裏需要讓三台節點全部作為管理節點。需要注意的是，在默認情況下，管理節點同時亦作為工作節點。

首先在 docker1 上對 Swarm 模式進行初始化。完成之後，該節點將成為管理節點及當前管理方： 



    

  1. [root@docker1]$ docker swarm init --advertise-addr 192.168.55.111
    2. 

  2. Swarm initialized: current node (6r22rd71wi59ejaeh7gmq3rge) is now a manager.
    3. 

  3.  
    4. 

  4. To add a worker to this swarm, run the following command:
    5. 

  5.  
    6. 

  6.  docker swarm join \
    7. 

  7.  --token SWMTKN-1-16kit6dksvrqilgptjg5pvu0tvo5qfs8uczjq458lf9mul41hc-dzvgu0h3qngfgihz4fv0855bo \
    8. 

  8.  192.168.55.111:2377
    9. 

  9.  
    10. 

  10. To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
    11. 



 


我們還需要將其它兩個節點添加為管理節點。使用 join 命令將這兩台節點注冊為管理節點： 




    

  1. [docker1]$ docker swarm join-token manager
    2. 

  2. To add a manager to this swarm, run the following command:
    3. 

  3.  
    4. 

  4.  docker swarm join \
    5. 

  5.  --token SWMTKN-1-16kit6dksvrqilgptjg5pvu0tvo5qfs8uczjq458lf9mul41hc-7fd1an5iucy4poa4g1bnav0pt \
    6. 

  6.  192.168.55.111:2377
    7. 



在 docker2 與 docker3 上，運行以下命令以進行節點注冊： 




  1. $ docker swarm join --token SWMTKN-1-16kit6dksvrqilgptjg5pvu0tvo5qfs8uczjq458lf9mul41hc-7fd1an5iucy4poa4g1bnav0pt 192.168.55.111:2377


驗證是否全部節點都已經正確添加： 




    

  1. [docker1]$ docker node ls
    2. 

  2. ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS
    3. 

  3. 5w9kycb046p9aj6yk8l365esh docker3.local Ready Active Reachable
    4. 

  4. 6r22rd71wi59ejaeh7gmq3rge * docker1.local Ready Active Leader
    5. 

  5. awlh9cduvbdo58znra7uyuq1n docker2.local Ready Active Reachable
    6. 



到這裏，我們的 docker1.local 作為主管理節點。



覆蓋網絡


要讓不同主機之上的運行的容器彼此實現對接，惟一的方式就是使用覆蓋網絡。大家可以將其視為一套構建於另一網絡（在本示例中為物理主機網絡）之上的容器網絡。Docker Swarm 模式提供一套默認覆蓋網絡，其負責配合 libnetwork 與 libkv 實現一套基於 VxLAN 的解決方案。當然，大家也可以選擇 Flannel、Calico 或者 Weave 等其它覆蓋網絡驅動方案，但需要執行額外的安裝步驟。


在 Docker Engine Swarm 模式當中，大家可以單純立足管理節點創建一套覆蓋網絡，而且其不需要 etcd、consul 或者 Zookeeper 等額外的鍵值存儲機製。


這套 Swarm 僅為集群內的各節點提供覆蓋網絡。當大家創建一項需要用到覆蓋網絡的服務時，管理節點會自動將覆蓋網絡延伸至運行該服務任務的節點處。




下麵讓我們為各容器創建一套覆蓋網絡。在這裏，我們需要將 Percona XtraDB 集群與應用程序容器分別部署在各 Docker 主機之上，用以實現容錯性。這些容器必須運行在同一覆蓋網絡當中，從而確保其能夠彼此通信。


這裏我們將網絡命名為“mynet”。大家隻能在管理節點上完成這一創建工作：




  1. [docker1]$ docker network create --driver overlay mynet


下麵來看我們的現有網絡：




    

  1. [docker1]$ docker network ls
    2. 

  2. NETWORK ID NAME DRIVER SCOPE
    3. 

  3. 213ec94de6c9 bridge bridge local
    4. 

  4. bac2a639e835 docker_gwbridge bridge local
    5. 

  5. 5b3ba00f72c7 host host local
    6. 

  6. 03wvlqw41e9g ingress overlay swarm
    7. 

  7. 9iy6k0gqs35b mynet overlay swarm
    8. 

  8. 12835e9e75b9 none null local
    9. 



現在 Swarm 當中擁有 2 套覆蓋網絡。其中“mynet”網絡正是我們在部署容器時所創建的成果。而“ingress”覆蓋網絡則為默認提供。Swarm 管理節點會利用 ingress 負載均衡以將服務公布至集群之外。



利用服務與任務實現部署


接下來我們將通過服務與任務進行 Galera 集群容器部署。當大家創建一項服務時，需要指定使用哪套容器鏡像並在容器內執行哪些命令。服務類型共分為兩種：


    

  • 複製服務——將一係列複製任務分發至各節點當中，具體取決於您所需要的設置狀態，例如“--replicas 3”。
    • 

  • 全局服務——適用於集群內全部可用節點上的服務任務，例如“--mode global”。如果大家在 Swarm 集群中設有 7 台 Docker 節點，則全部節點之上都將存在對應容器。
    • 



Docker Swarm 模式在管理持久數據存儲方麵功能有限。當一台節點發生故障時，管理節點會繞過各相關容器並創建新容器，用於繼續保持原有運行狀態。由於容器在下線後會被丟棄，因此我們會失去其中的全部數據分卷。幸運的是，Galera 集群允許各 MySQL 容器以自動方式在加入時利用狀態/數據接受配置。



部署鍵-值存儲


我們在這裏使用的 docker 鏡像為 Percona-Lab。這套鏡像要求各 MySQL 容器訪問一套鍵-值存儲（僅支持 etcd）以實現集群初始化與引導過程中的 IP 地址發現。各容器將在 etcd 當中搜索其它 IP 地址，從而利用正確的 wsrep_cluster_address 完成 MySQL 啟動。否則，首套容器將使用 gcomm:// 作為引導地址。


首先部署我們的 etcd 服務。大家可以點擊此處獲取我們使用的 etcd 鏡像。其要求我們根據所需部署的 etcd 節點數量使用一條發現 URL。在這種情況下，我們需要設置單獨的 etcd 容器，其具體命令為： 




    

  1. [docker1]$ curl -w "\n" 'https://discovery.etcd.io/new?size=1'
    2. 

  2. https://discovery.etcd.io/a293d6cc552a66e68f4b5e52ef163d68
    3. 



 


在此之後，使用生成的 URL 作為“-discovery”值，同時為 etcd 創建該服務： 




    

  1. [docker1]$ docker service create \
    2. 

  2. --name etcd \
    3. 

  3. --replicas 1 \
    4. 

  4. --network mynet \
    5. 

  5. -p 2379:2379 \
    6. 

  6. -p 2380:2380 \
    7. 

  7. -p 4001:4001 \
    8. 

  8. -p 7001:7001 \
    9. 

  9. elcolio/etcd:latest \
    10. 

  10. -name etcd \
    11. 

  11. -discovery=https://discovery.etcd.io/a293d6cc552a66e68f4b5e52ef163d68
    12. 



到這裏，Docker Swarm 模式將編排其中一台 Docker 主機上的容器部署工作。


 


檢索etcd服務虛擬IP地址。我們需要在下一步部署集群時使用此IP地址： 




    

  1. [docker1]$ docker service inspect etcd -f "{{ .Endpoint.VirtualIPs }}"
    2. 

  2. [{03wvlqw41e9go8li34z2u1t4p 10.255.0.5/16} {9iy6k0gqs35bn541pr31mly59 10.0.0.2/24}]
    3. 



到這裏，我們的架構如下圖所示：





部署數據庫集群


利用以下命令為 etcd 指定虛擬 IP 地址，用於部署 Galera（Percona XtraDB 集群）容器： 




    

  1. [docker1]$ docker service create \
    2. 

  2. --name mysql-galera \
    3. 

  3. --replicas 3 \
    4. 

  4. -p 3306:3306 \
    5. 

  5. --network mynet \
    6. 

  6. --env MYSQL_ROOT_PASSWORD=mypassword \
    7. 

  7. --env DISCOVERY_SERVICE=10.0.0.2:2379 \
    8. 

  8. --env XTRABACKUP_PASSWORD=mypassword \
    9. 

  9. --env CLUSTER_NAME=galera \
    10. 

  10. perconalab/percona-xtradb-cluster:5.6
    11. 



整個部署流程需要耗費一段時間，包括將鏡像下載至對應的工作/管理節點。大家可以使用以下命令驗證其部署狀態： 




    

  1. [docker1]$ docker service ps mysql-galera
    2. 

  2. ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR
    3. 

  3. 8wbyzwr2x5buxrhslvrlp2uy7 mysql-galera.1 perconalab/percona-xtradb-cluster:5.6 docker1.local Running Running 3 minutes ago
    4. 

  4. 0xhddwx5jzgw8fxrpj2lhcqeq mysql-galera.2 perconalab/percona-xtradb-cluster:5.6 docker3.local Running Running 2 minutes ago
    5. 

  5. f2ma6enkb8xi26f9mo06oj2fh mysql-galera.3 perconalab/percona-xtradb-cluster:5.6 docker2.local Running Running 2 minutes ago
    6. 



可以看到，mysql-galera 服務目前已經開始運行。下麵列出全部現有服務：




    

  1. [docker1]$ docker service ls
    2. 

  2. ID NAME REPLICAS IMAGE COMMAND
    3. 

  3. 1m9ygovv9zui mysql-galera 3/3 perconalab/percona-xtradb-cluster:5.6
    4. 

  4. au1w5qkez9d4 etcd 1/1 elcolio/etcd:latest -name etcd -discovery=https://discovery.etcd.io/a293d6cc552a66e68f4b5e52ef163d68
    5. 



 


Swarm 模式包含一項內部 DNS 組件，其負責自動為 Swarm 中的每項服務分配一條 DNS 入口。因此，大家可以使用該服務名稱以解析至對應的虛擬 IP 地址： 




    

  1. [docker2]$ docker exec -it $(docker ps | grep etcd | awk {'print $1'}) ping mysql-galera
    2. 

  2. PING mysql-galera (10.0.0.4): 56 data bytes
    3. 

  3. 64 bytes from 10.0.0.4: seq=0 ttl=64 time=0.078 ms
    4. 

  4. 64 bytes from 10.0.0.4: seq=1 ttl=64 time=0.179 ms
    5. 



或者直接使用“docker service inspect”命令檢索該虛擬 IP 地址：




    

  1. [docker1]# docker service inspect mysql-galera -f "{{ .Endpoint.VirtualIPs }}"
    2. 

  2. [{03wvlqw41e9go8li34z2u1t4p 10.255.0.7/16} {9iy6k0gqs35bn541pr31mly59 10.0.0.4/24}]
    3. 



到這裏，我們的架構如下圖所示：





部署應用程序


最後，大家可以創建應用程序服務並將 MySQL 服務名稱（mysql-galera）作為數據庫主機值進行交付：




    

  1. [docker1]$ docker service create \
    2. 

  2. --name wordpress \
    3. 

  3. --replicas 2 \
    4. 

  4. -p 80:80 \
    5. 

  5. --network mynet \
    6. 

  6. --env WORDPRESS_DB_HOST=mysql-galera \
    7. 

  7. --env WORDPRESS_DB_USER=root \
    8. 

  8. --env WORDPRESS_DB_PASSWORD=mypassword \
    9. 

  9. wordpress
    10. 



部署完成之後，我們隨後能夠通過“docker service inspect”命令檢索 wordpress 服務的虛擬 IP 地址：




    

  1. [docker1]# docker service inspect wordpress -f "{{ .Endpoint.VirtualIPs }}"
    2. 

  2. [{p3wvtyw12e9ro8jz34t9u1t4w 10.255.0.11/16} {kpv8e0fqs95by541pr31jly48 10.0.0.8/24}]
    3. 



現在再來看目前的架構示意圖：




我們的分布式應用程序與數據庫設置已經由 Docker 容器部署完成。



接入服務與負載均衡


到這裏，以下端口都已經在集群中的全部 Docker 節點上被打開（基於每條“docker service create”命令上的-p標記），而無論各節點目前是否正在運行該服務任務：


    

  • etcd - 2380, 2379, 7001, 4001
    • 

  • MySQL - 3306
    • 

  • HTTP - 80
    • 



如果我們直接利用簡單循環接入 PublishedPort，則可看到 MySQL 服務已經在各容器之上實現負載均衡：




    

  1. [docker1]$ while true; do mysql -uroot -pmypassword -h127.0.0.1 -P3306 -NBe 'select @@wsrep_node_address'; sleep 1; done
    2. 

  2. 10.255.0.10
    3. 

  3. 10.255.0.8
    4. 

  4. 10.255.0.9
    5. 

  5. 10.255.0.10
    6. 

  6. 10.255.0.8
    7. 

  7. 10.255.0.9
    8. 

  8. 10.255.0.10
    9. 

  9. 10.255.0.8
    10. 

  10. 10.255.0.9
    11. 

  11. 10.255.0.10
    12. 

  12. ^C
    13. 



現在，Swarm 管理節點負責負載均衡的內部管理，而且我們無法配置該負載均衡算法。在此之後，我們可以利用外部負載均衡器將外部流量路由至各 Docker 節點當中。一旦任何 Docker 節點發生故障，該服務將被重新定位至其它可用節點。


原文發布時間為：2017-10-28


本文來自雲棲社區合作夥伴“Linux中國”


最後更新：2017-06-06 07:32:55
  上一篇：go  《JavaScript開發框架權威指南》——2.5　操作文件係統 
  下一篇：go  開發者的實用 Vim 插件（二）