837      釣魚_釣好魚

Docker使用方法__軟件鏡像_高性能計算-阿裏雲

專為阿裏雲GPU物理機定製的深度學習和HPC工具集，在阿裏雲Docker Hub上發布。

1 阿裏雲官方Docker Hub地址

https://dev.aliyun.com/search.html

訪問hub可以查看阿裏雲提供的鏡像以及緩存的社區公開鏡像；進入控製台可以創建和管理自己的docker鏡像。

2 新用戶

第一次使用阿裏雲Docker服務，用戶需要先注冊成為開發者，步驟如下：

打開上麵的阿裏雲Docker Hub，未登陸的，先使用雲賬號登錄，登錄/注冊在左上角；點擊右上角“管理中心”，如下圖：

對新用戶會彈出去注冊開發者的頁麵：

注冊成功之後，點擊“進入管理控製台”，下次進入也可以在Docker Hub頁麵，點擊右上角“管理中心”進入。界麵如下：

選擇左側的“Docker服務”下麵的“鏡像管理”標簽，新用戶會提示設置自己的鏡像倉庫“命名空間”和密碼。命名空間是私人鏡像的地址前綴。完成設置之後，可以開始使用阿裏雲Docker倉庫。

3 使用 Docker

3.1 docker 倉庫地址

阿裏雲官方docker倉庫地址為：

registry.aliyuncs.com（公網)

在GPU物理機上，對應替換為內網地址：

registry-internal.aliyuncs.com（內網）

3.2 運行 Hello World

（GPU物理機預裝CentOS 7係統，以下操作僅以CentOS 7為例，且使用root用戶）

首先檢查機器上安裝的docker服務狀態：

# docker info

正常會顯示當前存儲空間等信息。如果出錯，請先嚐試重啟docker服務：

# systemctl restart docker

下一步，使用阿裏雲賬號和之前設定的docker倉庫密碼，登錄阿裏雲docker倉庫：

# docker login registry-internal.aliyuncs.com

運行 Hello World：

# docker run registry-internal.aliyuncs.com/alicloudhpc/hello-world

如果一切正常，說明機器的docker服務運行正常。

3.3 使用深度學習和HPC工具集

需要使用GPU的用戶，最好先檢查物理機上的GPU狀態是否正常，運行：

# nvidia-smi

或者：

# /usr/local/cuda/samples/1_Utilities/deviceQuery/deviceQuery

列出兩塊NVidia K40卡為正常。

工具集的發布地址是：

https://dev.aliyun.com/detail.html?repoId=2

列出了包含的軟件工具和簡介。

docker login之後，可以下載toolkit的鏡像到本地：

# docker pull registry-internal.aliyuncs.com/alicloudhpc/toolkit

重命名一個短名稱：

# docker tag registry-internal.aliyuncs.com/alicloudhpc/toolkit toolkit

因為需要在docker容器中使用gpu設備，啟動docker容器需要設定額外參數。推薦將如下內容保存到一個shell腳本（比如run-toolkit.sh），方便以後運行：

#!/bin/bash
DOCKER_BIN="/usr/bin/docker"
INTERACT="-ti"
#INTERACT="-d"
DATA_VOLUME="/disk1"
DATA_MOUNT_POINT="/disk1"
MEM_LIMIT=96g
set -e
if [ $# -lt 2 ]; then
    echo "Usage: $0 image command"
    exit -1
else
    IMAGE=$1
    shift 1
    CMD=$@
fi
devices=$(ls -1 /dev | grep nvidia)
dev_param=""
for d in $devices; do
    dev_param="$dev_param --device=/dev/$d"
done
time_param='-v /etc/localtime:/etc/localtime:ro'
if [ ! -z "$CUDA_VISIBLE_DEVICES" ]; then
    dev_env="-e CUDA_VISIBLE_DEVICES=$CUDA_VISIBLE_DEVICES"
else
    dev_env=""
fi
exec $DOCKER_BIN run 
        "$INTERACT" 
        -P 
        $dev_env 
        $dev_param 
        $time_param 
        -m $MEM_LIMIT 
        -v $DATA_VOLUME:$DATA_MOUNT_POINT 
        "$IMAGE" 
        $CMD

# chmod +x run-toolkit.sh
# ./run-toolkit.sh  toolkit  /bin/bash

# docker tag some-image registry-internal.aliyuncs.com/YOUR_NAMESPCE/YOUR_REPO
# docker push registry-internal.aliyuncs.com/YOUR_NAMESPCE/YOUR_REPO