794      阿裏雲

操作手冊__雲渲染管理係統_行業解決方案_批量計算-阿裏雲

1. 渲管係統結構

1.1 渲管與各雲產品的詳細關係

1.2 渲管係統內部結構

render manager: 一個web應用，基於flask框架開發，處理用戶的各種操作
render master：使用python編寫的一個背景進程，負責與BatchCompute交互
本地數據庫：存放各種信息，以及render manager與render master之間傳遞的消息。

2. 渲管的部署

在阿裏雲雲市場裏有已經安裝了渲管的ECS鏡像免費售賣，在啟動ECS實例時將鏡像指定為鏡像市場中的rendermanager，啟動即可使用。

2.1 部署流程

建議安裝環境：Ubuntu 14.04 64位

# 安裝flask
sudo apt-get install python-flask -y
# 安裝uwsgi
sudo apt-get install uwsgi uwsgi-plugin-python -y
# 安裝nginx
sudo apt-get install nginx –y
# 修改nginx配置，在http模塊裏添加新的server
#
#    server {
#        listen 1314; #listen port 
#        server_name localchost;
#        location / {
#            include uwsgi_params;
#            uwsgi_pass 0.0.0.0:8818;#this must be same app_config.xml
#        }
#     }
#
vi /etc/nginx/nginx.conf
# 啟動nginx或重啟
nginx
# 獲取最新版渲管
wget https://openrm.oss-cn-qingdao.aliyuncs.com/render_manager_release/latest/rm.tar.gz
# 解壓
tar –xf  rm.tar.gz
# x.x.x為版本號
cd rm-x.x.x
# 指定安裝目錄部署
python deploy.py /root/rm_install/
# 啟動
cd /root/rm_install/rm_install_s && python rm_cmd.py start
# 登陸渲管https://installed_machine_ip:1314/rm/login
# 初始賬號： rm_admin 密碼： rm_admin@123
# 若監聽在公網，建議采用https

3. 渲管係統升級

頁麵右上角的版本信息中可以查看是否有可升級的新版本，第一次使用渲管前，建議升級到最新版本後再使用渲管（每次隻能升級到下一版本，所以升級後請查看是否已是最新版本）。

4. 渲管係統配置

配置頁麵裏有渲管係統的各種係統設置。第一次使用渲管時，必須先填入SECURITY_ID,SECURITY_KEY,OSS_BUCKET這三個值，不然渲管無法使用。

• SECURITY_ID和SECURITY_KEY即阿裏雲賬號的AccessKeys信息，可以在阿裏雲官網控製台創建。
• OSS_BUCKET可以在OSS的控製台創建，用於存儲渲管自身的worker包已經渲染數據。渲管默認使用青島（華北1）區域，如果使用其他區域的BatchCompute,請修改配置中的OSS_HOST(OSS_BUCKET必須與OSS_HOST屬於同一個region)與BATCHCOMPUTE_REGION，每個region的OSS_HOST也可以工單谘詢獲取。其他配置項可以看頁麵上的說明。

5. OSS數據上傳

一定要在提交渲染作業前將渲染用到的數據傳上OSS，在計算節點啟動後再上傳的數據將不能在計算節點中訪問到。

由於OSS頁麵控製台上傳數據有大小限製，所以上傳數據建議使用OSS的命令行工具（類linux係統）、windows客戶端或者MAC客戶端。這裏有更多OSS工具。

6. 計算節點鏡像製作

渲染客戶需要自己製作計算節點鏡像。具體製作的流程如下：

1. 在ECS控製台，點擊創建實例進入購買頁麵（購買鏈接）
2. 選擇按量付費類型和所需的region（與要使用的batchcompute的region相同）,可用區隨機即可
3. 選擇一個已有的安全組或創建一個新安全組
4. 按需選擇實例規則（提交渲染作業時可重新指定實例規格）
5. 帶寬選擇按量付費並將峰值適當調大（目前流入ECS實例的流量不收錢，流出收費）
6. 鏡像選擇鏡像市場中運行環境類目中的batchcompute基礎鏡像（搜索batchcompute即可看到，根據所需的操作係統選擇，基礎鏡像中已內置了batchcompute的基礎組件）
7. 係統盤默認40G（可以按需選擇合適的係統盤大小）。
8. 設置管理員（windows是Administrator，linux是root）密碼，並記住密碼
9. 確認購買並開通

10. 開通成功後，進入管理控製台

11. 等ECS實例狀態為運行中後，可以通過實例的公網IP遠程登錄（windows賬號為Administrator，linux為root，密碼即創建實例時設置的密碼），登錄方法有：

    • Linux類操作係統可以ssh
    • Windows操作係統可以使用遠程桌麵（在運行中輸入mstsc）
    • 所有類型的實例都可以通過實例頁麵上的連接管理終端選項登入ECS實例。
12. 遠程登錄後，在實例中安裝渲染軟件以及各種插件，將測試用的渲染數據拖進ecs實例中，並用渲染命令行測試（window在運行裏輸入cmd可以調出命令行窗口），確保可進行命令行渲染。
13. 將ecs實例關機，待實例狀態為停止後，在實例信息頁麵點擊創建自定義鏡像選項。
14. 等待鏡像完成度為100%時，將鏡像共享給賬號：1190847048572539。
15. 在不需要該ecs實例時，可以選擇立即釋放該實例，因為不釋放將會產生持續的費用。

7. 計算節點鏡像管理

7.1 添加計算節點鏡像

在鏡像管理頁麵可以添加計算節點鏡像ID

7.2 給計算節點鏡像配置渲染軟件信息

在添加完計算節點鏡像ID後，在鏡像信息頁麵可以點擊添加軟件並配置軟件信息。在配置軟件信息時，需要填入渲染軟件的名稱，渲染文件的後綴（用於識別渲染文件）以及執行代碼。執行代碼（要求python語法）是一段會在渲管worker中執行的代碼，render_cmd變量即渲染時的命令行，命令行應根據實際安裝的渲染軟件來填寫，比如渲染軟件的路徑，以及一些參數。渲管中的模板隻是個示例，實際使用需要微調。渲管已經預定義了一些變量和函數，在執行代碼中可以調用這些變量和函數，例如$CPU在執行期會被替換成實際的cpu核數，$START_FRAME在執行期會被替換成起始幀號。如果想增加自定義參數，可以選擇添加參數，添加的自定義參數會需要在提交作業時填入。關於所有的可用變量可在軟件配置頁麵點擊查看。$OUTPUT_LOCAL_DIR這個變量即創建項目時配置的節點內臨時輸出路徑，渲染的輸出結果應該放在該路徑下（大部分渲染器都支持在命令行中指定輸出路徑），在渲染結束後該目錄下的數據會被傳輸到OSS。

8. 項目管理

8.1 項目創建

創建項目時需要指定OSS數據映射，計算節點鏡像，虛擬機內的臨時輸出路徑，OSS輸出路徑。

8.1.1 計算節點鏡像

創建項目時選擇的計算節點鏡像（需要先在鏡像管理頁麵添加計算節點鏡像）是提交AutoCluster作業時使用的鏡像，如果提交作業時指定了集群（在集群管理頁麵可以創建）則作業直接跑在所指定的集群中。

8.1.2 OSS數據映射

OSS數據映射（或者稱OSS數據掛載），可以將OSS上的數據映射到計算節點的本地路徑（windows是盤符），一個作業中的所有計算節點可以共享訪問到相同的數據。OSS數據掛載有如下功能或限製：

1. 映射的目的路徑必須根據計算節點鏡像實際的操作係統類型進行填寫，否則會導致掛載失敗，windows隻能映射到盤符（例G:），linux必須是絕對路徑。
2. 可共享讀取訪問OSS上的數據。
3. 不支持修改OSS上已存在的文件和文件夾名稱。
4. 選擇WriteSupport後，支持本地（掛載路徑下）文件和文件夾的創建，以及新建文件的修改。
5. 掛載的本地路徑裏的改動隻是本計算節點可見，不會同步到OSS。
6. 在Windows係統中，在掛載時刻已存在的文件夾中創建的文件或文件夾將不支持刪除操作，linux係統可以。
7. 選擇LockSupport後，將可以使用文件鎖功能（隻影響windows）。
8. OSS數據掛載會有分布式cache（集群內），所以在大規模並發讀取數據時性能較好（能達到10MB~30MB，200台並發，讀取20G數據）。
9. OSS路徑必須以’/’結尾。

8.1.3 OSS輸出目錄與臨時本地輸出目錄

渲染作業結束時，計算節點中的臨時輸出目錄中的數據將會被傳輸到OSS輸出目錄中。臨時輸出路徑格式必須與節點的操作係統類型對應，不然會出錯。

8.2 提交渲染任務

選擇目的集群和場景所在的OSS路徑前綴後進入提交的詳細頁麵，選中場景文件的上一級目錄，可以被提交渲染的場景文件則會被列出，勾選想要渲染的文件，選擇配置的渲染軟件和起止幀，即可提交渲染作業。可指定節點數量，如果指定集群，並發數量上限是集群的節點數上限。填入的起止幀會均勻的分布在各個計算節點被渲染。任務結束後可以在OSS上查看輸出結果，如果開啟自動下載（配置頁麵設置），渲管會在任務結束後將OSS上的輸出結果下載到渲管部署的機器上。

8.3 渲染日誌

在節點列表頁麵，點擊節點可以查看各種日誌，渲管worker日誌裏都是渲管係統worker的日誌，裏麵可以查看該計算節點中運行的實際渲染命令行。渲染器標準輸出和渲染器標準輸出裏的日誌就是渲染軟件的輸出日誌。

9. 調試

新啟動的渲管需要進行配置，並進行調試然後再提交大規模的渲染任務。配置完，應該先提交1幀測試任務，查看錯誤日誌（渲管worker日誌和渲染器標準輸出）調整渲染軟件配置（主要是修改渲染命令行），走通全流程並確認結果沒有問題後才進行正式生產渲染。當作業失敗的時候可以在作業信息中查看失敗原因項。建議創建一個集群然後將作業提交到該集群進行調試（AutoCluster的作業需要啟停計算節點，比較費時）

10. 集群管理

在集群管理頁麵可以創建自定義集群，需要選擇所需的計算節點鏡像ID，節點的實例類型（BatchCompute的不同·區域可能支持的實例類型和磁盤類型不同，詳細可以提工單谘詢），磁盤類型和磁盤大小（根據實際製作的計算節點鏡像的磁盤大小選擇，選擇過小會導致無法啟動計算節點）。創建好的集群可以動態調整節點數量，甚至調整數量到0。

最後更新：2016-11-23 16:04:16

  上一篇： 快速開始__雲渲染管理係統_行業解決方案_批量計算-阿裏雲

  下一篇： 角色授權__產品簡介_E-MapReduce-阿裏雲