425      人物

對象存儲OSS__訪問其他雲產品_操作指南_高性能計算-阿裏雲

應用場景

當用戶需要將大量數據（幾十GB到上TB）傳輸到HPC機器上時，使用scp拷貝有兩個缺陷：（1）需要通過ECS中轉數據，scp須執行兩次；（2）數據太大時ECS自帶磁盤容量很可能不夠用；此時，使用OSS服務是比較理想的方式，無需ECS中轉，直接實現端對端的傳輸，而且在HPC上通過內網訪問OSS，速度更快、更穩定。本節介紹如何在HPC機器上使用OSS服務。

物理機訪問OSS方法

首先登錄阿裏雲官網，進入OSS控製台https://oss.console.aliyun.com/index#/

點擊Access Keys，“顯示”Access Key，用手機短信驗證。

拿到Access Key ID和Access Key Secret，用於鑒別身份。

創建一個Bucket，位於華東1區。其host為oss-cn-**-internal.aliyuncs.com，具體可以在控製台查到。

注意：目前GPU物理機通過內網隻能訪問華東1區的OSS服務

在HPC機器上運行：

osscmd config --host=oss-cn-********-internal.aliyuncs.com   
--id=用戶的OSS Access Key ID    
--key=用戶的OSS Access Key Secret

之後運行

osscmd ls

可以看到你創建的Bucket，說明配置成功，可以通過osscmd進行文件上傳/下載操作。

先瀏覽有哪些bucket：

# osscmd ls
CreateTime           BucketLocation       BucketName  
2015-09-17 17:17:08  oss-cn-********      hpc-data-release  
2015-09-15 11:29:58  oss-cn-********      hpc100users  

Bucket Number is: 2  
0.047(s) elapsed

可見有兩個bucket，都位於華東1區。

進一步瀏覽其中一個bucket詳細內容：

# osscmd ls oss://hpc100users  
prefix list is:  
object list is:  
2015-09-18 10:38:49 1066.97MB Standard oss://hpc100users/cuda_7.0.28_linux.run (oss://hpc100users/cuda_7.0.28_linux.run)  

prefix list number is: 0  
object list number is: 1  
0.022(s) elapsed

注意OSS路徑都以"oss://"開頭，後麵緊跟bucket名稱，再向後為文件名或目錄名。

下載命令：

# osscmd get oss://Bucket名稱/文件名稱 本地文件名稱

測試下載：

# osscmd get  oss://hpc-data-release/cuda_7.0.28_linux.run cuda_7.0.28_linux.run
100%  The object cuda_7.0.28_linux.run is downloaded to cuda_7.0.28_linux.run, please check.    
61.593(s) elapsed

下載cuda_7.0.28_linux.run到本地用時61.593s，該文件大小為1066.97MB，下載速度約為17.3 MB/s
上傳命令：

# osscmd put  本地文件名稱 oss://Bucket名稱/文件名稱

測試上傳：

# osscmd put cuda_7.0.28_linux.run oss://hpc-data-release/cuda_7.0.28_linux.run
100%
Object URL is: https://hpc-data-release.oss-cn-********-internal.aliyuncs.com/cuda_7.0.28_linux.run  
Object abstract path is: oss://hpc-data-release/cuda_7.0.28_linux.run  
ETag is "312AEDE1C3D1D3425C8CAA67BBB7A55E"  
61.287(s) elapsed

常見問題

運行osscmd ls後報錯如下：

Error Headers:

[('content-length', '467'), ('server', 'AliyunOSS'), ('connection', 'keep-alive'), ('x-oss-request-id', '56921E152530B7D05CA805DD'), ('date', 'Sun, 10 Jan 2016 09:02:13 GMT'), ('content-type', 'application/xml')]
Error Body:

<?xml version="1.0" encoding="UTF-8"?>
<Error>
  <Code>RequestTimeTooSkewed</Code>
  <Message>The difference between the request time and the current time is too large.</Message>
  <RequestId>56921E152530B7D05CA805DD</RequestId>
  <HostId>oss-cn-********-internal.aliyuncs.com</HostId>
  <MaxAllowedSkewMilliseconds>900000</MaxAllowedSkewMilliseconds>
  <RequestTime>2015-10-09T16:00:04.000Z</RequestTime>
  <ServerTime>2016-01-10T09:02:13.000Z</ServerTime>
</Error>

Error Status:

403
ls Failed!

這是由於HPC機器日期與OSS服務器日期差別太大造成的。通過date命令修改日期時間為正確的時間即可。

最後更新：2016-11-23 17:16:02

  上一篇： 桌麵環境設置__操作指南_高性能計算-阿裏雲

  下一篇： 雲數據庫RDS__訪問其他雲產品_操作指南_高性能計算-阿裏雲