133      人物

OSS 參考使用說明__開發準備_開發人員指南_E-MapReduce-阿裏雲

OSS URI

在使用 E-MapReduce 時，用戶將會使用兩種 OSS URI，分別是：

• native URI： oss://[accessKeyId:accessKeySecret@]bucket[.endpoint]/object/path

  用戶在作業中指定輸入輸出數據源時使用這種 URI，可以類比 hdfs://。用戶操作 OSS 數據時，可以將 accessKeyId，accessKeySecret 以及 endpoint 配置到 Configuration 中，也可以在 URI 中直接指定 accessKeyId，accessKeySecret 以及 endpoint。

• ref URI: ossref://bucket/object/path

  隻在 E-MapReduce 作業配置時有效，用來指定作業運行需要的資源。例如以下作業配置示例：

  

  我們把 oss 與 ossref 這樣的前綴稱為 scheme。在使用過程中，需要特別注意 URI 中 scheme 的不同。

注意事項

在支持向 OSS 寫數據時，E-MapReduce 使用 OSS 的 multipart 分片上傳方式。這裏需要提醒的是，當作業異常中斷後，OSS 中會殘留作業已經生產的部分數據，需要您手動刪掉。這裏的行為和作業輸出到 HDFS 是一致的，作業異常中斷後，HDFS 也會殘留數據，也需要手動刪掉。但有一個區別，OSS 對使用 multipart 上傳的文件，它是先放在碎片管理中，所以您不僅要刪除 OSS 文件管理中的輸出目錄殘留文件，還需要在 OSS 的碎片管理中清理一次，否則會產生數據存儲費用。

最後更新：2016-11-23 16:04:15

  上一篇： 開發準備___開發人員指南_E-MapReduce-阿裏雲

  下一篇： 示例項目使用說明__開發準備_開發人員指南_E-MapReduce-阿裏雲