閱讀224 返回首頁    go 微信

參數說明__Spark_開發人員指南_E-MapReduce-阿裏雲

Spark 代碼中可使用如下參數配置：

屬性名 默認值 說明
spark.hadoop.fs.oss.accessKeyId 無 訪問 OSS 所需的 Access Key ID（可選）
spark.hadoop.fs.oss.accessKeySecret 無 訪問 OSS 所需的 Access Key Secret（可選）
spark.hadoop.fs.oss.securityToken 無 訪問 OSS 所需的 STS token（可選）
spark.hadoop.fs.oss.endpoint 無 訪問 OSS 的 endpoint（可選）
spark.hadoop.fs.oss.multipart.thread.number 5 並發進行 OSS 的 upload part copy 的並發度
spark.hadoop.fs.oss.copy.simple.max.byte 134217728 使用普通接口進行 OSS 內部 copy 的文件大小上限
spark.hadoop.fs.oss.multipart.split.max.byte 67108864 使用普通接口進行 OSS 內部 copy 的文件分片大小上限
spark.hadoop.fs.oss.multipart.split.number 5 使用普通接口進行 OSS 內部 copy 的文件分片數目，默認和拷貝並發數目保持一致
spark.hadoop.fs.oss.impl com.aliyun.fs.oss.nat.NativeOssFileSystem OSS 文件係統實現類
spark.hadoop.fs.oss.buffer.dirs /mnt/disk1,/mnt/disk2,… OSS 本地臨時文件目錄，默認使用集群的數據盤
spark.hadoop.fs.oss.buffer.dirs.exists false 是否確保 OSS 臨時目錄已經存在
spark.hadoop.fs.oss.client.connection.timeout 50000 OSS Client 端的連接超時時間（單位毫秒）
spark.hadoop.fs.oss.client.socket.timeout 50000 OSS Client 端的 socket 超時時間（單位毫秒）
spark.hadoop.fs.oss.client.connection.ttl -1 連接存活時間
spark.hadoop.fs.oss.connection.max 1024 最大連接數目
spark.hadoop.job.runlocal false 當數據源是 OSS 時，如果需要本地調試運行 Spark 代碼，需要設置此項為“true”，否則為“false”
spark.logservice.fetch.interval.millis 200 Receiver 向 LogHub 取數據的時間間隔
spark.logservice.fetch.inOrder true 是否有序消費分裂後的 Shard 數據
spark.logservice.heartbeat.interval.millis 30000 消費進程的心跳保持間隔
spark.mns.batchMsg.size 16 批量拉取 MNS 消息條數，最大不能超過 16
spark.mns.pollingWait.seconds 30 MNS 隊列為空時的拉取等待間隔
spark.hadoop.io.compression.codec.snappy.native false 標識 Snappy 文件是否為標準 Snappy 文件，Hadoop 默認識別的是 Hadoop 修改過的 Snappy 格式文件

最後更新：2016-11-23 16:04:15

  上一篇：go 示例項目使用說明__開發準備_開發人員指南_E-MapReduce-阿裏雲
  下一篇：go 簡單操作 OSS 文件__Spark_開發人員指南_E-MapReduce-阿裏雲