487      小米 note

軟件配置__用戶指南_E-MapReduce-阿裏雲

軟件配置的作用

Hadoop、Hive、Pig 等軟件含有大量的配置，當需要對其軟件配置進行修改時，就可以使用軟件配置功能來實現。例如，HDFS 服務器的服務線程數目 dfs.namenode.handler.count 默認是 10，假設要加大到 50；HDFS 的文件塊的大小 dfs.blocksize 默認是 128MB，假設係統都是小文件，想要改小到 64MB。

目前這個操作隻能在集群啟動的時候執行一次。

如何使用

1. 登錄阿裏雲 E-MapReduce 控製台集群列表。

2. 在上方選擇所在的地域（Region），所創建集群將會在對應的Region內。

3. 單擊創建集群，即會進入創建集群的操作界麵。

4. 在創建集群的軟件配置這一步中可以看到所有包含的軟件以及對應的版本。若想修改集群的配置，可以通過軟件配置（可選）框選擇相應的 json 格式配置文件，對集群的默認參數進行覆蓋或添加。json 文件的樣例內容如下

   {
    "configurations": [
        {
            "classification": "core-site",
            "properties": {
                "fs.trash.interval": "61"
            }
        },
        {
            "classification": "hadoop-log4j",
            "properties": {
                "hadoop.log.file": "hadoop1.log",
                "hadoop.root.logger": "INFO",
                "a.b.c": "ABC"
            }
        },
        {
            "classification": "hdfs-site",
            "properties": {
                "dfs.namenode.handler.count": "12"
            }
        },
        {
            "classification": "mapred-site",
            "properties": {
                "mapreduce.task.io.sort.mb": "201"
            }
        },
        {
            "classification": "yarn-site",
            "properties": {
                "hadoop.security.groups.cache.secs": "251",
                "yarn.nodemanager.remote-app-log-dir": "/tmp/logs1"
            }
        },
        {
            "classification": "httpsfs-site",
            "properties": {
                "a.b.c.d": "200"
            }
        },
        {
            "classification": "capacity-scheduler",
            "properties": {
                "yarn.scheduler.capacity.maximum-am-resource-percent": "0.2"
            }
        },
        {
            "classification": "hadoop-env",
            "properties": {
                "BC":"CD"
            },
            "configurations":[
                {
                    "classification":"export",
                    "properties": {
                        "AB":"${BC}",
                        "HADOOP_CLIENT_OPTS":""-Xmx512m -Xms512m $HADOOP_CLIENT_OPTS""
                    }
                }
            ]
        },
        {
            "classification": "httpfs-env",
            "properties": {
            },
            "configurations":[
                {
                    "classification":"export",
                    "properties": {
                        "HTTPFS_SSL_KEYSTORE_PASS":"passwd"
                    }
                }
            ]
        },
        {
            "classification": "mapred-env",
            "properties": {
            },
            "configurations":[
                {
                    "classification":"export",
                    "properties": {
                        "HADOOP_JOB_HISTORYSERVER_HEAPSIZE":"1001"
                    }
                }
            ]
        },
        {
            "classification": "yarn-env",
            "properties": {
            },
            "configurations":[
                {
                    "classification":"export",
                    "properties": {
                        "HADOOP_YARN_USER":"${HADOOP_YARN_USER:-yarn1}"
                    }
                }
            ]
        },
        {
            "classification": "pig",
            "properties": {
                "pig.tez.auto.parallelism": "false"
            }
        },
        {
            "classification": "pig-log4j",
            "properties": {
                "log4j.logger.org.apache.pig": "error, A"
            }
        },
        {
            "classification": "hive-env",
            "properties": {
                "BC":"CD"
            },
            "configurations":[
                {
                    "classification":"export",
                    "properties": {
                        "AB":"${BC}",
                        "HADOOP_CLIENT_OPTS1":""-Xmx512m -Xms512m $HADOOP_CLIENT_OPTS1""
                    }
                }
            ]
        },
        {
            "classification": "hive-site",
            "properties": {
                "hive.tez.java.opts": "-Xmx3900m"
            }
        },
        {
            "classification": "hive-exec-log4j",
            "properties": {
                "log4j.logger.org.apache.zookeeper.ClientCnxnSocketNIO": "INFO,FA"
            }
        },
        {
            "classification": "hive-log4j",
            "properties": {
                "log4j.logger.org.apache.zookeeper.server.NIOServerCnxn": "INFO,DRFA"
            }
        }
    ]
   }

classification 參數指定要修改的配置文件，properties 參數放置要修改的 key value 鍵值對，默認配置文件有對應的 key 有則隻覆蓋 value，沒有則添加對應的 key value 鍵值對。

配置文件與 classification 的對應關係如下列表格所示：

Hadoop

Pig

Hive

core-site 這類扁平的 xml 文件隻有一層，配置都放在 properties 裏。而 hadoop-en v這類 sh 文件可能有兩層結構，可以通過嵌套 configurations 的方式來設置，請參見示例裏 hadoop-env 的部分，為 export 的 HADOOP_CLIENT_OPTS 屬性添加了 -Xmx512m -Xms512m 的設置。

設置好後，確認後單擊下一步。

最後更新：2016-11-23 16:03:59

  上一篇： 報警管理__用戶指南_E-MapReduce-阿裏雲

  下一篇： 引導操作__用戶指南_E-MapReduce-阿裏雲