hadoop有很多配置文件，主要是$HADOOP_HOME/etc/hadoop下面的配置文件，这里对hadoop的主要配置文件做下说明，以后有机会继续补充。

一、hadoop的配置文件

Hadoop有多个配置文件，这里列举最重要的几个，都在$HADOOP_HOME/etc/hadoop目录下。配置目录可以被重新安置在文件系统的其他地方（$HADOOP_HOME的外面，以便于升级），只要启动守护进程时使用—config选项（或等价的，使用HADOOP_CONF_DIR环境变量集）说明这个目录在本地文件系统的位置就可以了。

1、hadoop-env.sh

2、mapred-env.sh

3、yarn-env.sh

4、core-site.xml

Hadoop Core的配置项，例如HDFS、MapReduce和YARN常用的I/O设置等。

5、hdfs-site.xml

6、mapred-site.xml

7、yarn-site.xml

8、slaves

9、hadoop-metrics2.properties

10、log4j.properties

11、hadoop-policy.xml

二、配置文件举例

1.coer-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://worker1:9000</value>
        　　　　 <description>设定namenode的主机名及端口</description>
       </property>
       <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        <description> 设置缓存大小 </description>
        </property>
       <property>
               <name>hadoop.tmp.dir</name>
               <value>/home/hadoop/hadoop-2.8.5/tmp</value>
               <description> 存放临时文件的目录 </description>
       </property>
       <property>
            <name>fs.checkpoint.period</name>
            <value>3600</value>
            <description> 检查点备份日志最长时间 </description>
       </property>
       <property>
            <name>hadoop.security.authorization</name>
            <value>false</value>
       </property>
</configuration>

2.hdfs-site.xml(重点核心文件)

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <description>分片数量</description>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/name</value>
        <description>命名空间和事务在本地文件系统永久存储的路径</description>
    </property>
    <property>
        <name>dfs.namenode.hosts</name>
        <value>worker1,worker2,worker3</value>
        <description>3个datanode</description>
    </property>
    <property>
        <name>dfs.blocksize</name>
       <value>134217728</value>
        <description>HDFS块大小128M，如果你只有普通网线，就别64M了，没什么用</description>
    </property> 
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/data</value>
        <description>DataNode在本地文件系统中存放块的路径</description>
    </property>
    <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>worker2:50090</value>
       <description>secondary namenode设置到woker2</description>
    </property>
</configuration>

3.mapred-site.xml

<?xml version="1.0"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>执行框架设置为Hadoop YARN</description>
    </property>
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
        <description>maps的资源限制</description>
    </property>
    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx512M</value>
        <description>maps中jvm child的堆大小</description>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>1024</value>
        <description>reduces的资源限制</description>
    </property>
    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx512M</value>
        <description>reduces jvm child的堆大小</description>
    </property> 
    <property>
        <name> mapreduce.jobhistory.address</name>
        <value>worker1:10200</value>
        <description>设置mapreduce的历史服务器安装在worker1机器上</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>worker1:19888</value>
        <description>历史服务器的web页面地址和端口号</description>
    </property>
</configuration>

4.yarn-site.xml

<?xml version="1.0"?>
<configuration>
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
        <description>
            常用类：CapacityScheduler、FairScheduler或者FifoScheduler这里使用公平调度
            org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
        </description>
    </property> 
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>worker1</value>
        <description>指定resourcemanager服务器指向worker1</description>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        <description>配置启用日志聚集功能</description>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
        <description>配置聚集的日志在HDFS上保存最长时间</description>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>3096</value>
        <description>可使用的物理内存总量</description>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file://${hadoop.tmp.dir}/nodemanager</value>
        <description>列表用逗号分隔</description>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>file://${hadoop.tmp.dir}/nodemanager/logs</value>
        <description>列表用逗号分隔</description>
    </property>
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>10800</value>
        <description>单位为S</description>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

待续…