3.1 CDH5.4 tarball伪分布式安装

安装要求：

CDH5要求JDK的版本大于等于1.7，CDH4要求JDK版本大于等于1.6，由于我们将要使用CDH5，因此JDK版本必须大于1.7。

1、下载安装包

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.4.7.tar.gz

2、安装，即解压缩(本例安装到/usr/local目录下)

tar -xvf hadoop-2.6.0-cdh5.4.7.tar.gz -C /usr/local
cd /usr/local 
mv hadoop-2.6.0-cdh5.4.7 hadoop

3、设置环境变量

编辑/etc/profile文件，添加以下配置，添加完成之后输入"source /etc/profile"使得环境变量生效

`#`HADOOP VARIABLES START
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
`#`HADOOP VARIABLES END

4、修改配置文件

需要修改的配置文件位于$HADOOP_HOME/etc/hadoop目录下，包括：

 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hadoop-env.sh

注意在修改xml配置文件的时候，name和value的值中间一定不能有空格

core-site.xml

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>115.28.65.149:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
       <property>
             <name>dfs.replication</name>
             <value>1</value>
       </property>
       </property>
       <property>
             <name>dfs.permission</name>
             <value>false</value>
       </property>
</configuration>

 mapred-site.xml

<configuration>
<property>
        <name>mapreduce.job.tracker</name>
        <value>115.28.65.149:9001</value>
</property>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

 yarn-site.xml

<configuration>
<property>
    <name >yarn.resourcemanager.hostname</name>
        <value>115.28.65.149</value>
</property>

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!--使用Sqoop导入数据时，必须配置-->
<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>115.28.65.149:8025</value >
</property>
<property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>115.28.65.149:8035</value>
</property>
<property>
        <name>yarn.resourcemanager.address</name>
        <value>115.28.65.149:8050</value>
</property>
</configuration>

5. hadoop-env.sh

在改脚本中添加以下环境变量

export JAVA_HOME=/usr/local/java #你的Java安装目录

6、设置ssh免密码登录

ssh-keygen -t rsa
#之后不断enter
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

7、格式化文件系统

hadoop的分布式文件系统HDFS，就像我们的普通硬盘一样，需要格式化才能生效。格式化命令如下：

hdfs namenode -format

格式化分布式文件系统,最后显示如下内容表示成功

16/03/03 21:44:53 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = cloud/10.144.178.165
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.6.0-cdh5.4.7
...
16/03/03 21:45:01 INFO util.ExitUtil: Exiting with status 0
16/03/03 21:45:01 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at cloud/10.144.178.165
************************************************************/

8、启动HDFS

start-dfs.sh

9、启动yarn

start-yarn.sh

10、查看是否启动成功

出现以下几个java进程表示启动成功

>jps
9135 NameNode
9595 ResourceManager
9399 SecondaryNameNode
9726 Jps
9234 DataNode
9694 NodeManager

11. 通过WebUI查看Hadoop状态
访问http://115.28.65.149:50070，出现类似以下界面，表示WebUI可以正常工作。