Hadoop 2.7.3伪分布式安装

一、配置网络

  • 查看当前机器名称:hostname
  • 修改当前机器名称:打开/etc/sysconfig/network(root用户),修改HOSTNAME项
  • 设置ip,执行ifconfig查看当前ip ,重新设置ip,添加固定ip,重启网卡,执行ifconfig查看是否起效,打开浏览器查看是否能正常连接网络
  •  修改host:打开/etc/hosts(root用户),添加ip域名对照信息

二、设置SSH

  • 验证SSH是否安装:rpm -qa |grep ssh
  • 安装SSH:yum install ssh
  • 开启SSH服务,开启service sshd start 或/etc/init.d/sshd start,重启service sshd restart
  • 生成秘钥:ssh-keygen(master1机器,hadoop用户登录)。Id_rsa.pub为公钥,id_rsa为私钥。将公钥文件复制成authorized_keys文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys或者:cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
  • 修改authorized_keys权限:chmod 600 ~/.ssh/authorized_keys或者:chmod 600 /home/hadoop/.ssh/authorized_keys
  • 测试:ssh localhost 配置成功后无需密码即可登录。备注:首次无密码登录时,会提示你是否要连接,输入yes,以后登陆不会儿再提示。

三、安装JDK

  • 下载linux版的JDK并解压到/opt/modules/jdk中
  • 配置环境变量vim /etc/profile  。加上## JAVA
    export JAVA_HOME=/opt/modules/jdk
    export PATH=$PATH:$JAVA_HOME/bin并在/etc/enviroment中加上
    JAVA_HOME=”/opt/modules/jdk”
    CLASSPATH=”.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:/opt/modules/jdk/jre/lib”(防止环境变量重启失效)
  • 执行source /etc/profile 使修改生效
  • 检测JDK环境,执行 java –version ,查看结果四、安装hadoop
  • 下载linux版本的hadoop的bin安装包,解压到/opt/modules/hadoop中
  • 设置环境变量,root用户打开/etc/profile,添加如下信息:
  • export HADOOP_HOME=/opt/modules/hadoop和export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin: $PATH。并且在/etc/enviroment中设置环境变量。
  • 执行source /etc/profile 使修改生效

     

     

    1. 配置core-site.xml

/opt/modules/hadoop/conf/core-site.xml添加以下内容:<configuration>
< property>
< name>fs.defaultFS</name>
< value>hdfs://xiong-linux:9000</value>
< /property>
< property>
< name>hadoop.tmp.dir</name>
< value>file:/opt/modules/hadoop/tmp</value>
< /property>
< property>
< name>hadoop.native.lib</name>
< value>true</value>
< /property>
< /configuration>

2     配置hdfs-site.xml

  • /opt/modules/hadoop/conf/hdfs-site.xml添加以下内容:<configuration>
    < property>
    < name>dfs.replication</name>
    < value>1</value>
    < /property>
    < property>
    < name>dfs.namenode.name.dir</name>
    < value>file:/opt/modules/hadoop/tmp/dfs/name</value>
    < /property>
    < property>
    < name>dfs.datanode.data.dir</name>
    < value>file:/opt/modules/hadoop/tmp/dfs/data</value>
    < /property>
    < property>
    < name>dfs.namenode.secondary.http-address</name>
    < value>xiong-linux:9001</value>
    < /property>
    < property>
    < name>dfs.webhdfs.enabled</name>
    < value>true</value>
    < /property>
    < /configuration>说明:dfs.replication 数据副本的数量,默认三份;dfs.namenode.name.dir name节点hdfs存储的位置;dfs.datanode.data.dir data节点hdfs存储的位置;dfs.namenode.secondary.http-address  备用namenode节点地址和端        口号,默认namenode和secondary namenode都在master上 运行,也可以配置secondary namenode在其它机器运行。

3      配置mapred-site.xml

  • /opt/modules/hadoop/conf/mapred-site.xml添加以下内容:<configuration>
    < property>
    < name>mapreduce.framework.name</name>
    < value>yarn</value>
    < /property>
    < property>
    < name>mapreduce.jobhistory.address</name>
    < value>xiong-linux:10020</value>
    < /property>
    < property>
    < name>mapreduce.jobhistory.webapp.address</name>
    < value>xiong-linux:19888</value>
    < /property>
    < /configuration>
  • 4     配置yarn-site.xml
  • /opt/modules/hadoop/conf/yarn-site.xml添加以下内容:<property>
    < name>yarn.nodemanager.aux-services</name>
    < value>mapreduce_shuffle</value>
    < /property>
    < /configuration>
  • 5    hadoop-env.sh、yarn-env.sh、mapred-env.sh添加以下内容:export JAVA_HOME=/opt/modules/jdk
  •  
  • 启动hadoop
  • 访问job监控页面:http://xiong-linux:8088/ 
  • 访问namenode监控页面:http://xiong-linux:50070/ 

 


You may also like...

发表评论

电子邮件地址不会被公开。 必填项已用*标注