一文教你怎样安装和配置hadoop服务

发布时间：2023-10-12 14:04:33 所属栏目：Linux 来源：未知

导读： 　　这篇文章主要介绍“一文教你如何安装和配置hadoop服务”的相关知识，下面会通过实际案例向大家展示操作过程，操作方法简单快捷，实用性强，希望这篇“一文教你如何安装

　　这篇文章主要介绍“一文教你如何安装和配置hadoop服务”的相关知识，下面会通过实际案例向大家展示操作过程，操作方法简单快捷，实用性强，希望这篇“一文教你如何安装和配置hadoop服务”文章能帮助大家解决问题。

　　下载Hadoop 官网：http://hadoop.apache.org/releases.html

　　先配置jdk环境（教程：https://www.idaobin.com/archives/117）
　　
　　下载以后解压到到/usr/local

　　tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local

　　为了方便操作把hadoop-2.8.0 改为hadoop

　　mv /usr/local/hadoop-2.8.0 /usr/local/hadoop

　　查看主机名

　　hostname //第一个参数为主机名

　　检查是否可以免密码

　　ssh localhost //这里的localhost为主机名

　　注意：一般初次安装都需要密码

　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　　再次验证

　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　　注意：如没有Enter password 就说明免密码了

　　配置环境变量

　　vim /etc/profile

　　末尾添加

　　export HADOOP_HOME=/usr/local/hadoop

　　export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin

　　使环境变量立即生效

　　source /etc/profile

　　创建Hadoop的临时文件存放地

　　mkdir /usr/local/hadoop/tmp

　　编辑Hadoop的配置文件

　　cd /usr/local/hadoop/etc/hadoop/

　　vim hadoop-env.sh

　　末尾添加

　　export JAVA_HOME=/usr/local/java/jdk1.8.0_131/

　　export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

　　注意：路径要对

　　使环境变量立即生效

　　source hadoop-env.sh

　　配置另一个文件

　　vim core-site.xml

　　在<configuration></configuration>中添加以下内容

　　<property>

　　        <name>fs.defaultFS</name>

　　        <value>hdfs://localhost:9000</value>

　　    </property>

　　<property>

　　<name>hadoop.tmp.dir</name>

　　<value>file:/usr/local/hadoop/tmp</value>

　　        </property>

　　配置下一个文件 hdfs-site.xml

　　vim hdfs-site.xml

　　在<configuration></configuration>中添加以下内容

　　<property>

　　        <name>dfs.replication</name>

　　        <value>1</value>

　　    </property>

　　 <property>

　　        <name>dfs.namenode.name.dir</name>

　　        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

　　        </property>

　　        <property>

　　         <name>dfs.datanode.data.dir</name>

　　         <value>file:/usr/local/hadoop/tmp/dfs/data</value>

　　        </property>

　　配置下一个文件mapred-site.xml 因为这个文件默认不存在我们把mapred-site.xml.template作为模板来配置

　　cp mapred-site.xml.template mapred-site.xml

　　vim mapred-site.xml

　　在<configuration></configuration>中添加以下内容

　　<property>

　　        <name>mapreduce.framework.name</name>

　　        <value>yarn</value>

　　    </property>

　　配置下下个文件yarn-site.xml

　　vim yarn-site.xml

　　在<configuration></configuration>中添加以下内容

　　<property>

　　        <name>yarn.nodemanager.aux-services</name>

　　        <value>mapreduce_shuffle</value>

　　    </property>

　　配置最后一个文件yarn-env.sh
　　
　　vim yarn-env.sh

　　注意：在第23行左右 export JAVA_HOME （删除# 去掉注释），并更改正确jdk的路径

　　格式化namenode

　　cd /usr/local/hadoop

　　bin/hdfs namenode-format

　　注意：成功的话，会看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若为 “Exitting with status 1” 则是出错了

　　通过脚本启动hdfs

　　sbin/start-dfs.sh

　　打开浏览器访问http://localhost:50070，验证是否hdfs配置成功

　　再来启动yarn

　　sbin/start-yarn.sh

　　打开浏览器访问http://localhost:8088，验证yarn是否配置成功

　　注意：由于浏览器存在缓存问题打开地址可能会失败关闭浏览器重新打开一两次就好，如果还是失败检查配置文件是否有误

　　查看已启动的hadoop进程

　　jps

　　注意：如果没有 NameNode 或 DataNode ，那就是配置不成功

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!