Hadoop伪分布式搭建

 时间:2024-10-14 18:48:31

1、 配置Hadoop环境变量# 配置HADOOP环境变量vi /etc/profile# 内容export HADOOP_HOME=/usr/local/hadoop-2.9.2export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin# 立即生效source /etc/profile# 配置JAVA_HOME为JDK安装目录vi /usr/local/hadoop-2.9.2/etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/local/jdk1.8.0_231

2、 修改主机名vi /etc/hosts添加内容192.168.71.130 master

3、 主要配置# 创建目录mkdir -p /hadoop/tmp# 核心配置:core-site.xml vi /usr/loca造婷用痃l/hadoop-2.9.2/etc/hadoop/core-site.xml # 添加内容<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property></configuration># HDFS 配置文件:hdfs-site.xmlvi /usr/local/hadoop-2.9.2/etc/hadoop/hdfs-site.xml # 内容<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>

4、 格式化hdfs namenode -format

5、 map筠续师诈reduce 配置在 etc/hadoop 目录下:mapred-site.xml将:mapred-site.xmlroo墉掠载牿t 改为:mapred-site.xmlcp /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template# 配置vi /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml# 添加内容<configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value></property></configuration>

6、 Yarn 配置 yarn-site.xml# 添加配置vi /usr/local/hadoop-2.9.2/etc/hadoop/yarn-site.xml# 内容<property><name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.resourcemanager.hostname</name> <value>master</value></property>

7、start-all.sh 启动所有节点

  • input range 拖拽过后颜色用法
  • bootstrap表格的使用方法
  • MyBatis如何入门以及实现一个简单的增删改查
  • php 链接怎么带参数传递
  • Servlet如何获取隐藏域的值
  • 热门搜索
    西沙旅游 广州旅游景点大全 南京旅游攻略二日游 横店旅游 伊春旅游 宽甸旅游 江苏旅游景点大全 张掖旅游攻略 暨南大学深圳旅游学院 南宁旅游景点