单节点集群模式，也称为伪分布式模式，只需要一个节点就可以运行。这种模式一般只用于学习或开发和测试。在实际中，仍然使用多节点分布。
1.环境变量的配置
为了方便地执行Hadoop程序，需要配置很多系统环境变量。主要有以下变量
将HADOOP_HOME设置为HADOOP的安装路径。
导出HADOOP _ HOME =/HOME/HD user/HADOOP
将hadoop添加到路径。如上所述，hadoop的运行文件在bin和***in目录下。设置路径后，我们可以在任何地方执行hadoop命令。
导出路径= $ HADOOP _ HOME/bin:$ HADOOP _ HOME/***in
设置其他hadoop环境变量
导出HADOOP _ MAPRED _ HOME = $ HADOOP _ HOME
导出HADOOP _ COMMON _ HOME = $ HADOOP _ HOME
导出HADOOP_HDFS_HOME=$HADOOP_HOME
导出YARN_HOME=$HADOOP_HOME
链接库的相关设置
导出HADOOP _ COMMON _ LIB _ NATIVE _ DIR = $ HADOOP _ HOME
export HADOOP _ OPTS = "-DJ ava . library . path = $ HADOOP _ HOME/lib "
导出J***A _ LIBRARY _ PATH = $ HADOOP _ HOME/lib/native:$ J***A _ LIBRARY _ PATH
与配置Jdk的系统环境变量的方法一致，我们只需要将需要配置的系统变量添加到。用户主目录中的bashrc文件。打开Ubuntu虚拟机，然后打开Xshell连接登录虚拟机，执行命令vim。用户主目录中的bashrc。
在新框中输入I进入编辑模式，然后在文件末尾输入以下内容
按esc退出编辑模式，输入:wq保存并退出。
输入来源。bashrc命令在命令行中更新系统环境变量。
更新后，我们可以通过echo $HADOOP_HOME测试系统变量是否添加成功，如下图所示。
Hadoop的默认模式是非分布式模式(本地模式)，不需要其他配置就可以运行。非分布式或单个Java进程便于调试。在这里，我们可以在本地模式下运行一些Hadoop自带的MapReduce实例，验证Hadoop可以正常运行，同时体验一下MapReduce在Hadoop中运行的命令格式。在命令行输入
Cd hadoop/ #进入hadoop安装文件目录
Mkdir。/input #在hadoop文件夹下创建一个输入文件
比较/etc/hadoop/*。xml。/input #将配置文件作为输入文件
。/bin/hadoop jar
。/share/Hadoop/MapReduce/Hadoop-MapReduce-examples-*。加·格雷普。/输入。/output ‘DFS[a-z .]+’#在MapReduce中运行grep示例，过滤符合正则表达式dfs[a-z]+的单词并统计其出现次数，将结果放入输出文件夹。有关正则表达式的更多信息，请参见附录三:正则表达式快速查找表。
猫。/output/* #查看运行结果
删除的文件使用以下命令
RM-r ./输出
RM-r ./输入
Hadoop也可以在单个节点上以伪分布式模式运行。此时，Hadoop进程作为一个单独的Java进程运行，节点同时充当NameNode和DataNode，同时读取HDFS中的文件。这种模式需要修改相应的配置文件，我们将在下面详细解释。
本文来自是我太自作多情投稿，不代表舒华文档立场，如若转载，请注明出处：https://www.chinashuhua.cn/24/483233.html
微信扫一扫 
