hadoop搭建步骤 spark和hadoop的区别

1.虚拟机环境准备1)克隆虚拟机2)修改克隆虚拟机的静态ip。3)修改主机名。4)关闭防火墙。5)创建atguigu用户6)将atguigu用户配置为具有root权限。以上六项内容详见文档《上思谷大数据技术Linux》。7)在/opt目录中创建一个文件夹(1)在/opt目录中创建模块和软件文件夹。[at guigu...

1.虚拟机环境准备

1)克隆虚拟机

2)修改克隆虚拟机的静态ip。

3)修改主机名。

4)关闭防火墙。

5)创建atguigu用户

6)将atguigu用户配置为具有root权限。

以上六项内容详见文档《上思谷大数据技术Linux》。

7)在/opt目录中创建一个文件夹

(1)在/opt目录中创建模块和软件文件夹。

[at guigu @ Hadoop 101 opt]$ sudo mkdir模块

[at guigu @ Hadoop 101 opt]$ sudo mkdir软件

(2)修改模块和软件文件夹的所有者。

[at guigu @ Hadoop 101 opt]$ sudo chown at guigu:at guigu模块/软件/

[atguigu@hadoop101 opt]$ ll

总剂量8

DrwXR-XR-X.2 Atguigu Atguigu 4096年1月17日14:37模块

DrwXR-XR-x . 2 at guigu at guigu 4096 1月17日14: 38软件

2.安装jdk

1)卸载现有的jdk

(1)查询是否安装java软件:

[at guigu @ Hadoop 101 opt]$ rpm-QA | grep Java

(2)如果安装的版本低于1.7,卸载jdk:

[at guigu @ Hadoop 101 op]$ sudo rpm-e软件包

2)使用SecureCRT工具将jdk导入到opt目录下的软件文件夹中。

“alt+p”进入sftp模式。

选择jdk1.8进行拖动

3)在linux系统下的opt目录中查看软件包是否导入成功。3)检查linux系统下的opt目录下的软件包是否导入成功。

[atguigu@hadoop101 opt]$ cd软件/

[atguigu@hadoop101软件]$ ls

hadoop-2.7.2.tar.gz·jdk-8u144-linux-x***.tar.gz

4)将jdk解压缩到/opt/module目录

[atguigu@hadoop101软件]$ tar-zxvf jdk-8u144-linux-x***.tar.gz-C/opt/module/

5)配置jdk环境变量

(1)首先获取jdk路径:

[at GUI @ Hadoop 101 JDK 1 . 8 . 0 _ 144]$ pwd

/opt/module/jdk1.8.0_144

(2)打开/etc/profile文件:

[atguigu@hadoop101软件]$ sudo vi /etc/profile

在配置文件末尾添加jdk路径:

#J***A_HOME

导出J***A _ HOME =/opt/module/JDK 1 . 8 . 0 _ 144

导出路径=$PATH:$J***A_HOME/bin

(3)保存并退出:

:wq

(4)使修改后的文件生效:

[at guigu @ Hadoop 101 JDK 1 . 8 . 0 _ 144]$ source/etc/profile

6)测试jdk是否安装成功:

[at guigu @ Hadoop 101 JDK 1 . 8 . 0 _ 144]# Java版本

java版本“1.8.0_144”

注意:重新启动(如果java版本有效,您不必重新启动)

[at guigu @ Hadoop 101 JDK 1 . 8 . 0 _ 144]$ sync

[at guigu @ Hadoop 101 JDK 1 . 8 . 0 _ 144]$ sudo重新启动

3.安装Hadoop

0)Hadoop下载地址:

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

切换到sftp连接页面,选择Linux下编译的hadoop jar包拖入。

2)进入到Hadoop安装包路径下:2)输入Hadoop安装包路径:

[at guigu @ Hadoop 101 ~]$ CD/opt/software/

3)将安装文件解压缩到/opt/module。

[atguigu@hadoop101软件]$ tar-zxvf hadoop-2.7.2.tar.gz-C/opt/module/

4)检查解压是否成功。

[atguigu@hadoop101软件]$ ls /opt/module/

hadoop-2.7.2

5)将hadoop添加到环境变量

(1)获取hadoop安装路径:

[at guigu @ Hadoop 101 Hadoop-2 . 7 . 2]$ pwd

/opt/module/hadoop-2.7.2

(2)打开/etc/profile文件:

[at guigu @ Hadoop 101 Hadoop-2 . 7 . 2]$ sudo VI/etc/profile

在profie文件的末尾添加jdk路径:(***f+g)

##HADOOP_HOME

导出HADOOP _ HOME =/opt/module/HADOOP-2 . 7 . 2

导出路径=$PATH:$HADOOP_HOME/bin

导出路径=$PATH:$HADOOP_HOME/***in

(3)保存并退出:

:wq

(4)使修改后的文件生效:

[at guigu @ Hadoop 101 Hadoop-2 . 7 . 2]$ source/etc/profile

6)测试安装是否成功。

[atguigu@hadoop102 ~]$ hadoop版本

Hadoop 2.7.2

7)重新启动(如果hadoop命令无法使用,则重新启动):

[at guigu @ Hadoop 101 Hadoop-2 . 7 . 2]$ sync

[at guigu @ Hadoop 101 Hadoop-2 . 7 . 2]$ sudo重新启动

我关注分享更多关于大数据的知识!

本文来自傲娇小伙子投稿,不代表舒华文档立场,如若转载,请注明出处:https://www.chinashuhua.cn/24/610245.html

打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
() 0
上一篇 06-28
下一篇 06-28

相关推荐

  • hadoop三大组件

    品牌型号:联想 YOGA 14c/系统版本:windows7 Hadoop的三大组件为分别为:HDFS、MapReduce和Yarn。HDFS是Hadoop分布式文件系统,是指提供对应用程序数据的高吞吐量访问的分布式文件系统。Hadoop MapReduce是用于并行处理大型数据集的软件框架。Yarn是作业调度和集群资源管理的

    2023-07-21 17:37:01
    249 0
  • hadoop搭建步骤 spark和hadoop的区别

    1.虚拟机环境准备1)克隆虚拟机2)修改克隆虚拟机的静态ip。3)修改主机名。4)关闭防火墙。5)创建atguigu用户6)将atguigu用户配置为具有root权限。以上六项内容详见文档《上思谷大数据技术Linux》。7)在/opt目录中创建一个文件夹(1)在/opt目录中创建模块和软件文件夹。[at guigu

    2023-06-28 00:09:01
    933 0
  • hadoop上传文件命令 hadoop菜鸟教程

    HDFS是一个文件系统,通过一个统一命名的空房间来存储文件–定位文件的目录;其次,它是分布式的,很多服务器组合起来实现它的功能。集群中的服务器有自己的角色。HDFS设计思路:分而治之:将大文件和批量文件以分布式的方式存储在大量的服务器中,以方便对海量数据进行分

    2023-06-14 21:40:02
    875 0
  • hadoop文档仓库 简述hadoop和opc的通信

    先看下数据写入的流程图先看数据写的流程图。数据包写入过程以文字的形式梳理以上步骤。目标将一个本地文件a.txt上传到hdfs文件系统中,hdfs中默认blockSize=128M***因子默认为3详细步骤客户端根据配置信息与NameNode建立连接,并告诉NameNode,将a.txt文件上传到hdfs的/tmp/

    2023-06-10 13:19:01
    453 0

评论列表

联系我们

在线咨询: QQ交谈

邮件:admin@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信