吐血整理,设置两次,亲测可用!!!
我买的阿里云2C4G的服务器,用的是CentOS版。在建造的过程中,我踩过很多坑。希望这篇文章对大家有用。
CentOS 7.7安装Docker
检查内核版本(以root用户身份登录)
uname -a
将yum包更新为最新版本
yum update
安装所需的软件包
yum install -y yum-utils device-***pper-persistent-data lvm2
设置yum源
sudo yum-config-***nager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
创建目录
cd /mntmkdir docker cd docker
您可以查看所有仓库中的所有docker版本,并选择要安装的特定版本
yum list docker-ce --showduplicates | sort -r
安装Docker,命令:yum安装docker-ce-版本号
yum install docker-ce-18.06.3.ce
启动并添加引导
systemctl start dockersystemctl enable docker
验证安装是否成功(有客户端和服务端两部分,表示docker安装启动成功)
docker version
为Ubuntu 18.04安装Docker
创建目录
cd /mntmkdir docker cd docker
下载
wget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd***/containerd.io_1.2.6-3_amd***.debwget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd***/docker-ce-cli_19.03.9~3-0~ubuntu-bionic_amd***.debwget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd***/docker-ce_19.03.9~3-0~ubuntu-bionic_amd***.deb
安装
sudo dpkg -i *.deb
开始
service docker start
构建服务器,Hadoop映像
获取centos7图像
docker pull centos
查看镜像列表
docker i***ges
安装SSH
cd /mnt/dockermkdir sshcd sshvi Dockerfile
内容
FROM centosMAINTAINER dysRUN yum install -y openssh-server sudoRUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_configRUN yum install -y openssh-clientsRUN echo "root:1234" | chpasswdRUN echo "root ALL=(ALL) ALL" >> /etc/sudoersRUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_keyRUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_keyRUN mkdir /var/run/sshdEXPOSE 22CMD ["/usr/***in/sshd", "-D"]
保存并退出
执行命令构建镜像,新镜像命名为centos7-ssh
docker build -t="centos7-ssh" .
根据centos7-ssh的映像启动三个容器
docker run -d --name=centos7.ssh centos7-sshdocker run -d --name=centos7.ssh2 centos7-sshdocker run -d --name=centos7.ssh3 centos7-ssh
构建Hadoop镜像
创建目录
cd /mnt/dockermkdir hadoopcd hadoop
下载jar包
//下载hadoop,构建镜像时使用wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz//下载jdk,构建镜像时使用wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2F***.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x***.tar.gz"
编辑DockerFile
vi Dockerfile
内容
FROM centos7-sshADD jdk-8u141-linux-x***.tar.gz /usr/local/RUN mv /usr/local/jdk1.8.0_141 /usr/local/jdk1.8ENV J***A_HOME /usr/local/jdk1.8ENV PATH $J***A_HOME/bin:$PATHADD hadoop-2.9.2.tar.gz /usr/localRUN mv /usr/local/hadoop-2.9.2 /usr/local/hadoopENV HADOOP_HOME /usr/local/hadoopENV PATH $HADOOP_HOME/bin:$PATHRUN yum install -y which sudo
保存并退出
执行构建命令
docker build -t="hadoop" .
运行容器
docker run --name hadoop0 --hostname hadoop0 -d -P -p 50070:50070 -p 8088:8088 hadoopdocker run --name hadoop1 --hostname hadoop1 -d -P hadoopdocker run --name hadoop2 --hostname hadoop2 -d -P hadoop
Hadoop集群构建
配置ll命令
vim ~/.bashrc
内容
添加以下配置
alias ll='ls -l'
保存退出
重新加载
source ~/.bashrc
安装vim和网络工具
yum install net-toolsyum install vim
修改每台服务器的/etc/hosts。
使用ifconfig命令检查您自己的IP,并将其更改为您自己的服务器的IP。
172.18.0.5 hadoop0172.18.0.6 hadoop1172.18.0.7 hadoop2
修改时区
rm -rf /etc/localtimeln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
无需密码的SSH登录
在每台服务器上执行以下命令。执行后会有多个输入提示。不需要输入任何东西,直接回车即可。
ssh-keygen
当输入以下命令时,您需要使用上面设置的密码1234。
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop0 ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2
安装和配置hadoop
在主机中执行
cd /usr/local/hadoopmkdir tmp hdf***kdir hdfs/data hdfs/name
配置core-site.xml
vim /usr/local/hadoop/etc/hadoop/core-site.xml
添加:
<property> <name>fs.defaultFS</name> <value>hdfs://hadoop0:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value></property><property> <name>io.file.buffer.size</name> <value>131702</value></property>
配置hdfs-site.xml
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
添加:
<property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hdfs/name</value></property><property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hdfs/data</value></property><property> <name>dfs.replication</name> <value>2</value></property><property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop0:9001</value></property><property> <name>dfs.webhdfs.enabled</name> <value>true</value></property>
配置***pred-site.xml
默认情况下该文件不存在,需要从***pred-site.xml.template中***
cp /usr/local/hadoop/etc/hadoop/***pred-site.xml.template /usr/local/hadoop/etc/hadoop/***pred-site.xml
编辑文件
vim /usr/local/hadoop/etc/hadoop/***pred-site.xml
添加:
<property> <name>***preduce.framework.name</name> <value>yarn</value></property><property> <name>***preduce.jobhistory.address</name> <value>hadoop0:10020</value></property><property> <name>***preduce.jobhistory.webapp.address</name> <value>hadoop0:19888</value></property>
配置yarn-site.xml
vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
添加:
<property> <name>yarn.node***nager.aux-services</name> <value>***preduce_shuffle</value></property><property> <name>yarn.node***nager.auxservices.***preduce.shuffle.class</name> <value>org.apache.hadoop.***pred.ShuffleHandler</value></property><property> <name>yarn.resource***nager.address</name> <value>hadoop0:8032</value></property><property> <name>yarn.resource***nager.scheduler.address</name> <value>hadoop0:8030</value></property><property> <name>yarn.resource***nager.resource-tracker.address</name> <value>hadoop0:8031</value></property><property> <name>yarn.resource***nager.admin.address</name> <value>hadoop0:8033</value></property><property> <name>yarn.resource***nager.webapp.address</name> <value>hadoop0:8088</value></property>
配置从机
vim /usr/local/hadoop/etc/hadoop/slaves
删除现有内容并添加:
hadoop1hadoop2
配置hadoop-env.sh
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
Find export J***A_HOME = $ { J***A _ HOME }并将其更改为您自己的J***A _ HOME的绝对路径。
export J***A_HOME=/usr/local/jdk1.8
将文件***到hadoop1、hadoop2
scp -r /usr/local/hadoop hadoop1:/usr/localscp -r /usr/local/hadoop hadoop2:/usr/local
设置hadoop环境变量
在每台服务器上执行:
vim ~/.bashrc
增加内容
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/***in
保存并重新加载资源。
source ~/.bashrc
启动hadoop
当hadoop在主节点启动时,从节点会自动启动。
初始化
hdfs namenode -for***t
开始
hadoop-daemon.sh start namenodehadoop-daemon.sh start datanodestart-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver
测试
如果您使用的也是阿里云服务器,那需要在阿里云客户端调整安全组,阿里云默认只开放22端口,所以需要把50070、8088都开通
如果你也在使用阿里云服务器,需要在阿里云客户端调整安全组。阿里云默认只开放22个端口,所以你需要开放50070和8088。
端口号。png
在浏览器中访问:
http://服务器IP:50070/
想象一下1.png
http://服务器IP:8088/
Hdfs操作
hdfs dfs -mkdir -p /usr/local/hadoop/inputhdfs dfs -put /usr/local/hadoop/etc/hadoop/kms*.xml /usr/local/hadoop/input
http://服务器IP:50070/,在文件浏览页面查看
Http:// server IP:50070/,在文件浏览页面查看
验证hdfs.png
Mapreduce操作
hadoop jar /usr/local/hadoop/share/hadoop/***preduce/hadoop-***preduce-examples-2.9.2.jar grep /usr/local/hadoop/input /usr/local/hadoop/output 'dfs[a-z.]+'
验证***preduce.png
本文来自暮以随然投稿,不代表舒华文档立场,如若转载,请注明出处:https://www.chinashuhua.cn/24/477153.html