柚子快報邀請碼778899分享：大數(shù)據(jù) Hadoop分布式安裝

http://yzkb.51969.com/

databig安裝鏈接大數(shù)據(jù)----虛擬機(jī)自定義安裝和配置jdk-CSDN博客

安裝所需文件鏈接：https://pan.baidu.com/s/1259wcGKME_DebgQ1U9gdFA?pwd=wf06? 提取碼：wf06?

分布式安裝和偽分布式安裝步驟相似

1.集群規(guī)劃

集群規(guī)劃：

bigdata03bigdata04bigdata05HDFSNameNode，DataNodeSecondaryNameNode,DataNodeDataNodeYARNNodeManagerNodeManagerResourcesManager，NodeManager

集群規(guī)劃時的兩個注意點：

hdfs中的NameNode和SecondaryNameNode不要安裝在同一個節(jié)點上

yarn中的ResourcesManager不要和NameNode和SecondaryNameNode在同一個節(jié)點上

2.克隆并配置主機(jī)名和ip地址

將上述文章安裝的虛擬機(jī)databig 右擊管理->克隆，克隆三次，名分別為databig03，databig04，databig05，注意要創(chuàng)建完整克隆

三臺虛擬機(jī)依次cd /etc目錄下 vim hostname ，分別將里面的內(nèi)容替換為databig03，databig04，databig05

cd /etc/sysconfig/network-scripts/

vim ifcfg-ens33

分別將ip地址修改為192.168.174.103? ，192.168.174.104? ，192.168.174.105

reboot重啟生效

3.解壓hadoop

先在databig03上解壓hadoop

cd /opt/install_packages/

將hadoop壓縮包通過MobaXterm發(fā)送到/opt/install_packages下

將hadoop解壓到/opt/softs下

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/softs/

解壓完后改名

mv /opt/softs/hadoop-3.1.3/ /opt/softs/hadoop3.1.3/

4.配置環(huán)境變量

然后進(jìn)入?cd hadoop3.1.3/

pwd命令，打印當(dāng)前路徑? ?/opt/softs/hadoop3.1.3

配置hadoop環(huán)境和進(jìn)程用戶

#HADOOP_HOME

export HADOOP_HOME=/opt/softs/hadoop3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

vim /etc/profile? ?,將上面的內(nèi)容寫進(jìn)去

配置完畢后source /etc/profile （必須要source，不然修改不生效）

打印echo $HADOOP_HOME驗證配置成功

5.做一下ip地址和主機(jī)的映射

cd /etc下 ，vim hosts， 在里面加一下三臺主機(jī)的映射（ip地址+主機(jī)名），后面訪問的時候根據(jù)這個配置的ip地址訪問相應(yīng)的主機(jī)

按esc保存，shift+z+z退出

另外；兩臺機(jī)器也需要映射，這里為了方便操作，直接使用遠(yuǎn)程傳輸命令 scp

scp 要遠(yuǎn)程傳輸?shù)奈募?目標(biāo)主機(jī)的用戶名@目標(biāo)主機(jī)的IP或hostname:文件遠(yuǎn)程傳輸?shù)奈恢?/p>

scp /etc/hosts root@databig04:/etc/

顯示傳輸成功

在databig04上cat /etc/hosts，內(nèi)容顯示正確，傳輸映射無誤

scp /etc/hosts root@databig05:/etc/

映射完05也可以cat查看一下

6.設(shè)置免密登錄

需要三臺虛擬機(jī)任意兩兩組合訪問都是免密登錄，分別在三臺虛擬機(jī)下做以下操作

切換目錄 cd /root

查看隱藏的內(nèi)容 ls -al

?如果沒有.ssh目錄，可以先執(zhí)行 ssh root@hostname（例如ssh root@databig02） 遠(yuǎn)程連接后 .ssh目錄會被創(chuàng)建

cd .ssh

生成免密登錄的公鑰和私鑰

ssh-keygen -t rsa (三個回車)

ll查看，第一個是私鑰，第二個是公鑰

將公鑰發(fā)送給需要免密登錄的虛擬機(jī)上

ssh-copy-id databig03

ssh-copy-id databig04

ssh-copy-id databig05

在databig04，databig05重復(fù)以上操作

7.集群搭建

1.根據(jù)集群規(guī)劃修改集群配置文件

讓hadoop找到j(luò)ava環(huán)境

回到databig03

cd /opt/softs/hadoop3.1.3/etc/hadoop/??

vim hadoop-env.sh

輸入/JAVA_HOME按回車鍵搜索，找到#export JAVA_HOME= 所在行

去掉#并修改

export JAVA_HOME=/opt/softs/jdk1.8.0

/opt/softs/jdk1.8.0是你自己的jdk路徑,可以通過輸入echo $JAVA_HOME查看

esc保存，shift+z+z退出

四個xml文件配置

所用到的四個文件在網(wǎng)盤里下載，在本地修改好后再通過MobaXterm傳輸進(jìn)虛擬機(jī)

core-site.xml文件，NameNode要改為自己集群規(guī)劃時的主機(jī)名

hdfs-site.xml文件修改處，要換成自己規(guī)劃的主機(jī)名，端口不用改

mapred-site.xml文件不用修改

yarn-site,xml文件

上傳完成后分別用cat命令顯示一下，檢查內(nèi)容是否正確

配置DataNode所在節(jié)點

vim workers? （還是在?/opt/softs/hadoop3.1.3/etc/hadoop/下? ）

刪掉localhost ，內(nèi)容替換為

databig03

databig04

databig05

（這里要注意三個節(jié)點分別占據(jù)一行，不能寫在同一行里）

修改完cat查看一下

發(fā)送配置

將整個配置目錄發(fā)送到另外兩臺上：

cd /opt/softs

scp -r /opt/softs/hadoop3.1.3 root@databig04:/opt/softs/

scp -r /opt/softs/hadoop3.1.3 root@databig05:/opt/softs/

傳輸完成后分別到databig04和databig05的/opt/softs目錄下查看是否有hadoop3.1.3目錄

在databig03上配置了環(huán)境變量，所以還要向04,05發(fā)送環(huán)境文件（profile內(nèi)容基于hadoop目錄，所以后發(fā)）

scp /etc/profile root@databig04:/etc/

scp /etc/profile root@databig05:/etc/

然后不要忘記傳輸完成后在04,05上執(zhí)行 source /etc/profile

8.初始化操作

在NameNode所在節(jié)點執(zhí)行初始化操作，這里是在databig03上執(zhí)行

hdfs namenode -format

顯示成功后 cd?/opt/softs/hadoop3.1.3/

ll查看，看見data目錄生成

在NameNode節(jié)點即03上啟動hdfs

start-dfs.sh

三個節(jié)點分別jps一下查看進(jìn)程

和集群規(guī)劃的hdfs一樣

在05上啟動yarn

start-yarn.sh

三臺機(jī)器jps一下

以上即為正確配置的情況

9.查看日志

每次啟動時節(jié)點情況都應(yīng)該是上面的樣子，如果啟動的時候發(fā)現(xiàn)少節(jié)點，可以通過看日志排查

假設(shè)03的DataNode節(jié)點沒有，復(fù)制一個03窗口，到hadoop安裝目錄下

cd /opt/softs/hadoop3.1.3/

cd logs/

哪個沒有啟動成功就看哪個log

由于日志是實時寫入的，所以可以用查看滾動日志的命令

tail -500f 日志路徑（意思是查看日志的最新500行）

tail -500f hadoop-root-datanode-databig03.log

查看日志里的錯誤信息即可

10.退出關(guān)閉

不用時盡量不要強(qiáng)制關(guān)閉，使用命令關(guān)閉

stop-dfs.sh

stop-yarn.sh

?

?

柚子快報邀請碼778899分享：大數(shù)據(jù) Hadoop分布式安裝

http://yzkb.51969.com/

推薦鏈接