柚子快報激活碼778899分享：hadoop3.1.3安裝

http://yzkb.51969.com/

1.下載

Hadoop下載地址：點(diǎn)擊此處 下載完成后把hadoop-3.1.3.tar.gz導(dǎo)入到opt目錄下面的software文件夾（自定義目錄）下面

1.1解壓文件

# 進(jìn)入到安裝目錄中

cd /opt/software/

# 解壓該文件

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

# 查看是否解壓成功

ls /opt/module/

# 獲取安裝路徑

pwd

/opt/module/hadoop-3.1.3

1.2 添加hadoop環(huán)境變量

# 創(chuàng)建環(huán)境變量文件

sudo vim /etc/profile.d/my_env.sh

# 在my_env.sh文件末尾添加如下內(nèi)容：（shift+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

# 保存后推出

:wq

# 讓修改后的文件生效

source /etc/profile

# 測試是否安裝成功

hadoop version

Hadoop 3.1.3

# 如果hadoop命令不能用可以重啟試試

sudo reboot

1.3 hadoop各個目錄介紹

（1）bin目錄：存放對Hadoop相關(guān)服務(wù)（HDFS,YARN）進(jìn)行操作的腳本 （2）etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件 （3）lib目錄：存放Hadoop的本地庫（對數(shù)據(jù)進(jìn)行壓縮解壓縮功能） （4）sbin目錄：存放啟動或停止Hadoop相關(guān)服務(wù)的腳本 （5）share目錄：存放Hadoop的依賴jar包、文檔、和官方案例

2 Hadoop集群安裝

Hadoop運(yùn)行模式包括：本地模式、偽分布式模式以及完全分布式模式。 Hadoop官方網(wǎng)站：添加鏈接描述 本章主要介紹完全分布式模式安裝，也就是集群安裝。

2.1 環(huán)境準(zhǔn)備

準(zhǔn)備3臺客戶機(jī)（關(guān)閉防火墻、靜態(tài)ip、主機(jī)名稱） 安裝JDK并配置環(huán)境便變量 安裝Hadoop并配置環(huán)境變量

2.2 編寫分發(fā)腳本

#!/bin/bash

#1. 判斷參數(shù)個數(shù)

if [ $# -lt 1 ]

then

echo Not Enough Arguement!

exit;

fi

#2. 遍歷集群所有機(jī)器

for host in host1 host2 host3

do

echo ==================== $host ====================

#3. 遍歷所有目錄，挨個發(fā)送

for file in $@

do

#4. 判斷文件是否存在

if [ -e $file ]

then

#5. 獲取父目錄

pdir=$(cd -P $(dirname $file); pwd)

#6. 獲取當(dāng)前文件的名稱

fname=$(basename $file)

ssh $host "mkdir -p $pdir"

rsync -av $pdir/$fname $host:$pdir

else

echo $file does not exists!

fi

done

done

# 添加可執(zhí)行權(quán)限

chmod +x xsync

# 將腳本復(fù)制到/bin中，以便全局調(diào)用

sudo cp xsync /bin/

2.3 SSH無密登錄配置

# 生成公鑰和私鑰

ssh-keygen -t rsa

然后敲（三個回車），就會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）

# 使用ssh-copy-id命令可以把本地的ssh公鑰文件安裝到遠(yuǎn)程主機(jī)對應(yīng)的賬戶中

ssh-copy-id host1

ssh-copy-id host2

ssh-copy-id host3

# 需要給自己分一次 然后在其他機(jī)器上執(zhí)行一遍同樣的步驟

2.4 集群配置

2.4.1集群部署規(guī)劃

**注意**：NameNode和SecondaryNameNode不要安裝在同一臺服務(wù)器

**注意**：ResourceManager也很消耗內(nèi)存，不要和NameNode、SecondaryNameNode配置在同一臺機(jī)器上。

host1host2host3HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager

2.4.2 集群配置

配置core-site.xml

fs.defaultFS

hdfs://host1:9820

hadoop.tmp.dir

/opt/module/hadoop-3.1.3/data

hadoop.http.staticuser.user

hadoop

hadoop.proxyuser.hadoop.hosts

*

hadoop.proxyuser.hadoop.groups

*

hadoop.proxyuser.hadoop.groups

*

配置hdfs-site.xml

dfs.namenode.http-address

host1:9870

dfs.namenode.secondary.http-address

host3:9868

配置yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

host2

yarn.nodemanager.env-whitelist

JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

yarn.scheduler.minimum-allocation-mb

512

yarn.scheduler.maximum-allocation-mb

4096

yarn.nodemanager.resource.memory-mb

4096

yarn.nodemanager.pmem-check-enabled

false

yarn.nodemanager.vmem-check-enabled

false

配置mapred-site.xml

mapreduce.framework.name

yarn

配置

# 在底部增加以下內(nèi)容：

export HDFS_NAMENODE_USER=hadoop

export HDFS_DATANODE_USER=hadoop

export HDFS_SECONDARYNAMENODE_USER=hadoop

export YARN_RESOURCEMANAGER_USER=hadoop

export YARN_NODEMANAGER_USER=hadoop

# 修改以下配置

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export JAVA_HOME=/opt/module/jdk-1.8.0

2.4.3分發(fā)配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

2.4.4 配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

# 插入一下內(nèi)容

host1

host2

host3

# 分發(fā)配置文件

xsync /opt/module/hadoop-3.1.3/etc

2.5 啟動集群

如果集群是第一次啟動，需要在host1節(jié)點(diǎn)格式化NameNode（注意格式化NameNode，會產(chǎn)生新的集群id，導(dǎo)致NameNode和DataNode的集群id不一致，集群找不到已往數(shù)據(jù)。如果集群在運(yùn)行過程中報錯，需要重新格式化NameNode的話，一定要先停止namenode和datanode進(jìn)程，并且要刪除所有機(jī)器的data和logs目錄，然后再進(jìn)行格式化。）

hdfs namenode -format

# 啟動HDFS

sbin/start-dfs.sh

# 在配置了ResourceManager的節(jié)點(diǎn)（host2）啟動YARN

sbin/start-yarn.sh

2.5.1 查看web端

HDFS:http://host2:9870 YARN:http://host3:8088 需要在本機(jī)中配置hosts，或者輸入ip地址。

2.6 關(guān)閉集群

2.6.1 各個服務(wù)組件逐一啟動/停止

# 分別啟動/停止HDFS組件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

# 啟動/停止YARN

yarn --daemon start/stop resourcemanager/nodemanager

2.6.2 各個模塊分開啟動/停止（配置ssh是前提）常用

# 整體啟動/停止HDFS

start-dfs.sh/stop-dfs.sh

# 整體啟動/停止YARN

start-yarn.sh/stop-yarn.sh

2.6.3 集群啟停腳本

# hadoop集群啟停腳本（包含hdfs，yarn，historyserver）：myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]

then

echo "No Args Input..."

exit ;

fi

case $1 in

"start")

echo " =================== 啟動 hadoop集群 ==================="

echo " --------------- 啟動 hdfs ---------------"

ssh host1 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"

echo " --------------- 啟動 yarn ---------------"

ssh host2 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"

echo " --------------- 啟動 historyserver ---------------"

ssh host3 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"

;;

"stop")

echo " =================== 關(guān)閉 hadoop集群 ==================="

echo " --------------- 關(guān)閉 historyserver ---------------"

ssh host1 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"

echo " --------------- 關(guān)閉 yarn ---------------"

ssh host2 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"

echo " --------------- 關(guān)閉 hdfs ---------------"

ssh host3 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"

;;

*)

echo "Input Args Error..."

;;

esac

柚子快報激活碼778899分享：hadoop3.1.3安裝

http://yzkb.51969.com/

相關(guān)閱讀