柚子快報(bào)激活碼778899分享：Hadoop高可用搭建（二）

http://yzkb.51969.com/

目錄

解壓Hadoop

改名

更改配置文件

workers

hdfs-site.xml

core-site.xml

hadoop-env.sh

mapred-site.xml

yarn-site.xml

設(shè)置環(huán)境變量

啟動(dòng)集群

啟動(dòng)zk集群

啟動(dòng)journalnode服務(wù)

格式化hfds namenode

啟動(dòng)namenode

同步namenode信息

查看namenode節(jié)點(diǎn)狀態(tài)

查看啟動(dòng)情況

關(guān)閉所有dfs有關(guān)的服務(wù)

格式化zk

啟動(dòng)dfs

啟動(dòng)yarn

? 查看resourcemanager節(jié)點(diǎn)狀態(tài)?

測(cè)試集群wordcount

創(chuàng)建一個(gè)TXT文件

上傳到hdfs上面

查看輸出結(jié)果?

解壓Hadoop

[root@ant51?install]# tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

改名

[root@ant151?install]# cd /opt/soft [root@ant151?soft]# mv hadoop-3.1.3/ hadoop313

更改配置文件

workers

[root@ant151 ~] # cd /opt/soft/hadoop313/etc/hadoop

[root@ant151 hadoop] # vim workers

把所有的虛擬機(jī)加上去

hdfs-site.xml

[root@ant151 hadoop] # vim hdfs-site.xml

dfs.replication

2

hadoop中每一個(gè)block文件的備份數(shù)量

dfs.namenode.name.dir

/opt/soft/hadoop313/data/dfs/name

namenode上存儲(chǔ)hdfs名字空間元數(shù)據(jù)的目錄

dfs.datanode.data.dir

/opt/soft/hadoop313/data/dfs/data

datanode上數(shù)據(jù)塊的物理存儲(chǔ)位置目錄

dfs.namenode.secondary.http-address

ant151:9869

dfs.nameservices

gky

指定hdfs的nameservice，需要和core-site.xml中的保持一致

dfs.ha.namenodes.gky

nn1,nn2

gky為集群的邏輯名稱，映射兩個(gè)namenode邏輯名

dfs.namenode.rpc-address.gky.nn1

ant151:9000

namenode1的rpc通信地址

dfs.namenode.http-address.gky.nn1

ant151:9870

namenode1的http通信地址

dfs.namenode.rpc-address.gky.nn2

ant152:9000

namenode2的rpc通信地址

dfs.namenode.http-address.gky.nn2

ant152:9870

namenode2的http通信地址

dfs.namenode.shared.edits.dir

qjournal://ant151:8485;ant152:8485;ant153:8485/gky

指定namenode的edits元數(shù)據(jù)的共享存儲(chǔ)位置（JournalNode列表）

dfs.journalnode.edits.dir

/opt/soft/hadoop313/data/journaldata

指定JournalNode在本地磁盤存放數(shù)據(jù)的位置

dfs.ha.automatic-failover.enabled

true

開(kāi)啟NameNode故障自動(dòng)切換

dfs.client.failover.proxy.provider.gky

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

如果失敗后自動(dòng)切換的實(shí)現(xiàn)的方式

dfs.ha.fencing.methods

sshfence

防止腦裂的處理

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

使用sshfence隔離機(jī)制時(shí)，需要用ssh免密登陸

dfs.permissions.enabled

false

關(guān)閉hdfs操作的權(quán)限驗(yàn)證

dfs.image.transfer.bandwidthPerSec

1048576

dfs.block.scanner.volume.bytes.per.second

1048576

core-site.xml

[root@ant151 hadoop] # vim core-site.xml

fs.defaultFS

hdfs://gky

邏輯名稱，必須與hdfs-site.xml中的dfs.nameservice值保持一致

hadoop.tmp.dir

/opt/soft/hadoop313/tmpdata

namenode上本地的hadoop臨時(shí)文件夾

hadoop.http.staticuser.user

root

默認(rèn)用戶

io.file.buffer.size

131072

讀寫隊(duì)列緩存：128k；讀寫文件的buffer大小

hadoop.proxyuser.root.hosts

*

代理用戶

hadoop.proxyuser.root.groups

*

代理用戶組

ha.zookeeper.quorum

ant151:2181,ant152:2181,ant153:2181

高可用用戶連接

ha.zookeeper.session-timeout.ms

10000

hadoop連接zookeeper會(huì)話的超時(shí)時(shí)長(zhǎng)為10s

hadoop-env.sh

[root@ant151 hadoop] # vim hadoop-env.sh

大概54行左右JAVA_HOME

export JAVA_HOME=/opt/soft/jdk180

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

mapred-site.xml

[root@ant151 hadoop] # vim mapred-site.xml

mapreduce.framework.name

yarn

job執(zhí)行框架：local,classic or yarn

true

mapreduce.application.classpath

/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*

mapreduce.jobhistory.address

ant151:10020

mapreduce.jobhistory.webapp.address

ant151:19888

mapreduce.map.memory.mb

1024

map階段task工作內(nèi)存

mapreduce.reduce.memory.mb

1024

reduce階段task工作內(nèi)存

yarn-site.xml

[root@ant151 hadoop] # vim yarn-site.xml

yarn.resourcemanager.ha.enabled

true

開(kāi)啟resourcemanager高可用

yarn.resourcemanager.cluster-id

yrcabc

指定yarn集群中的id

yarn.resourcemanager.ha.rm-ids

rm1

指定resourcemanager的名字

yarn.resourcemanager.hostname.rm1

ant153

設(shè)置rm1的名字

yarn.resourcemanager.webapp.address.rm1

ant153:8088

yarn.resourcemanager.zk-address

ant151:2181,ant152:2181,ant153:2181

指定zk集群地址

yarn.nodemanager.aux-services

mapreduce_shuffle

運(yùn)行mapreduce程序必須配置的附屬服務(wù)

yarn.nodemanager.local-dirs

/opt/soft/hadoop313/tmpdata/yarn/local

nodemanager本地存儲(chǔ)目錄

yarn.nodemanager.log-dirs

/opt/soft/hadoop313/tmpdata/yarn/log

nodemanager本地日志目錄

yarn.nodemanager.resource.memory-mb

1024

resource進(jìn)程的工作內(nèi)存

yarn.nodemanager.resource.cpu-vcores

2

resource工作中所能使用機(jī)器的內(nèi)核數(shù)

yarn.scheduler.minimum-allocation-mb

256

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

86400

日志保留多少秒

yarn.nodemanager.vmem-check-enabled

false

yarn.application.classpath

/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*

yarn.nodemanager.env-whitelist

JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

設(shè)置環(huán)境變量

[root@ant151 hadoop] # vim /etc/profile

#HADOOP_HOME

export HADOOP_HOME=/opt/soft/hadoop313

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

?配置完成之后把hadoop313和配置文件拷貝到其余機(jī)器上面

hadoop

[root@ant151 shell]#?scp -r ./hadoop313/ root@ant152:/opt/soft/ [root@ant151 shell]#?scp -r ./hadoop313/ root@ant153:/opt/soft/

環(huán)境變量

[root@ant151 shell]# scp /etc/profile root@ant152:/etc

[root@ant151 shell]# scp /etc/profile root@ant153:/etc 所有機(jī)器刷新資源

[root@ant151 shell]# source /etc/profile

啟動(dòng)集群

啟動(dòng)zk集群

[root@ant151 shell]# ./zkop.sh start

[root@ant151 shell]# ./zkop.sh status

[root@ant151 shell]# ./showjps.sh

?

啟動(dòng)journalnode服務(wù)

啟動(dòng)ant151,ant152,ant153的journalnode服務(wù)

[root@ant151 soft]# hdfs --daemon start journalnode

格式化hfds namenode

在ant151上面操作

[root@ant151 soft]# hdfs namenode -format

啟動(dòng)namenode

在ant151上面操作

[root@ant151 soft]# hdfs --daemon start namenode

同步namenode信息

在ant152上操作

[root@ant152 soft]# hdfs namenode -bootstrapStandby

啟動(dòng)namenode

[root@ant152?soft]# hdfs --daemon start namenode

查看namenode節(jié)點(diǎn)狀態(tài)

[root@ant151 zk345]# hdfs haadmin -getServiceState nn1 [root@ant151 zk345]# hdfs haadmin -getServiceState nn2

?

查看啟動(dòng)情況

[root@ant152 shell]# ./showjps.sh

關(guān)閉所有dfs有關(guān)的服務(wù)

[root@ant151 soft]# stop-dfs.sh

格式化zk

[root@ant151 soft]# hdfs zkfc -formatZK

啟動(dòng)dfs

[root@ant151 soft]# start-dfs.sh?

?

啟動(dòng)yarn

?[root@ant151 soft]# start-yarn.sh?

? 查看resourcemanager節(jié)點(diǎn)狀態(tài)?

[root@ant151 zk345]#?yarn rmadmin -getServiceState rm1

測(cè)試集群wordcount

創(chuàng)建一個(gè)TXT文件

[root@ant151 soft]# vim ./aa.txt

上傳到hdfs上面

[root@ant151 soft]# hdfs dfs -put ./aa.txt /

查看

[root@ant151 soft]# hdfs dfs -ls /

?mapreduce里面的jar包運(yùn)行wordcount

運(yùn)行

?[root@ant151 mapreduce]# hadoop jar ./hadoop-mapreduce-examples-3.1.3.jar ?wordcount /aa.txt /out1

查看輸出結(jié)果?

[root@ant151 mapreduce]# hdfs dfs -ls / [root@ant151 mapreduce]# hdfs dfs -ls /out1 [root@ant151 mapreduce]# hdfs dfs -cat /out1/part-r-00000

出現(xiàn)

aa????????1

bb? ? ? ? 2

cc? ? ? ? 3

則成功?

柚子快報(bào)激活碼778899分享：Hadoop高可用搭建（二）

http://yzkb.51969.com/

好文鏈接