柚子快報激活碼778899分享：Hadoop單機(jī)搭建及問題解決

http://yzkb.51969.com/

Hadoop環(huán)境搭建

前言一、Hadoop搭建準(zhǔn)備二、Hadoop單機(jī)搭建1.下載Hadoop版本2.相關(guān)機(jī)器設(shè)置/etc/hosts免密登錄防火墻

3.開始進(jìn)行相關(guān)配置/hadoop-3.3.6/etc/hadoop/hadoop-nv.sh/hadoop-3.3.6/etc/hadoop/core-site.xml/hadoop-3.3.6/etc/hadoop/hdfs-site.xml/hadoop-3.3.6/etc/hadoop/workers

三、啟動之前的準(zhǔn)備操作1、初始化2、啟動

四、出現(xiàn)的問題及解決方案1、but there is no *** defined. Aborting operation.2、Permission denied3、Permission denied: user=dr.who, access=WRlTE,

五、啟動總結(jié)

前言

例如：開始接觸大數(shù)據(jù)相關(guān)的知識。然后想著先搭建一個Hadoop環(huán)境，結(jié)果在搭建的過程中出現(xiàn)了各種各樣的問題。所以特此在這寫一個文檔進(jìn)行記錄。

按此文檔進(jìn)行搭建，80%的情況下可以一次性搭建成功。如果有其他問題歡迎留言一起學(xué)習(xí)。也歡迎各位大佬指正文章中的不足之處

提示：以下是本篇文章正文內(nèi)容，下面案例可供參考

一、Hadoop搭建準(zhǔn)備

查閱了大部分搭建資料，并且自己在第一次搭建的過程中，發(fā)現(xiàn)JDK版本確實有影響。因此特此說明： JDK版本需要安裝1.8；高版本可能存在一些兼容性問題。由于本文不是處理兼容性的，因此不在此進(jìn)行贅述。

同時JDK1.8版本的搭建，網(wǎng)上有各種各樣的教程，本文章重點在于Hadoop下載后的各種配置，在此只是說明版本。

二、Hadoop單機(jī)搭建

1.下載Hadoop版本

我在搭建過程中，使用的是最新版本的Hadoop。 各位看官也可以去官網(wǎng)下載需要的Hadoop版本：https://www.apache.org/dyn/closer.cgi/hadoop

基于Linux搭建時，可以通過wget命令直接下載對應(yīng)的安裝包。下載完成之后，在想要解壓的位置，解壓Hadoop包

tar -zxvf hadoop-3.3.6.tar.gz

2.相關(guān)機(jī)器設(shè)置

/etc/hosts

# 配置本機(jī)的主機(jī)名，如果需要配置從節(jié)點，也需要對從節(jié)點對應(yīng)的IP和從節(jié)點主機(jī)名做指定

ip name

# eg.

# 127.0.0.1 server

免密登錄

這個目前還沒有找到其他處理方式。因為機(jī)器的配置，設(shè)置免密登錄，一旦ip暴露出去，所有人都有登錄機(jī)器的可能性。存在安全隱患，但對于當(dāng)前Hadoop搭建，需要進(jìn)行處理

cd ~/.ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

防火墻

部分機(jī)器可能需要單獨處理防火墻。但我個人的機(jī)器不存在此問題，因此無截圖。若因為防火墻的問題導(dǎo)致Hadoop啟動失敗，可以執(zhí)行以下命令：

# 查看防火墻狀態(tài)

sudo firewall-cmd --state

# 關(guān)閉防火墻:

sudo systemctl stop firewalld

# 禁止開機(jī)啟動

sudo systemctl disable firewalld

3.開始進(jìn)行相關(guān)配置

這部分配置操作及文件路徑說明，均基于上述解壓后的文件夾所在路徑

/hadoop-3.3.6/etc/hadoop/hadoop-nv.sh

# 配置自己機(jī)器上的JDK路徑

# 每個人的安裝路徑不同，不要原樣抄襲

export JAVA_HOME=$JAVA_HOME

/hadoop-3.3.6/etc/hadoop/core-site.xml

fs.defaultFS

hdfs://server:8020

hadoop.tmp.dir

/home/hadoop/data

/hadoop-3.3.6/etc/hadoop/hdfs-site.xml

dfs.replication

1

/hadoop-3.3.6/etc/hadoop/workers

# 配置所有從屬節(jié)點的主機(jī)名或 IP 地址，由于是單機(jī)版本，所以指定本機(jī)即可：

# 配置自己設(shè)定的主機(jī)名，不要照抄

server

三、啟動之前的準(zhǔn)備操作

1、初始化

cd /hadoop-3.3.6/bin

./hdfs namenode -format

2、啟動

cd /hadoop-3.3.6/sbin

./start-all.sh

四、出現(xiàn)的問題及解決方案

1、but there is no *** defined. Aborting operation.

問題： 解決方案： 找到以下文件：/hadoop-3.3.6/etc/hadoop/hadoop-env.sh

cd /hadoop-3.3.6/etc/hadoop/

view hadoop-env.sh

并在文件中插入如下內(nèi)容

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"

export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"`

2、Permission denied

問題： 解決方案： 因為Hadoop在機(jī)器中互相訪問，使用的ssh的方式，此時錯誤提示說明機(jī)器無法通過無密碼的方式，直接進(jìn)行ssh連接。 因此執(zhí)行以下內(nèi)容

cd ~/.ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

3、Permission denied: user=dr.who, access=WRlTE,

解決方案： /hadoop-3.3.6/etc/hadoop/core-site.xml

hadoop.http.staticuser.user

你的用戶名

五、啟動

檢驗是否啟動成功，可以輸入以下命令

jps

正常啟動的情況如下： 同時，可以訪問對應(yīng)的端口1下查看HDFS

總結(jié)

本文只是對Hadoop搭建單機(jī)進(jìn)行了處理，之后會再去嘗試搭建真正的Hadoop集群。有問題會再持續(xù)更新。歡迎各位大佬指正不足之處。

localhost:9870。其中9870是Hadoop默認(rèn)的端口，localhost是自己機(jī)器的公網(wǎng)IP ??

柚子快報激活碼778899分享：Hadoop單機(jī)搭建及問題解決

http://yzkb.51969.com/

精彩內(nèi)容