柚子快報激活碼778899分享：大數(shù)據(jù)之Hadoop3(3)

http://yzkb.51969.com/

如果能看到以下結(jié)果，則代表Java安裝成功。

注意：重啟（如果java -version可以用就不用重啟）

[ovo@hadoop102 ~]$ sudo reboot

1.4 在hadoop102安裝Hadoop

1）用XShell文件傳輸工具將hadoop-3.1.3.tar.gz導(dǎo)入到opt目錄下面的software文件夾下面（和剛才拖拽JDK一樣就不截圖了）

2）進(jìn)入到Hadoop安裝包路徑下

[ovo@hadoop102 ~]$ cd /opt/software/

3）解壓安裝文件到/opt/module下面

[ovo@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解壓成功

[ovo@hadoop102 software]$ ls /opt/module/

hadoop-3.1.3

5）將Hadoop添加到環(huán)境變量

1.獲取Hadoop安裝路徑

[ovo@hadoop102 hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

2.打開/etc/profile.d/my_env.sh文件

[ovo@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下內(nèi)容：（shift+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=

P

A

T

H

:

PATH:

PATH:HADOOP_HOME/bin

export PATH=

P

A

T

H

:

PATH:

PATH:HADOOP_HOME/sbin

保存并退出： :wq

3.讓修改后的文件生效

[ovo@hadoop102 hadoop-3.1.3]$ source /etc/profile

6）測試是否安裝成功

[ovo@hadoop102 hadoop-3.1.3]$ hadoop version

Hadoop 3.1.3

7）重啟（如果Hadoop命令不能用再重啟虛擬機）

[ovo@hadoop102 hadoop-3.1.3]$ sudo reboot

1.5 Hadoop目錄結(jié)構(gòu)

1）查看Hadoop目錄結(jié)構(gòu)

[ovo@hadoop102 hadoop-3.1.3]$ ll

2）重要目錄

bin目錄：存放對Hadoop相關(guān)服務(wù)（hdfs，yarn，mapred）進(jìn)行操作的腳本 etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件 lib目錄：存放Hadoop的本地庫（對數(shù)據(jù)進(jìn)行壓縮解壓縮功能） sbin目錄：存放啟動或停止Hadoop相關(guān)服務(wù)的腳本 share目錄：存放Hadoop的依賴jar包、文檔、和官方案例

二、Hadoop運行模式

==============================================================================

1）Hadoop官方網(wǎng)站：http://hadoop.apache.org

2）Hadoop運行模式包括：本地模式、偽分布式模式以及完全分布式模式。

本地模式：單機運行，只是用來演示一下官方案例。生產(chǎn)環(huán)境不用。 偽分布式模式：也是單機運行，但是具備Hadoop集群的所有功能，一臺服務(wù)器模擬一個分布式的環(huán)境。個別缺錢的公司用來測試，生產(chǎn)環(huán)境不用。 完全分布式模式：多臺服務(wù)器組成分布式環(huán)境。生產(chǎn)環(huán)境使用。

2.1 完全分布式運行模式（開發(fā)重點）

分析：

1.準(zhǔn)備3臺虛擬機（關(guān)閉防火墻、靜態(tài)IP、主機名稱） 2.安裝JDK 3.配置環(huán)境變量 4.安裝Hadoop 5.配置環(huán)境變量 6.配置集群 7.單點啟動 8.配置ssh 9.群起并測試集群

2.2.1 虛擬機準(zhǔn)備

詳見1.1、1.2兩節(jié)。

2.2.2 編寫集群分發(fā)腳本xsync

1）scp（secure copy）安全拷貝

scp定義：scp可以實現(xiàn)服務(wù)器與服務(wù)器之間的數(shù)據(jù)拷貝。（from server1 to server2）

1.基本語法（重要?。。。?/p>

| scp | -r | $pdir/$fname | $user@$host:$pdir/$fname |

| — | — | — | — |

| 命令 | 遞歸 | 要拷貝的文件路徑/名稱 | 目的地用戶@主機:目的地路徑/名稱 |

2.案例實操

前提：在hadoop102、hadoop103、hadoop104都已經(jīng)創(chuàng)建好的/opt/module、 /opt/software兩個目錄，并且已經(jīng)把這兩個目錄修改為ovo:ovo

[ovo@hadoop102 ~]$ sudo chown ovo:ovo -R /opt/module

效果如圖：

（a）在hadoop102上，將hadoop102中/opt/module/jdk1.8.0_212目錄拷貝到hadoop103上。

[ovo@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212 ovo@hadoop103:/opt/module

（b）在hadoop103上，將hadoop102中/opt/module/hadoop-3.1.3目錄拷貝到hadoop103上。

[ovo@hadoop103 ~]$ scp -r ovo@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

（c）在hadoop103上操作，將hadoop102中/opt/module目錄下所有目錄拷貝到hadoop104上。

[ovo@hadoop103 opt]$ scp -r ovo@hadoop102:/opt/module/* ovo@hadoop104:/opt/module

2）rsync遠(yuǎn)程同步工具

rsync主要用于備份和鏡像。具有速度快、避免復(fù)制相同內(nèi)容和支持符號鏈接的優(yōu)點。

rsync和scp區(qū)別：用rsync做文件的復(fù)制要比scp的速度快，rsync只對差異文件做更新。scp是把所有文件都復(fù)制過去。

1.基本語法

| rsync | -av | $pdir/$fname | $user@$host:$pdir/$fname |

| — | — | — | — |

| 命令 | 遞歸 | 要拷貝的文件路徑/名稱 | 目的地用戶@主機:目的地路徑/名稱 |

選項參數(shù)說明：

| 選項 | 功能 |

| — | — |

| -a | 歸檔拷貝 |

| -v | 顯示復(fù)制過程 |

2.案例實操

（a）刪除hadoop103中/opt/module/hadoop-3.1.3/wcinput

[ovo@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/

（b）同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

[ovo@hadoop102 module]$ rsync -av hadoop-3.1.3/ ovo@hadoop103:/opt/module/hadoop-3.1.3/

3）xsync集群分發(fā)腳本

1.需求：循環(huán)復(fù)制文件到所有節(jié)點的相同目錄下 2.需求分析：

（a）rsync命令原始拷貝：

rsync -av /opt/module ovo@hadoop103:/opt/

（b）期望腳本：xsync要同步的文件名稱

（c）期望腳本在任何路徑都能使用（腳本放在聲明了全局環(huán)境變量的路徑）

[ovo@hadoop102 ~]$ echo $PATH

/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/ovo/.local/bin:/home/ovo/bin:/opt/module/jdk1.8.0_212/bin

3.腳本實現(xiàn)

（a）在/home/ovo/bin目錄下創(chuàng)建xsync文件

[ovo@hadoop102 opt]$ cd /home/ovo

[ovo@hadoop102 ~]$ mkdir bin

[ovo@hadoop102 ~]$ cd bin

[ovo@hadoop102 bin]$ vim xsync

在該文件中編寫如下代碼

#!/bin/bash

#1. 判斷參數(shù)個數(shù)

if [ $# -lt 1 ]

then

echo Not Enough Arguement!

exit;

fi

#2. 遍歷集群所有機器

for host in hadoop102 hadoop103 hadoop104

do

echo ==================== $host ====================

#3. 遍歷所有目錄，挨個發(fā)送

for file in $@

do

#4. 判斷文件是否存在

if [ -e $file ]

then

#5. 獲取父目錄

pdir=$(cd -P $(dirname $file); pwd)

#6. 獲取當(dāng)前文件的名稱

fname=$(basename $file)

ssh $host “mkdir -p $pdir”

rsync -av

p

d

i

r

/

pdir/

pdir/fname

h

o

s

t

:

host:

host:pdir

else

echo $file does not exists!

fi

done

done

（b）修改腳本 xsync 具有執(zhí)行權(quán)限

[ovo@hadoop102 bin]$ chmod +x xsync

（c）測試腳本

[ovo@hadoop102 ~]$ xsync /home/ovo/bin

（d）將腳本復(fù)制到/bin中，以便全局調(diào)用

[ovo@hadoop102 bin]$ sudo cp xsync /bin/

（e）同步環(huán)境變量配置（root所有者）

[ovo@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要給它的路徑補全。

讓環(huán)境變量生效

[ovo@hadoop103 bin]$ source /etc/profile

[ovo@hadoop104 opt]$ source /etc/profile

2.2.3 SSH無密登錄配置

1）配置ssh

1.基本語法：ssh 另一臺電腦的主機名 2.ssh連接時出現(xiàn)Host key verification failed的解決方法

[ovo@hadoop102 ~]$ ssh hadoop103

如果出現(xiàn)如下內(nèi)容

Are you sure you want to continue connecting (yes/no)?

輸入yes，并回車

3.退回到hadoop102

[ovo@hadoop103 ~]$ exit

2）無密鑰配置

1.免密登錄原理

2.生成公鑰和私鑰

[ovo@hadoop102 .ssh]$ pwd

/home/ovo/.ssh

[ovo@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三個回車），就會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）

3.將公鑰拷貝到要免密登錄的目標(biāo)機器上

[ovo@hadoop102 .ssh]$ ssh-copy-id hadoop102

[ovo@hadoop102 .ssh]$ ssh-copy-id hadoop103

[ovo@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：

還需要在hadoop103上采用ovo賬號配置一下無密登錄到hadoop102、hadoop103、hadoop104服務(wù)器上。 還需要在hadoop104上采用ovo賬號配置一下無密登錄到hadoop102、hadoop103、hadoop104服務(wù)器上。 還需要在hadoop102上采用root賬號，配置一下無密登錄到hadoop102、hadoop103、hadoop104；

2.2.4 集群配置

1）集群部署規(guī)劃

注意：

NameNode 和 SecondaryNameNode不要安裝在同一臺服務(wù)器 ResourceManager也很消耗內(nèi)存，不要和NameNode、SecondaryNameNode配置在同一臺機器上。

2）配置文件說明

Hadoop配置文件分兩類：默認(rèn)配置文件和自定義配置文件，只有用戶想修改某一默認(rèn)配置值時，才需要修改自定義配置文件，更改相應(yīng)屬性值。

默認(rèn)配置文件：

自定義配置文件：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四個配置文件存放在$HADOOP_HOME/etc/hadoop這個路徑上，用戶可以根據(jù)項目需求重新進(jìn)行修改配置。

3）配置集群

1.核心配置文件：core-site.xml

[ovo@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop

[ovo@hadoop102 hadoop]$ vim core-site.xml

文件內(nèi)容如下：

fs.defaultFS

hdfs://hadoop102:8020

hadoop.tmp.dir

/opt/module/hadoop-3.1.3/data

hadoop.http.staticuser.user

ovo

2.HDFS配置文件：hdfs-site.xml

[ovo@hadoop102 hadoop]$ vim hdfs-site.xml

文件內(nèi)容如下：

dfs.namenode.http-address

hadoop102:9870

dfs.namenode.secondary.http-address

hadoop104:9868

3.YARN配置文件：yarn-site.xml

[ovo@hadoop102 hadoop]$ vim yarn-site.xml

文件內(nèi)容如下：

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

hadoop103

yarn.nodemanager.env-whitelist

JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

4.MapReduce配置文件：mapred-site.xml

[ovo@hadoop102 hadoop]$ vim mapred-site.xml

文件內(nèi)容如下：

mapreduce.framework.name

yarn

4）在集群上分發(fā)配置好的Hadoop配置文件

[ovo@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去103和104上查看文件分發(fā)情況

[ovo@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

[ovo@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

2.2.5 群起集群

1）配置workers

[ovo@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在該文件中增加如下內(nèi)容：

hadoop102

hadoop103

hadoop104

注意：該文件中添加的內(nèi)容結(jié)尾不允許有空格，文件中不允許有空行。

同步所有節(jié)點配置文件

[ovo@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2）啟動集群

1.如果集群是第一次啟動，需要在hadoop102節(jié)點格式化NameNode

注意：格式化NameNode，會產(chǎn)生新的集群id，導(dǎo)致NameNode和DataNode的集群id不一致，集群找不到已往數(shù)據(jù)。

重點：如果集群在運行過程中報錯，需要重新格式化NameNode的話，一定要先停止namenode和datanode進(jìn)程，并且要刪除所有機器的data和logs目錄，然后再進(jìn)行格式化。

[ovo@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

2.啟動HDFS

[ovo@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

3.在配置了ResourceManager的節(jié)點（注意：hadoop103上）啟動YARN

[ovo@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

4.Web端查看HDFS的NameNode

（a）瀏覽器中輸入：http://hadoop102:9870

（b）查看HDFS上存儲的數(shù)據(jù)信息

5.Web端查看YARN的ResourceManager

（a）瀏覽器中輸入：http://hadoop103:8088

（b）查看YARN上運行的Job信息

2.2.6 配置歷史服務(wù)器

為了查看程序的歷史運行情況（集群重新格式化后訪問之前的數(shù)據(jù)），需要配置一下歷史服務(wù)器。具體配置步驟如下：

1）配置mapred-site.xml

[ovo@hadoop102 hadoop]$ vim mapred-site.xml

在該文件里面增加如下配置。

mapreduce.jobhistory.address

hadoop102:10020

mapreduce.jobhistory.webapp.address

hadoop102:19888

2）分發(fā)配置

[ovo@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在hadoop102啟動歷史服務(wù)器

[ovo@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看歷史服務(wù)器是否啟動

[ovo@hadoop102 hadoop]$ jps

5）查看JobHistory：http://hadoop102:19888/jobhistory

2.2.7 配置日志的聚集

日志聚集概念：應(yīng)用運行完成以后，將程序運行日志信息上傳到HDFS系統(tǒng)上。

日志聚集功能好處：可以方便的查看到程序運行詳情，方便開發(fā)調(diào)試。

注意：開啟日志聚集功能，需要重新啟動NodeManager 、ResourceManager和HistoryServer。

開啟日志聚集功能具體步驟如下：

1）配置yarn-site.xml

[ovo@hadoop102 hadoop]$ vim yarn-site.xml

在該文件里面增加如下配置。

yarn.log-aggregation-enable

true

yarn.log.server.url

http://hadoop102:19888/jobhistory/logs

yarn.log-aggregation.retain-seconds

604800

2）分發(fā)配置

[ovo@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）關(guān)閉NodeManager 、ResourceManager和HistoryServer

[ovo@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

[ovo@hadoop102 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）啟動NodeManager 、ResourceManage和HistoryServer

[ovo@hadoop103 ~]$ start-yarn.sh

[ovo@hadoop102 ~]$ mapred --daemon start historyserver

5）刪除HDFS上已經(jīng)存在的輸出文件

[ovo@hadoop102 ~]$ hadoop fs -rm -r /output

6）執(zhí)行WordCount程序（路徑寫自己任意一個文件路徑）

[ovo@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志

1.歷史服務(wù)器地址：http://hadoop102:19888/jobhistory 2.歷史任務(wù)列表 3.查看任務(wù)運行日志 4.運行日志詳情

2.2.8 集群啟動/停止方式總結(jié)

1）各個模塊分開啟動/停止（配置ssh是前提）常用

1.整體啟動/停止HDFS

start-dfs.sh/stop-dfs.sh

2.整體啟動/停止YARN

start-yarn.sh/stop-yarn.sh

2）各個服務(wù)組件逐一啟動/停止

1.分別啟動/停止HDFS組件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

2.啟動/停止YARN

yarn --daemon start/stop resourcemanager/nodemanager

2.2.9 編寫Hadoop集群常用腳本

1）Hadoop集群啟停腳本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

[ovo@hadoop102 ~]$ cd /home/ovo/bin

[ovo@hadoop102 bin]$ vim myhadoop.sh

輸入如下內(nèi)容

#!/bin/bash

if [ $# -lt 1 ]

then

echo “No Args Input…”

exit ;

fi

case $1 in

“start”)

echo " =================== 啟動 hadoop集群 ==================="

echo " --------------- 啟動 hdfs ---------------"

ssh hadoop102 “/opt/module/hadoop-3.1.3/sbin/start-dfs.sh”

echo " --------------- 啟動 yarn ---------------"

ssh hadoop103 “/opt/module/hadoop-3.1.3/sbin/start-yarn.sh”

echo " --------------- 啟動 historyserver ---------------"

ssh hadoop102 “/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver”

;;

“stop”)

echo " =================== 關(guān)閉 hadoop集群 ==================="

echo " --------------- 關(guān)閉 historyserver ---------------"

ssh hadoop102 “/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver”

echo " --------------- 關(guān)閉 yarn ---------------"

ssh hadoop103 “/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh”

echo " --------------- 關(guān)閉 hdfs ---------------"

ssh hadoop102 “/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh”

;;

*)

echo “Input Args Error…”

;;

esac

保存后退出，然后賦予腳本執(zhí)行權(quán)限

[ovo@hadoop102 bin]$ chmod +x myhadoop.sh

2）查看三臺服務(wù)器Java進(jìn)程腳本：jpsall

[ovo@hadoop102 ~]$ cd /home/ovo/bin

[ovo@hadoop102 bin]$ vim jpsall

輸入如下內(nèi)容

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104

do

echo =============== $host ===============

ssh $host jps

done

保存后退出，然后賦予腳本執(zhí)行權(quán)限

[ovo@hadoop102 bin]$ chmod +x jpsall

3）分發(fā)/home/ovo/bin目錄，保證自定義腳本在三臺機器上都可以使用

[ovo@hadoop102 ~]$ xsync /home/ovo/bin/

2.2.10 集群時間同步

如果服務(wù)器在公網(wǎng)環(huán)境（能連接外網(wǎng)），可以不采用集群時間同步，因為服務(wù)器會定期和公網(wǎng)時間進(jìn)行校準(zhǔn)；

如果服務(wù)器在內(nèi)網(wǎng)環(huán)境，必須要配置集群時間同步，否則時間久了，會產(chǎn)生時間偏差，導(dǎo)致集群執(zhí)行任務(wù)時間不同步。

1）需求

找一個機器，作為時間服務(wù)器，所有的機器與這臺集群時間進(jìn)行定時的同步，生產(chǎn)環(huán)境根據(jù)任務(wù)對時間的準(zhǔn)確程度要求周期同步。測試環(huán)境為了盡快看到效果，采用1分鐘同步一次。

2）時間服務(wù)器配置（必須root用戶）

1.查看所有節(jié)點ntpd服務(wù)狀態(tài)和開機自啟動狀態(tài)

[ovo@hadoop102 ~]$ sudo systemctl status ntpd

[ovo@hadoop102 ~]$ sudo systemctl start ntpd

[ovo@hadoop102 ~]$ sudo systemctl is-enabled ntpd

2.修改hadoop102的ntp.conf配置文件

[ovo@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改內(nèi)容如下

（a）修改1（授權(quán)192.168.10.0-192.168.10.255網(wǎng)段上的所有機器可以從這臺機器上查詢和同步時間）

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

為（去掉了#號，改成了192.168.10.0）

restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

（b）修改2（集群在局域網(wǎng)中，不使用其他互聯(lián)網(wǎng)上的時間）

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

為（全部加上#號，注釋掉）

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

（c）添加3（當(dāng)該節(jié)點丟失網(wǎng)絡(luò)連接，依然可以采用本地時間作為時間服務(wù)器為集群中的其他節(jié)點提供時間同步）

server 127.127.1.0

fudge 127.127.1.0 stratum 10

3.修改hadoop102的/etc/sysconfig/ntpd 文件

自我介紹一下，小編13年上海交大畢業(yè)，曾經(jīng)在小公司待過，也去過華為、OPPO等大廠，18年進(jìn)入阿里一直到現(xiàn)在。

深知大多數(shù)Python工程師，想要提升技能，往往是自己摸索成長或者是報班學(xué)習(xí)，但對于培訓(xùn)機構(gòu)動則幾千的學(xué)費，著實壓力不小。自己不成體系的自學(xué)效果低效又漫長，而且極易碰到天花板技術(shù)停滯不前！

因此收集整理了一份《2024年P(guān)ython開發(fā)全套學(xué)習(xí)資料》，初衷也很簡單，就是希望能夠幫助到想自學(xué)提升又不知道該從何學(xué)起的朋友，同時減輕大家的負(fù)擔(dān)。

既有適合小白學(xué)習(xí)的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗的小伙伴深入學(xué)習(xí)提升的進(jìn)階課程，基本涵蓋了95%以上前端開發(fā)知識點，真正體系化！

由于文件比較大，這里只是將部分目錄大綱截圖出來，每個節(jié)點里面都包含大廠面經(jīng)、學(xué)習(xí)筆記、源碼講義、實戰(zhàn)項目、講解視頻，并且后續(xù)會持續(xù)更新

如果你覺得這些內(nèi)容對你有幫助，可以掃碼獲?。。。。▊渥ython）

pd服務(wù)狀態(tài)和開機自啟動狀態(tài)

[ovo@hadoop102 ~]$ sudo systemctl status ntpd

[ovo@hadoop102 ~]$ sudo systemctl start ntpd

[ovo@hadoop102 ~]$ sudo systemctl is-enabled ntpd

2.修改hadoop102的ntp.conf配置文件

[ovo@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改內(nèi)容如下

（a）修改1（授權(quán)192.168.10.0-192.168.10.255網(wǎng)段上的所有機器可以從這臺機器上查詢和同步時間）

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

為（去掉了#號，改成了192.168.10.0）

restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

（b）修改2（集群在局域網(wǎng)中，不使用其他互聯(lián)網(wǎng)上的時間）

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

為（全部加上#號，注釋掉）

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

（c）添加3（當(dāng)該節(jié)點丟失網(wǎng)絡(luò)連接，依然可以采用本地時間作為時間服務(wù)器為集群中的其他節(jié)點提供時間同步）

server 127.127.1.0

fudge 127.127.1.0 stratum 10

3.修改hadoop102的/etc/sysconfig/ntpd 文件

自我介紹一下，小編13年上海交大畢業(yè)，曾經(jīng)在小公司待過，也去過華為、OPPO等大廠，18年進(jìn)入阿里一直到現(xiàn)在。

深知大多數(shù)Python工程師，想要提升技能，往往是自己摸索成長或者是報班學(xué)習(xí)，但對于培訓(xùn)機構(gòu)動則幾千的學(xué)費，著實壓力不小。自己不成體系的自學(xué)效果低效又漫長，而且極易碰到天花板技術(shù)停滯不前！

因此收集整理了一份《2024年P(guān)ython開發(fā)全套學(xué)習(xí)資料》，初衷也很簡單，就是希望能夠幫助到想自學(xué)提升又不知道該從何學(xué)起的朋友，同時減輕大家的負(fù)擔(dān)。

[外鏈圖片轉(zhuǎn)存中…(img-pOQOL7tA-1713210593451)]

[外鏈圖片轉(zhuǎn)存中…(img-NewQTtBN-1713210593452)]

[外鏈圖片轉(zhuǎn)存中…(img-UNXDzHlR-1713210593452)]

[外鏈圖片轉(zhuǎn)存中…(img-06DUISeB-1713210593453)]

既有適合小白學(xué)習(xí)的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗的小伙伴深入學(xué)習(xí)提升的進(jìn)階課程，基本涵蓋了95%以上前端開發(fā)知識點，真正體系化！

由于文件比較大，這里只是將部分目錄大綱截圖出來，每個節(jié)點里面都包含大廠面經(jīng)、學(xué)習(xí)筆記、源碼講義、實戰(zhàn)項目、講解視頻，并且后續(xù)會持續(xù)更新

如果你覺得這些內(nèi)容對你有幫助，可以掃碼獲?。。。。▊渥ython）

柚子快報激活碼778899分享：大數(shù)據(jù)之Hadoop3(3)

http://yzkb.51969.com/

推薦鏈接