柚子快報(bào)邀請(qǐng)碼778899分享：hadoop HDFS架構(gòu)

http://yzkb.51969.com/

目錄

一，HDFS簡(jiǎn)介

二、HDFS架構(gòu)

三、HDFS的工作機(jī)制

一，HDFS簡(jiǎn)介

①HDFS概念：Hadoop Distributed File System，是Hadoop項(xiàng)?的核??項(xiàng)?，是分布式計(jì)算中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)。?持海量數(shù)據(jù)的存儲(chǔ)，允許?戶將成百上千的計(jì)算機(jī)組成存儲(chǔ)集群，HDFS 可以運(yùn)?在低成本的硬件上，提供?吞吐量、?容錯(cuò)性的數(shù)據(jù)訪問(wèn)，?常適合?規(guī)模數(shù)據(jù)集上的應(yīng)?。

②HDFS優(yōu)缺點(diǎn)：

HDFS優(yōu)點(diǎn)：高容錯(cuò)性（多個(gè)副本且副本丟失可快速恢復(fù)）；處理大數(shù)據(jù)；高擴(kuò)展性（動(dòng)態(tài)擴(kuò)展集群節(jié)點(diǎn)）；低成本運(yùn)行；

HDFS缺點(diǎn)：不適合低延時(shí)的數(shù)據(jù)訪問(wèn)；不適合存儲(chǔ)大量小文件；不支持并發(fā)寫(xiě)入（也就是一次只能運(yùn)行一個(gè)進(jìn)程）；支持文件追加不支持文件隨機(jī)修改；

二、HDFS架構(gòu)

?

①NN（NameNode）是HDFS的管理者，負(fù)責(zé)管理和維護(hù) HDFS 的命名空間，配置副本策略（根據(jù)機(jī)架感知與副本冗余存儲(chǔ)策略選擇節(jié)點(diǎn)。?個(gè)文件分割為若干個(gè)數(shù)據(jù)塊，這些數(shù)據(jù)塊并不?定存儲(chǔ)在相同的數(shù)據(jù)節(jié)點(diǎn)上），管理數(shù)據(jù)塊映射信息，處理客戶端讀寫(xiě)請(qǐng)求。

②DataNode：NN下達(dá)命令，DN（DataNode）執(zhí)行實(shí)際的操作：DN存儲(chǔ)實(shí)際的數(shù)據(jù)塊（block），數(shù)據(jù)塊副本默認(rèn)為 3，數(shù)據(jù)塊的??默認(rèn)為 128 M，執(zhí)?數(shù)據(jù)塊的讀/寫(xiě)操作。

③2NN（secondary NameNode）：并?NN的熱備，當(dāng)NN掛掉的時(shí)候，并不能馬上替換NN并提供服務(wù)，2NN是輔助NN，分擔(dān)其工作量，比如定期合并fsimage和edits，并推送給NN 。

④Client：就是客戶端。文件上傳給HDFS時(shí)進(jìn)行文件切分，與NN交互，獲取?件的位置信息。

與 DN交互，讀取或者寫(xiě)入數(shù)據(jù)。Client 提供?些命令來(lái)管理 HDFS。也可以通過(guò)?些命令來(lái)訪問(wèn) HDFS。

三、HDFS的工作機(jī)制

了解每部分的工作機(jī)制之前，我們要知道的是，fsimage是命名空間鏡像?件。edits是操作?志?件。元數(shù)據(jù)是存放在內(nèi)存中的，但是如果元數(shù)據(jù)只存在在內(nèi)存中的話，一旦斷電數(shù)據(jù)就全部會(huì)消失，所以提出了fsimage文件，該文件在磁盤(pán)中備份元數(shù)據(jù)，但是當(dāng)數(shù)據(jù)在內(nèi)存中更新之后，又跑到fsimage里面更新數(shù)據(jù)就會(huì)非常麻煩，效率也很低，所以又拿出一個(gè)文件edits，用這個(gè)文件存儲(chǔ)更新后的數(shù)據(jù)，然后引入2NN，讓2NN對(duì)兩個(gè)文件進(jìn)行合并，實(shí)現(xiàn)元數(shù)據(jù)更新的效果，看到這里NN與2NN的關(guān)系和工作機(jī)制就已經(jīng)很明了了。

?

①NN,2NN工作機(jī)制：NN管理維護(hù)fsimage和edits，首先NN啟動(dòng)，創(chuàng)建fsimage和edits，如果已經(jīng)創(chuàng)建好了就直接加載到內(nèi)存，client對(duì)文件進(jìn)行增刪改操作，NN記錄日志并且更改內(nèi)存中的數(shù)據(jù)。引??個(gè)新的節(jié)點(diǎn)2NN，專門(mén)用于fsimage和edits的合并，2NN詢問(wèn)是否需要checkpoint，然后請(qǐng)求checkpoint，NN滾動(dòng)正在寫(xiě)的日志文件并將日志文件拷貝到2NN，2NN把日志和鏡像在內(nèi)存中合并，生成新的鏡像文件，并拷貝到NN，NN再把這個(gè)文件重新命名為fsimage。

?

??DN的工作機(jī)制：DN啟動(dòng)后向NN注冊(cè)，注冊(cè)成功后，每六個(gè)小時(shí)上報(bào)所有塊信息，心跳三秒一次，每次心跳帶有NN的操作命令，超過(guò)10min+30s沒(méi)有收到心跳就認(rèn)為該節(jié)點(diǎn)不可用。

柚子快報(bào)邀請(qǐng)碼778899分享：hadoop HDFS架構(gòu)

http://yzkb.51969.com/

好文推薦