柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) hdfs Hadoop

http://yzkb.51969.com/

一、簡述

hadoop1.x的HDFS默認(rèn)塊大小為64MB；hadoop2.x的默認(rèn)塊大小為128MB。 1）文件塊：Block，datanode中存放數(shù)據(jù)最小邏輯單元，默認(rèn)塊大小為64M，便于管理，不受磁盤限制，數(shù)據(jù)可在datanode的總block中進(jìn)行冗余備份，存儲(chǔ)的副本數(shù)量要少于datanode節(jié)點(diǎn)的數(shù)量，當(dāng)一個(gè)或多個(gè)塊出現(xiàn)故障，用戶可以直接去其他地方讀取數(shù)據(jù)副本； 2）NameNode：管理文件系統(tǒng)的命名空間，屬于管理者角色，維護(hù)文件系統(tǒng)樹內(nèi)所有文件和目錄，記錄每個(gè)文件在各個(gè)DataNode上的位置和副本信息，并協(xié)調(diào)客戶端對(duì)文件的訪問； 3）DataNode：負(fù)責(zé)處理文件系統(tǒng)客戶端的文件讀寫請(qǐng)求，存儲(chǔ)并檢索數(shù)據(jù)塊，并定期向NameNode發(fā)送所存儲(chǔ)的塊的列表，屬于工作者角色。負(fù)責(zé)所在物理節(jié)點(diǎn)的存儲(chǔ)管理，按照一次寫入，多次讀取的原則，存儲(chǔ)文件按照Block塊進(jìn)行存儲(chǔ)； 4）Secondary NameNode：相當(dāng)于NameNode的快照，也稱之為二級(jí)NameNode，能夠周期性的備份NameNode，記錄NameNode上的元數(shù)據(jù)等。為防止NameNode進(jìn)程出現(xiàn)故障，起到備份作用；

Hadoop的優(yōu)勢(shì) 1）高可靠性：因?yàn)镠adoop假設(shè)計(jì)算元素和存儲(chǔ)會(huì)出現(xiàn)故障，因?yàn)樗S護(hù)多個(gè)工作數(shù)據(jù)副本，在出現(xiàn)故障時(shí)可以對(duì)失敗的節(jié)點(diǎn)重新分布處理。 2）高擴(kuò)展性：在集群間分配任務(wù)數(shù)據(jù)，可

柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) hdfs Hadoop

http://yzkb.51969.com/

推薦閱讀