柚子快報邀請碼778899分享：HDFS讀、寫數(shù)據(jù)操作

http://yzkb.51969.com/

HDSF讀數(shù)據(jù)

?流程步驟

HDFS寫數(shù)據(jù)

流程步驟?

HDSF讀數(shù)據(jù)

流程步驟

客戶端向namenode發(fā)送請求，確定block在datanode上的位置。 namenode接收到請求后會判斷是否有讀數(shù)據(jù)的權(quán)限，再根據(jù)情況來返回部分或者全部的block列表且返回datanode地址。 這些返回的datanode地址，會根據(jù)網(wǎng)絡(luò)拓?fù)潢P(guān)系得出datanode和客戶端的距離，然后進(jìn)行排序。 客戶端會選擇靠前的datanode來讀取數(shù)據(jù)，如果客戶端本身就是datanode，那么將從本地直接來獲取數(shù)據(jù)。 當(dāng)讀完數(shù)據(jù)列表后，若文件讀取還沒有結(jié)束，客戶端會繼續(xù)向namenode獲取下一個block列表和datanode地址，直到所有數(shù)據(jù)讀取完畢。 最后將讀取的數(shù)據(jù)進(jìn)行排序，形成最終文件。

HDFS寫數(shù)據(jù)

流程步驟?

首先客戶端向namenode發(fā)送寫數(shù)據(jù)的請求，namenode接收到請求，需要判斷是否有權(quán)限和目標(biāo)文件是否存在，返回客戶端是否可以上傳， 接著客戶端會向namenode詢問block傳輸?shù)侥男ヾatanode上，namenode根據(jù)副本機制（一般默認(rèn)為3副本策略）、網(wǎng)絡(luò)拓?fù)潢P(guān)系、機架感知原理來進(jìn)行分配。 客戶端請求第一臺上傳數(shù)據(jù)，第一臺收到請求繼續(xù)調(diào)用第二臺，以此類推，形成一個管道，后逐級返回客戶端。 此時客戶端向第一臺上傳block塊，以64k的包為單位，第一臺傳給第二臺，以此類推 數(shù)據(jù)被分割成數(shù)據(jù)包在管道上依次傳輸，在反方向上，逐個發(fā)送ack校驗，最終由第一個datanode將ack發(fā)送給客戶端 當(dāng)一個block塊傳輸完畢后，客戶端會再向namenode請求下一個block的存放位置，直到所有的塊傳輸完畢。

柚子快報邀請碼778899分享：HDFS讀、寫數(shù)據(jù)操作

http://yzkb.51969.com/