柚子快報激活碼778899分享：Hadoop02【架構(gòu)分析】

http://yzkb.51969.com/

Hadoop1.0由分布式存儲系統(tǒng)HDFS和分布式計算框架MapReduce組成，其中HDFS由一個NameNode和多個DateNode組成，MapReduce由一個JobTracker和多個TaskTracker組成。

Hadoop2.0為克服Hadoop1.0中的不足進(jìn)行了下面改進(jìn)：

針對Hadoop1.0單NameNode制約HDFS的擴(kuò)展性問題，提出HDFS Federation，它讓多個NameNode分管不同的目錄進(jìn)而實現(xiàn)訪問隔離和橫向擴(kuò)展，同時徹底解決了NameNode單點(diǎn)故障問題； 針對Hadoop1.0中的MapReduce在擴(kuò)展性和多框架支持等方面的不足，它將JobTracker中的資源管理和作業(yè)控制分開，分別由ResourceManager（負(fù)責(zé)所有應(yīng)用程序的資源分配）和ApplicationMaster（負(fù)責(zé)管理一個應(yīng)用程序）實現(xiàn)，即引入了資源管理框架Yarn。 Yarn作為Hadoop2.0中的資源管理系統(tǒng)，它是一個通用的資源管理模塊，可為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度，不僅限于MapReduce一種框架，也可以為其他框架使用，如Tez、Spark、Storm等

2.從MapReduce框架分析

MapReduce1.0

MapReduce1.0計算框架主要由三部分組成：編程模型、數(shù)據(jù)處理引擎和運(yùn)行時環(huán)境。

| 組成 | 說明 |

| — | :-- |

| 編程模型 | Map和Reduce兩個階段. |

| 數(shù)據(jù)處理引擎 | 由MapTask和ReduceTask組成 |

| 運(yùn)行時環(huán)境 | 由一個JobTracker和若干個TaskTracker兩類服務(wù)組成 |

基本編程模型是將問題抽象成Map和Reduce兩個階段。Map階段將輸入的數(shù)據(jù)解析成key/value，迭代調(diào)用map()函數(shù)處理后，再以key/value的形式輸出到本地目錄，Reduce階段將key相同的value進(jìn)行規(guī)約處理，并將最終結(jié)果寫到HDFS上。

數(shù)據(jù)處理引擎由MapTask和ReduceTask組成，分別負(fù)責(zé)Map階段邏輯和Reduce階段的邏輯處理；

運(yùn)行時環(huán)境由一個JobTracker和若干個TaskTracker兩類服務(wù)組成，其中JobTracker負(fù)責(zé)資源管理和所有作業(yè)的控制，TaskTracker負(fù)責(zé)接收來自JobTracker的命令并執(zhí)行它。

MapReducer2.0

MapReducer2.0具有與1.0相同的編程模型和數(shù)據(jù)處理引擎，唯一不同的是運(yùn)行時環(huán)境。MRv2是在MRv1基礎(chǔ)上經(jīng)加工之后，運(yùn)行于資源管理框架Yarn之上的計算框架MapReduce。它的運(yùn)行時環(huán)境不再由JobTracker和TaskTracker等服務(wù)組成，而是變?yōu)橥ㄓ觅Y源管理系統(tǒng)Yarn和作業(yè)控制進(jìn)程ApplicationMaster，其中Yarn負(fù)責(zé)資源管理的調(diào)度而ApplicationMaster負(fù)責(zé)作業(yè)的管理。 小結(jié): Hadoop1與Hadoop2的區(qū)分還是非常大，HDFS和MR都有不同，最起碼的配置文件就不一樣。項目應(yīng)用的話，建議盡量往高版本走。穩(wěn)健一點(diǎn)的話稍低于最高版本的一個穩(wěn)定版本即可。

自我介紹一下，小編13年上海交大畢業(yè)，曾經(jīng)在小公司待過，也去過華為、OPPO等大廠，18年進(jìn)入阿里一直到現(xiàn)在。

深知大多數(shù)Java工程師，想要提升技能，往往是自己摸索成長或者是報班學(xué)習(xí)，但對于培訓(xùn)機(jī)構(gòu)動則幾千的學(xué)費(fèi)，著實壓力不小。自己不成體系的自學(xué)效果低效又漫長，而且極易碰到天花板技術(shù)停滯不前！

因此收集整理了一份《2024年Java開發(fā)全套學(xué)習(xí)資料》，初衷也很簡單，就是希望能夠幫助到想自學(xué)提升又不知道該從何學(xué)起的朋友，同時減輕大家的負(fù)擔(dān)。

既有適合小白學(xué)習(xí)的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗的小伙伴深入學(xué)習(xí)提升的進(jìn)階課程，基本涵蓋了95%以上Java開發(fā)知識點(diǎn)，真正體系化！

由于文件比較大，這里只是將部分目錄截圖出來，每個節(jié)點(diǎn)里面都包含大廠面經(jīng)、學(xué)習(xí)筆記、源碼講義、實戰(zhàn)項目、講解視頻，并且會持續(xù)更新！

如果你覺得這些內(nèi)容對你有幫助，可以掃碼獲?。。。ㄙY料價值較高，非無償）

最后

小編在這里分享些我自己平時的學(xué)習(xí)資料，由于篇幅限制，pdf文檔的詳解資料太全面，細(xì)節(jié)內(nèi)容實在太多啦，所以只把部分知識點(diǎn)截圖出來粗略的介紹，每個小節(jié)點(diǎn)里面都有更細(xì)化的內(nèi)容！

程序員代碼面試指南 IT名企算法與數(shù)據(jù)結(jié)構(gòu)題目最優(yōu)解

這是” 本程序員面試寶典!書中對IT名企代碼面試各類題目的最優(yōu)解進(jìn)行了總結(jié)，并提供了相關(guān)代碼實現(xiàn)。針對當(dāng)前程序員面試缺乏權(quán)威題目匯總這一-痛點(diǎn)， 本書選取將近200道真實出現(xiàn)過的經(jīng)典代碼面試題，幫助廣“大程序員的面試準(zhǔn)備做到萬無一失。 “刷”完本書后，你就是“題王”!

《TCP-IP協(xié)議組(第4版)》

本書是介紹TCP/IP協(xié)議族的經(jīng)典圖書的最新版本。本書自第1版出版以來，就廣受讀者歡迎。

本書最新版進(jìn)行」護(hù)元，以體境計算機(jī)網(wǎng)絡(luò)技不的最新發(fā)展，全書古有七大部分共30草和7個附錄:第一部分介紹一些基本概念和基礎(chǔ)底層技術(shù):第二部分介紹網(wǎng)絡(luò)層協(xié)議:第三部分介紹運(yùn)輸層協(xié)議;第四部分介紹應(yīng)用層協(xié)議:第五部分介紹下一代協(xié)議，即IPv6協(xié)議:第六部分介紹網(wǎng)絡(luò)安全問題:第七部分給出了7個附錄。

Java開發(fā)手冊（嵩山版）

這個不用多說了，阿里的開發(fā)手冊，每次更新我都會看，這是8月初最新更新的**（嵩山版）**

MySQL 8從入門到精通

本書主要內(nèi)容包括MySQL的安裝與配置、數(shù)據(jù)庫的創(chuàng)建、數(shù)據(jù)表的創(chuàng)建、數(shù)據(jù)類型和運(yùn)算符、MySQL 函數(shù)、查詢數(shù)據(jù)、數(shù)據(jù)表的操作(插入、更新與刪除數(shù)據(jù))、索引、存儲過程和函數(shù)、視圖、觸發(fā)器、用戶管理、數(shù)據(jù)備份與還原、MySQL 日志、性能優(yōu)化、MySQL Repl ication、MySQL Workbench、 MySQL Utilities、 MySQL Proxy、PHP操作MySQL數(shù)據(jù)庫和PDO數(shù)據(jù)庫抽象類庫等。最后通過3個綜合案例的數(shù)據(jù)庫設(shè)計，進(jìn)步講述 MySQL在實際工作中的應(yīng)用。

Spring5高級編程（第5版）

本書涵蓋Spring 5的所有內(nèi)容，如果想要充分利用這一領(lǐng)先的企業(yè)級 Java應(yīng)用程序開發(fā)框架的強(qiáng)大功能，本書是最全面的Spring參考和實用指南。

本書第5版涵蓋核心的Spring及其與其他領(lǐng)先的Java技術(shù)(比如Hibemate JPA 2.Tls、Thymeleaf和WebSocket)的集成。本書的重點(diǎn)是介紹如何使用Java配置類、lambda 表達(dá)式、Spring Boot以及反應(yīng)式編程。同時，將與企業(yè)級應(yīng)用程序開發(fā)人員分享一些見解和實際經(jīng)驗，包括遠(yuǎn)程處理、事務(wù)、Web 和表示層，等等。

JAVA核心知識點(diǎn)+1000道 互聯(lián)網(wǎng)Java工程師面試題

企業(yè)IT架構(gòu)轉(zhuǎn)型之道 阿里巴巴中臺戰(zhàn)略思想與架構(gòu)實戰(zhàn)

本書講述了阿里巴巴的技術(shù)發(fā)展史，同時也是-部互聯(lián)網(wǎng)技 術(shù)架構(gòu)的實踐與發(fā)展史。

《一線大廠Java面試題解析+核心總結(jié)學(xué)習(xí)筆記+最新講解視頻+實戰(zhàn)項目源碼》，點(diǎn)擊傳送門即可獲??！ 中…(img-o97CMJOZ-1711602979983)] 《一線大廠Java面試題解析+核心總結(jié)學(xué)習(xí)筆記+最新講解視頻+實戰(zhàn)項目源碼》，點(diǎn)擊傳送門即可獲??！

柚子快報激活碼778899分享：Hadoop02【架構(gòu)分析】

http://yzkb.51969.com/

好文鏈接