柚子快報激活碼778899分享:hadoop Hive基本介紹
Hive本質
將 HQL 轉化成MapReduce 程序
(1)Hive 處理的數據存儲在 HDFS
(2)Hive 分析數據底層的實現(xiàn)是 MapReduce
(3)執(zhí)行程序運行在 Yarn 上
Hive 的優(yōu)缺點
優(yōu)點
(1)操作接口采用類 SQL 語法,提供快速開發(fā)的能力(簡單、容易上手)。
(2)避免了去寫 MapReduce,減少開發(fā)人員的學習成本。
(3)Hive 的執(zhí)行延遲比較高,因此 Hive 常用于數據分析,對實時性要求不高的場合。
(4)Hive 優(yōu)勢在于處理大數據,對于處理小數據沒有優(yōu)勢,因為Hive 的執(zhí)行延遲比較高。
(5)Hive 支持用戶自定義函數,用戶可以根據自己的需求來實現(xiàn)自己的函數。
缺點
(1)Hive 的 HQL 表達能力有限
迭代式算法無法表達 數據挖掘方面不擅長,由于 MapReduce 數據處理流程的限制,效率更高的算法卻無法實現(xiàn)。
(2)Hive 的效率比較低
Hive 自動生成的 MapReduce 作業(yè),通常情況下不夠智能化 Hive 調優(yōu)比較困難,粒度較粗
Hive 架構原理
(1)用戶接口:Client
CLI(command-line interface)、JDBC/ODBC(jdbc 訪問 hive)、WEBUI(瀏覽器訪問hive)
(2)元數據:Metastore
元數據包括:表名、表所屬的數據庫(默認是 default)、表的擁有者、列/分區(qū)字段、表的類型(是否是外部表)、表的數據所在目錄等;
默認存儲在自帶的 derby 數據庫中,推薦使用 MySQL 存儲Metastore
(3)Hadoop
使用HDFS 進行存儲,使用 MapReduce 進行計算。 自我介紹一下,小編13年上海交大畢業(yè),曾經在小公司待過,也去過華為、OPPO等大廠,18年進入阿里一直到現(xiàn)在。
深知大多數Java工程師,想要提升技能,往往是自己摸索成長或者是報班學習,但對于培訓機構動則幾千的學費,著實壓力不小。自己不成體系的自學效果低效又漫長,而且極易碰到天花板技術停滯不前!
因此收集整理了一份《2024年Java開發(fā)全套學習資料》,初衷也很簡單,就是希望能夠幫助到想自學提升又不知道該從何學起的朋友,同時減輕大家的負擔。
既有適合小白學習的零基礎資料,也有適合3年以上經驗的小伙伴深入學習提升的進階課程,基本涵蓋了95%以上Java開發(fā)知識點,真正體系化!
由于文件比較大,這里只是將部分目錄截圖出來,每個節(jié)點里面都包含大廠面經、學習筆記、源碼講義、實戰(zhàn)項目、講解視頻,并且會持續(xù)更新!
如果你覺得這些內容對你有幫助,可以掃碼獲?。。。ㄙY料價值較高,非無償)
總結
總體來說,如果你想轉行從事程序員的工作,Java開發(fā)一定可以作為你的第一選擇。但是不管你選擇什么編程語言,提升自己的硬件實力才是拿高薪的唯一手段。
如果你以這份學習路線來學習,你會有一個比較系統(tǒng)化的知識網絡,也不至于把知識學習得很零散。我個人是完全不建議剛開始就看《Java編程思想》、《Java核心技術》這些書籍,看完你肯定會放棄學習。建議可以看一些視頻來學習,當自己能上手再買這些書看又是非常有收獲的事了。
《一線大廠Java面試題解析+核心總結學習筆記+最新講解視頻+實戰(zhàn)項目源碼》,點擊傳送門即可獲??! 1711617863495)] 《一線大廠Java面試題解析+核心總結學習筆記+最新講解視頻+實戰(zhàn)項目源碼》,點擊傳送門即可獲??!
柚子快報激活碼778899分享:hadoop Hive基本介紹
參考鏈接
本文內容根據網絡資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點和立場。
轉載請注明,如有侵權,聯(lián)系刪除。