柚子快報(bào)激活碼778899分享：數(shù)據(jù)倉庫學(xué)習(xí)筆記二

http://yzkb.51969.com/

1.認(rèn)識Hive

1.1.Hive產(chǎn)生背景

①.現(xiàn)有數(shù)據(jù)基礎(chǔ)框架大多數(shù)基于關(guān)系型數(shù)據(jù)庫和SQL查詢

②.讓用戶將數(shù)據(jù)文件從一個(gè)現(xiàn)有的數(shù)據(jù)架構(gòu)轉(zhuǎn)移到Hadoop上來

1.2.Hive是什么

①.Apache?Hive?(以下簡稱Hive)?是一個(gè)由Apache軟件基金會維護(hù)的開源項(xiàng)目，由Facebook貢獻(xiàn)。其前身是Apache?Hadoop中的一個(gè)子項(xiàng)目，現(xiàn)已成為Apache頂級項(xiàng)目。Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供SQL查詢功能，同時(shí)可以將SQL語句轉(zhuǎn)化為MapReduce作業(yè)進(jìn)行運(yùn)行。Hive具有一系列功能，可以進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)化和加載，是一種可以查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)的工具?？傊琀ive?被設(shè)計(jì)成能夠非常方便地進(jìn)行大數(shù)據(jù)的匯總、即席查詢(ad-hoc)與分析的工具。

②.數(shù)據(jù)倉庫與數(shù)據(jù)庫,它們的主要區(qū)別是數(shù)據(jù)倉庫適合聯(lián)機(jī)分析處理(On-Line?AnalyticalPocessing,?OLAP)，?通常是對某些主題的歷史數(shù)據(jù)進(jìn)行分析:而數(shù)據(jù)庫適合聯(lián)機(jī)事務(wù)處理(on-Lme?Tamsestoen?Proccsnggn?OLIP),通常是在數(shù)據(jù)庫聯(lián)機(jī)時(shí)對業(yè)務(wù)數(shù)據(jù)進(jìn)行添、加、刪除、修改、查詢等操作

1.3.Hive在Hadoop生態(tài)系統(tǒng)的位置

Hive可以將存儲在HDFS中的結(jié)構(gòu)化數(shù)據(jù)文件映射成類似關(guān)系型數(shù)據(jù)庫表，并接收類SQL語句，將其轉(zhuǎn)化為MapReduce程序去執(zhí)行。所以Hive必須依賴Hadoop而存在

1.4.Hive的特點(diǎn)及優(yōu)勢

Hive提供了一種比MapReduce更簡單、更優(yōu)的數(shù)據(jù)開發(fā)方式，使得越來越多的人開始使用Hadoop,甚至有很多Hadoop用戶首選使用的大數(shù)據(jù)I具便是Hive.?Hive具有以下特點(diǎn)： ①.HQL?與SQL有著相似的語法，大大提高了開發(fā)效率。 ②.Hive?支持運(yùn)行在不同的計(jì)算框架上，包括YARN、Tez、?Spark、?Flink?等。Hive支持HDFS與HBase上的ad-hoc. ③.Hive支持用戶自定義的函數(shù)、腳本等。 ④.Hive支持Java數(shù)據(jù)庫連接(Java?Database?Connectivity,?JDBC)與開放數(shù)據(jù)庫連接(Open?Database?Connectivity,?ODBC)驅(qū)動，建立了自身與ETL、BI?工具的通道。 在生產(chǎn)環(huán)境中，Hive?具有以下優(yōu)勢: 可擴(kuò)展:?Hive可以自由擴(kuò)展集群的規(guī)模，一般情況下無須重啟服務(wù)。 可延展:?Hive?支持用戶自定義函數(shù)，用戶可根據(jù)自己的需求來編寫自定義函數(shù)。 可容錯(cuò):Hive良好的容錯(cuò)性使得節(jié)點(diǎn)出現(xiàn)問題時(shí)SQL仍可完成執(zhí)行。 總之，當(dāng)我們使用Hive時(shí)，操作接口采用類SQL語法，提高了快速開發(fā)的能力，避免了編寫復(fù)雜的MapReduce任務(wù)，減少了開發(fā)人員的學(xué)習(xí)成本，而且擴(kuò)展很方便。

2.Hive架構(gòu)設(shè)計(jì)

2.1.Hive架構(gòu)

Hive架構(gòu)包含3個(gè)部分。 ①.?Hive客戶端(Hive?Clients)。Hive為不同類型應(yīng)用程序提供不同的驅(qū)動，使應(yīng)用程序可通過Java、Python?等語言連接Hive并進(jìn)行與RDBMS類似的SQL查詢操作。對于Java應(yīng)用程序，Hive?提供了JDBC驅(qū)動;對于其他應(yīng)用程序，Hive?提供了ODBC驅(qū)動。 ②.?Hive?服務(wù)端(Hive?Services)。?客戶端必須通過服務(wù)端與Hive交互，服務(wù)端主要包括CLI、Hive?Server、Hive?Web?Interface、Driver、?Metastore?等組件。 ③. Hive?存儲與計(jì)算(Hive?Storage?and?Computing)。Hive?主要通過元數(shù)據(jù)存儲數(shù)據(jù)庫和Hadoop集群進(jìn)行數(shù)據(jù)的存儲與計(jì)算。Hive?的元數(shù)據(jù)使用RDBMS存儲，Hive?的數(shù)據(jù)存儲在HDFS中，大部分?jǐn)?shù)據(jù)查詢由MapReduce完成。

2.2.Hive服務(wù)端組件詳解

Hive服務(wù)端主要由以下3部分構(gòu)成。 (1)用戶接口 ①CLI:控制臺命令行方式。CLI是最基礎(chǔ)的連接方式，使用"hive"命令連接。CLI啟動時(shí)會同時(shí)啟動一個(gè)Hive?副本，相當(dāng)于“hive?--service?cli"。 ②Hive?Server:包括HiveServerl和HiveServer2兩種，其中HiveServerl在新版中被刪除，所以推薦使用HiverSrver2。?HiveServer2?支持一個(gè)新的命令行Shell,?其稱為Beeline。Beeline?是一個(gè)命令行形式的JDBC客戶端，用于連接HiveServer2。?Hive?0.11版中加入了Beeline,?在生產(chǎn)環(huán)境中推薦使用Beline連接Hive. ③HWI?(Hive?Web?Interface):通過瀏覽器訪問Hive.默認(rèn)端口:?999 (2)驅(qū)動(Driver)?組件 該組件包括編譯器(Compiler)、?優(yōu)化器(Optimizer)?和執(zhí)行引擎(Executor)，?它的作用是將HQL語句進(jìn)行解析、編譯優(yōu)化，并生成執(zhí)行計(jì)劃，最后調(diào)用底層的MapReduce計(jì)算框架。 (3)元數(shù)據(jù)服務(wù)(Metastore)?組件 Hive中的數(shù)據(jù)分為兩部分，一部分是真實(shí)數(shù)據(jù)，一般存放在HDFS中:另一部分是真實(shí)數(shù)據(jù)的元數(shù)據(jù)，單獨(dú)存儲在關(guān)系型數(shù)據(jù)庫中，如Derby、MySQL等。元數(shù)據(jù)用于存儲Hive中的數(shù)據(jù)庫、表、表模式、目錄、分區(qū)、索引以及命名空間等信息，是對真實(shí)數(shù)據(jù)的描述。元數(shù)據(jù)會不斷更新變化，所以不適合存儲在HDFS中。實(shí)現(xiàn)任何對Hive真實(shí)數(shù)據(jù)的訪問均須首先訪問元數(shù)據(jù)。元數(shù)據(jù)對于Hive十分重要，因此Hive把Metastore服務(wù)獨(dú)立出來，從而解耦Hive服務(wù)和Metastore服務(wù)，以保證Hive運(yùn)行的健壯性。 ?

3.Hive工作流程

3.1.Hive工作流程中各步驟的詳細(xì)描述（重點(diǎn)）

執(zhí)行查詢:?Hive?接口(如俞令行或UI)通過發(fā)送查詢驅(qū)動程序執(zhí)行查詢 獲取計(jì)劃:在驅(qū)動程序幫助下查詢編譯器，并分析查詢檢查語法、查詢計(jì)劃及查詢要求

獲取元數(shù)據(jù):編譯器發(fā)送元數(shù)據(jù)請求至Metasore 發(fā)送元數(shù)據(jù):?Metastore?發(fā)送元數(shù)據(jù)至編譯器以響應(yīng)之 發(fā)送計(jì)劃:編譯器檢查查詢要求，并重新發(fā)送查詢計(jì)劃至驅(qū)動程序:至此，查詢解析與編譯完成

執(zhí)行計(jì)劃:驅(qū)動程序發(fā)送執(zhí)行計(jì)劃至執(zhí)行引擎 執(zhí)行任務(wù):執(zhí)行任務(wù)的過程是完成一個(gè)MapReduce工作的過程。執(zhí)行引擎發(fā)送作業(yè)至JobTackerJobTracker再把作業(yè)分配到TaskTracker:在TaskTracker中查詢計(jì)劃將執(zhí)行MapReduce工作。同時(shí)，執(zhí)行引擎可以通過Metastore執(zhí)行元數(shù)據(jù)操作 獲取結(jié)果:執(zhí)行引擎接收來自數(shù)據(jù)節(jié)點(diǎn)的結(jié)果 發(fā)送結(jié)果:執(zhí)行引擎發(fā)送結(jié)果至驅(qū)動程序 發(fā)送結(jié)果:驅(qū)動程序發(fā)送結(jié)果至Hive接口

4. Hive適用場景

4.1.適用場景

Hive適用于非結(jié)構(gòu)化數(shù)據(jù)的離線分析統(tǒng)計(jì)場合。 Hive的執(zhí)行延遲比較高，因此適用于對實(shí)時(shí)性要求不高的場合。 Hive的優(yōu)勢在于處理大數(shù)據(jù)，因此適用于大數(shù)據(jù)(?而非小數(shù)據(jù))處理的場合

4.2.?場景技術(shù)特點(diǎn)

為超大數(shù)據(jù)集設(shè)計(jì)了計(jì)算與擴(kuò)展功能。 支持SQL?like查詢語言。 支持多表的join操作。 支持非結(jié)構(gòu)化數(shù)據(jù)的查詢與計(jì)算。 提供數(shù)據(jù)存取的編程接口，支持JDBC、ODBC. ?

柚子快報(bào)激活碼778899分享：數(shù)據(jù)倉庫學(xué)習(xí)筆記二

http://yzkb.51969.com/

精彩內(nèi)容