柚子快報邀請碼778899分享：大數(shù)據(jù) 【數(shù)據(jù)倉庫】即席查詢

http://yzkb.51969.com/

文章目錄

定義特點OLTP、OLAP、即席查詢(ad hoc query)區(qū)別與聯(lián)系相關(guān)框架Kylin來源

定義

即席查詢（Ad Hoc）是用戶根據(jù)自己的需求，靈活的選擇查詢條件，系統(tǒng)能夠根據(jù)用戶的選擇生成相應(yīng)的統(tǒng)計報表。即席查詢與普通應(yīng)用查詢最大的不同是普通的應(yīng)用查詢是定制開發(fā)的，而即席查詢是由用戶自定義查詢條件的。

特點

即席查詢 的特點： 即席查詢 與 固化查詢 最大的不同是，普通的 固化查詢 是定制開發(fā)的（即查詢語句是預(yù)先寫好的，不會臨時發(fā)生變化），而即席查詢是由用戶自定義查詢條件的。隨時可以更改。

對于 即席查詢 和 OLAP 可以參考下圖的關(guān)系圖：

OLTP、OLAP、即席查詢(ad hoc query)區(qū)別與聯(lián)系

對于目前來講，對數(shù)據(jù)的處理主要集中在兩個方面，一種是聯(lián)機事務(wù)處理 OLTP（on-line transaction processing），另一種是聯(lián)機分析處理 OLAP（On-Line Analytical Processing）。

OLTP：是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，典型的是銀行 ATM 存取款,金融證券方面的實時更新等，這些操作都比較簡單，主要是對數(shù)據(jù)庫中的數(shù)據(jù)進行 DML 操作，操作主體一般是產(chǎn)品的用戶，并且 OLTP 事務(wù)性非常高，一般都是高可用的在線系統(tǒng)，如上述的銀行金融方面。

OLAP ：有的時候也叫 DSS 決策支持系統(tǒng)，也就類似于我們說的數(shù)據(jù)倉庫，它使分析人員能夠迅速、一致、交互地從數(shù)據(jù)的各個方面來觀察信息，以達到深入理解數(shù)據(jù)的目的。通過分析 DW 中的數(shù)據(jù)來得出一些結(jié)論性的東西（比如報表），從各方面觀察信息，也就是從不同的維度分析數(shù)據(jù)（站在維度的角度看待事實），因此 OLAP 也稱多維分析。

兩者的對比如下圖所示：

屬性對比OLTP (例如mysql)OLAP (例如hive)操作對象數(shù)據(jù)庫數(shù)據(jù)倉庫讀特性每次查詢只返回少量記錄對大量記錄進行匯總寫特性隨機、低延時寫入用戶的輸入批量導(dǎo)入大量的數(shù)據(jù)數(shù)據(jù)時效當(dāng)前最新的數(shù)據(jù)當(dāng)前歷史的聚集的數(shù)據(jù)操作粒度記錄級多表join分析使用場景用戶，Java EE項目數(shù)據(jù)分析師，為企業(yè)決策提供支持具體工作內(nèi)容簡單的事務(wù)復(fù)雜的查詢時間要求具有實時性分離線數(shù)倉和實時數(shù)倉數(shù)據(jù)量GBTB到PB數(shù)據(jù)操作支持DDL,DML一般不支持更新和刪除主要功能查詢或改變現(xiàn)狀報表，統(tǒng)計預(yù)測

然而對于 即席查詢 而言，一般情況下它是與 OLAP 做對比的，這里說明一下在數(shù)倉中我們一般都是對數(shù)據(jù)進行一個批處理（基本上對前一天數(shù)據(jù)處理），并且是針對固定的數(shù)據(jù)有一個明確的分析指標(biāo)的。例如，下圖是一張訂單表的數(shù)據(jù)：

訂單ID下單地區(qū)下單品類下單時間下單金額1001華北電子12月4561002華東食品11月4891003西南居家2月4911004東北電子4月6591005西北寵物11月3691006華北食品2月159

何為一個明確的分析指標(biāo)？按照上述所說的，從維度的角度看待事實（事實指的是度量值，在這張表中為金額），我們可以按照7個維度來度量金額，也即是下表所列出的內(nèi)容。

維度度量值分析指標(biāo)品類金額…時間金額…地區(qū)，品類金額…地區(qū)，時間金額什么地區(qū),什么時間銷售了多少金額品類，時間金額…地區(qū)，品類，時間金額什么地區(qū),什么品類,什么時間銷售了所少金額

通過上面表的展示，也就是從不同的維度來圍繞度量值分析

對于數(shù)倉的這種分析情況，我們一般都是有固定的套路的，比如說

select area, time from table group by area, time;

這種查詢也稱作為 固化查詢

指對一些固化下來的取數(shù)、看數(shù)的需求，最終通過數(shù)據(jù)產(chǎn)品的形式提供給用戶，從而提高數(shù)據(jù)分析和運營的效率，這類需求的 SQL 基本上有固定的模式

然而不幸的事情發(fā)生了。平時的工作中，上述的固化查詢你搞的好好的，這時候老板突然來了一個需求，但是范圍并不屬于上述的那種有固定模式的 SQL ，我們把這類需求稱為 即席查詢 (Ad hoc queries)

對于 即席查詢 和 固化查詢 的總結(jié)：

即席查詢 與 固化查詢 從SQL語句上來說，并沒有本質(zhì)的差別。它們之間的差別在于，固化查詢在系統(tǒng)設(shè)計和實施時是已知的，所有的查詢可以在系統(tǒng)實施的過程中，通過建立索引、分區(qū)等技術(shù)來優(yōu)化這些查詢，使得這些查詢的效率很高。而 即席查詢 是用戶臨時生產(chǎn)的需求，無法人工預(yù)先地優(yōu)化這些查詢，這類查詢一般需要數(shù)據(jù)庫內(nèi)部實時地自動優(yōu)化，所以 即席查詢 也是評估數(shù)據(jù)倉庫的一個重要指標(biāo)。在一個數(shù)據(jù)倉庫系統(tǒng)中，即席查詢使用的越多，對數(shù)據(jù)倉庫的要求就越高，對數(shù)據(jù)模型的對稱性的要求也越高。

最后為什么不用hive做即席查詢? 即席查詢目的很明確，就是要快，所提即所得，即提出來這個需求立馬要看到結(jié)果。數(shù)倉傳統(tǒng)的hive做即席查詢那肯定是不行的，MR跑完數(shù)據(jù)估計天都黑了。

相關(guān)框架

1、Druid：是一個實時處理時序數(shù)據(jù)的 OLAP 數(shù)據(jù)庫，因為它的索引首先按照時間分片，查詢的時候也是按照時間線去路由索引。 2、Kylin：核心是 Cube ，Cube是一種預(yù)計算技術(shù)，基本思路是預(yù)先對數(shù)據(jù)進行多維索引，分別對不同的維度進行組合，形成可能出現(xiàn)的查詢 Cube ，當(dāng)然，針對無意義的維度組合可以進行剪枝操作。使得數(shù)據(jù)量變小，查詢時只掃描索引而不訪問原始數(shù)據(jù)從而提速。 3、Presto：它沒有使用 Mapreduce，大部分場景下比 Hive 快一個數(shù)量級，其中的關(guān)鍵是所有的處理都在內(nèi)存中完成。支持多個數(shù)據(jù)源。同時針對可以將不同的數(shù)據(jù)源進行 join 操作。 4、Impala：基于內(nèi)存計算，速度快，支持的數(shù)據(jù)源沒有 Presto 多。 5、SparkSQL：是 Spark 用來處理結(jié)構(gòu)化數(shù)據(jù)的一個模塊，它提供一個抽象的數(shù)據(jù)集 DataFrame 和 DataSet，并且是分布式 SQL 的查詢引擎。它還可以實現(xiàn) Hive on Spark ，使用 Spark 引擎讀取 Hive 的元數(shù)據(jù)信息，從而操作 Hive 里的數(shù)據(jù)。 6、ClickHouse：ClickHouse 不依賴任何第三方組件，采用的是列式存儲。支持多個存儲的引擎，用戶可以根據(jù)不同的表來選擇不同的存儲引擎。同時底層還實現(xiàn)了向量化引擎。 7、Doris ：不依賴任何第三方組件，也是一個列存的數(shù)據(jù)庫。使用 MySQL 協(xié)議，兼容 MySQL 語法，使用 MySQL 語法可對 Doris 數(shù)據(jù)庫進行查詢。新版本也實現(xiàn)了向量化引擎。

Kylin

即席查詢-Kylin

來源

百度百科-即席查詢 OLTP、OLAP、即席查詢(ad hoc query)區(qū)別與聯(lián)系

柚子快報邀請碼778899分享：大數(shù)據(jù) 【數(shù)據(jù)倉庫】即席查詢

http://yzkb.51969.com/

推薦閱讀