柚子快報邀請碼778899分享：大數(shù)據(jù) 數(shù)據(jù)倉庫——數(shù)據(jù)集市

http://yzkb.51969.com/

一、什么是數(shù)據(jù)集市？

????????這里我們先回憶一下數(shù)據(jù)倉庫的定義， 數(shù)據(jù)倉庫(Data Warehouse) 是一個面向主題的(Subject Oriented) 、集成的( Integrate ) 、相對穩(wěn)定的(Non -Volatile ) 、反映歷史變化( Time Variant) 的數(shù)據(jù)集合用于支持管理決策。

????????今天我們介紹一個在數(shù)倉中非常常見的概念——數(shù)據(jù)集市，數(shù)倉定義中的五個特性都值得一一仔細品味，隨著你對數(shù)倉的理解加深，你對這個五個特性的理解也會更加全面。

????????首先數(shù)據(jù)倉庫用于支持決策,面向分析型數(shù)據(jù)處理,它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫;其次,數(shù)據(jù)倉庫是對多個異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進行了重組,并包含歷史數(shù)據(jù)并且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。

????????這里有一個詞是主題，那就是我們集成后的數(shù)據(jù)，又按照了主題進行了劃分，而面向主題劃分出來的部分就是數(shù)據(jù)集市，也就是說數(shù)據(jù)集市是數(shù)據(jù)倉庫的一個子集或者說是集成后的子集。

????????數(shù)據(jù)集市通常是面向部門的或者是部門級業(yè)務(wù)，或者是面向部門的主題的，舉個例子例如在金融領(lǐng)域可能會有結(jié)算部門的數(shù)據(jù)集市、風(fēng)控部部門數(shù)據(jù)集市、市場部門的數(shù)據(jù)集市、運營部門的數(shù)據(jù)集市，這里的特點就是面向部門的，但是對于有的部門它的組織結(jié)構(gòu)可能比較大，所以它所負(fù)責(zé)的業(yè)務(wù)線也有多個，這個時候就會出現(xiàn)，數(shù)據(jù)集市是面向部門的子業(yè)務(wù)，總之一句話，數(shù)據(jù)集市是面向主題的，一般公司的主題就是部門或者業(yè)務(wù)線。

二、為什么要構(gòu)建數(shù)據(jù)集市？

????????上面了解了什么是數(shù)據(jù)集市，接下來我們就看看一下為什么要有數(shù)據(jù)集市，開始之前我們線回顧一下前面的數(shù)倉建模分層理論數(shù)據(jù)倉庫——分層原理_糾結(jié)&安然的程序猿的博客-CSDN博客數(shù)倉建模分層理論,我們知道了數(shù)倉最簡單的就是ODS+DM，但為什么我們還要分層，在文章中我們解釋了分層的意義是什么，如果你忘記了可以看一下前面的文章。

????????這里我們知道了數(shù)據(jù)集市是數(shù)據(jù)倉庫的子集，我們可以把分層看作是橫向切分，那么數(shù)據(jù)集市就是豎向切分。

?????????所以我們可以得出一個結(jié)論那就是數(shù)據(jù)集市的劃分也是為了更好的管理數(shù)倉和提高生產(chǎn)效率，但是這個還是有點抽象，下面我們再討論一下為什么要做數(shù)據(jù)集市層。

靈活性

????????這里我們把數(shù)據(jù)集成也引入進來，從宏觀上看一下從數(shù)據(jù)源到數(shù)據(jù)服務(wù)，整個數(shù)倉的存在形式是怎樣的，當(dāng)然這里我們是一個簡化的圖，我們主要反映出問題就行了。

????????上面就是我們當(dāng)前的數(shù)倉形態(tài)，這下我們解釋一下我們?yōu)槭裁匆鰯?shù)據(jù)集市層，數(shù)據(jù)集市層雖然是一個層，但是這層里有多個集市，每個集市面向不同的業(yè)務(wù)線或者是業(yè)務(wù)部門，那我們?yōu)槭裁匆@么做呢，說白了就是為解耦，解耦的目的是為了增加靈活性。

????????如果沒有數(shù)據(jù)集市層，那么我們的數(shù)倉就要面向眾多的業(yè)務(wù)部門，但是由于每個業(yè)務(wù)部門的數(shù)據(jù)需求或者所關(guān)心的數(shù)據(jù)是不一樣的，這就會導(dǎo)致我們的數(shù)倉建設(shè)失去核心，就會出現(xiàn)我們?yōu)榱藵M足某一個部門而違背了我們數(shù)倉的建設(shè)原則的現(xiàn)象出現(xiàn)，所以我們增加了數(shù)據(jù)集市層，也就是每個部門的個性化需求在這里體現(xiàn)。

????????其實如果你學(xué)習(xí)過設(shè)計模式或者是Java 的話，其實很容易立即，這有點類似抽象類Service 和實現(xiàn)類ServiceImpl。

三、數(shù)據(jù)集市有什么特點

如果你仔細學(xué)習(xí)了前面的內(nèi)容的話，你肯定可以理解下面的幾個特點這里我就不一一解釋，而且這些特點也是我總結(jié)出來的，你也可有對其進行擴展。

1、規(guī)模小

????????數(shù)據(jù)倉庫是面向企業(yè)的，數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的。

2、面向主題

????????數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的。

3、直接面向用戶

????????數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的。

4、個性化高

????????數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的，所以就會出現(xiàn)靈活多變的特點，而且也會出現(xiàn)流程上更簡單快速，規(guī)范上要求不嚴(yán)格，使用上要盡量簡單。其實這會反映到我們的表上。

????????就是我們集市層的表一般都是關(guān)聯(lián)好之后的表，使用的時候基本不需要關(guān)聯(lián)，主要是為了使用方便性能高。

????????還有就是我們集市層的表一般都是冗余了一些相關(guān)的字段，主要是為了應(yīng)對也無妨多變的請求，舉個例子業(yè)務(wù)方想看每個人今年的總消費，我可能會把最大值和平均值都會計算出來。

5、滿足需求為第一優(yōu)先級

????????尤其在一起初創(chuàng)企業(yè)，數(shù)倉建設(shè)跟不上的時候，為了盡快完成需求我們就會直接從ods層建設(shè)DM，從而可以對外提供數(shù)據(jù)。

四、構(gòu)建數(shù)據(jù)集市需要注意哪些問題？

????????數(shù)據(jù)倉庫（集市）的設(shè)計可以采用迭代式的方法，也就是說我們可以根據(jù)我們的適用方不斷的去迭代我們的數(shù)據(jù)集市，而且也沒有任何數(shù)據(jù)集市是可以一次性建成的。

????????理論上講，應(yīng)該有一個總的數(shù)據(jù)倉庫的概念，然后才有數(shù)據(jù)集市，但是我們實際的做法是先確定了數(shù)據(jù)集市以及我們的服務(wù)對象之后，然后才開始開始建立數(shù)據(jù)倉庫最后才是數(shù)據(jù)集市，也就是我們首先設(shè)計的是數(shù)據(jù)集市，但是我們建立的時候卻是首先建立的是數(shù)據(jù)倉庫。

五、其他需要注意的問題？

????????數(shù)據(jù)集市就是數(shù)據(jù)倉庫面向某個主題的子集,它作為數(shù)倉面向用戶的一層存在，提供數(shù)據(jù)服務(wù)。

? ? ? ? 數(shù)據(jù)集市往往作為數(shù)據(jù)倉庫之上的一個面向分析應(yīng)用或者是數(shù)倉里面向用戶的一層，也就是說沒有這一層的話，我們的倉庫就要面向用戶了，我們可以將其視作代理，因為這一層要面向用戶，所以它就有多變和不規(guī)范的特性，但是為了保證數(shù)倉整體建設(shè)的合理性和規(guī)范性，所以我們在數(shù)倉上加了這一層。

????????雖然集市層是面向用戶的，但是由于面向的用戶群體不同，所以又根據(jù)用戶群體的特點，將集市層進行了縱向切分，切分成了一個個不同的集市。

????????數(shù)據(jù)倉庫是面向企業(yè)的，數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的，你可以將其看作一個小型的數(shù)據(jù)倉庫，其實這里牽扯出了早期數(shù)據(jù)倉庫的一種存在形體，那就是每個部門有自己的數(shù)據(jù)倉庫，而不是統(tǒng)一建設(shè)的數(shù)據(jù)倉庫。

柚子快報邀請碼778899分享：大數(shù)據(jù) 數(shù)據(jù)倉庫——數(shù)據(jù)集市

http://yzkb.51969.com/

精彩鏈接