柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù)項(xiàng)目之?dāng)?shù)倉(cāng)相關(guān)知識(shí)

Gittigidiyor土耳其市場(chǎng)綜合2025-05-05440

http://yzkb.51969.com/

第1章數(shù)據(jù)倉(cāng)庫(kù)概念

數(shù)據(jù)倉(cāng)庫(kù)（DW）: 為企業(yè)指定決策，提供數(shù)據(jù)支持的，幫助企業(yè)，改進(jìn)業(yè)務(wù)流程，提高產(chǎn)品質(zhì)量等。

DW的輸入數(shù)據(jù)通常包括：業(yè)務(wù)數(shù)據(jù)，用戶行為數(shù)據(jù)和爬蟲數(shù)據(jù)等

? ODS:? 數(shù)據(jù)備份

?DWD：數(shù)據(jù)清洗

?DWS:? 預(yù)先聚合

? ADS:? 統(tǒng)計(jì)數(shù)據(jù)

何為數(shù)倉(cāng)DW

Data warehouse（可簡(jiǎn)寫為DW或者DWH）數(shù)據(jù)倉(cāng)庫(kù)，是在數(shù)據(jù)庫(kù)已經(jīng)大量存在的情況下，它是一整套包括了etl、調(diào)度、建模在內(nèi)的完整的理論體系。

數(shù)據(jù)倉(cāng)庫(kù)的方案建設(shè)的目的，是為前端查詢和分析作為基礎(chǔ)，主要應(yīng)用于OLAP（on-line Analytical Processing），支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。目前行業(yè)比較流行的有：AWS Redshift，Greenplum，Hive等。

數(shù)據(jù)倉(cāng)庫(kù)并不是數(shù)據(jù)的最終目的地，而是為數(shù)據(jù)最終的目的地做好準(zhǔn)備，這些準(zhǔn)備包含：清洗、轉(zhuǎn)義、分類、重組、合并、拆分、統(tǒng)計(jì)等

主要特點(diǎn)

面向主題

操作型數(shù)據(jù)庫(kù)組織面向事務(wù)處理任務(wù)，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織。主題是指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，一個(gè)主題通過與多個(gè)操作型信息系統(tǒng)相關(guān)。

集成

需要對(duì)源數(shù)據(jù)進(jìn)行加工與融合，統(tǒng)一與綜合在加工的過程中必須消除源數(shù)據(jù)的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息時(shí)關(guān)于整個(gè)企業(yè)的一致的全局信息。（關(guān)聯(lián)關(guān)系）

不可修改

DW中的數(shù)據(jù)并不是最新的，而是來源于其他數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)主要是為決策分析提供數(shù)據(jù)，涉及的操作主要是數(shù)據(jù)的查詢

與時(shí)間相關(guān)

處于決策的需要數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都需要標(biāo)明時(shí)間屬性 ?

?與數(shù)據(jù)庫(kù)的對(duì)比

DW：專門為數(shù)據(jù)分析設(shè)計(jì)的，涉及讀取大量數(shù)據(jù)以了解數(shù)據(jù)之間的關(guān)系和趨勢(shì)數(shù)據(jù)庫(kù)：用于捕獲和存儲(chǔ)數(shù)據(jù)

為何要分層

數(shù)據(jù)倉(cāng)庫(kù)中涉及到的問題：

為什么要做數(shù)據(jù)倉(cāng)庫(kù)？為什么要做數(shù)據(jù)質(zhì)量管理？為什么要做元數(shù)據(jù)管理？數(shù)倉(cāng)分層中每個(gè)層的作用是什么？

在實(shí)際的工作中，我們都希望自己的數(shù)據(jù)能夠有順序地流轉(zhuǎn)，設(shè)計(jì)者和使用者能夠清晰地知道數(shù)據(jù)的整個(gè)聲明周期，比如下面左圖。

但是，實(shí)際情況下，我們所面臨的數(shù)據(jù)狀況很有可能是復(fù)雜性高、且層級(jí)混亂的，我們可能會(huì)做出一套表依賴結(jié)構(gòu)混亂，且出現(xiàn)循環(huán)依賴的數(shù)據(jù)體系，比如下面的右圖。

為了解決我們可能面臨的問題，需要一套行之有效的數(shù)據(jù)組織、管理和處理方法，來讓我們的數(shù)據(jù)體系更加有序，這就是數(shù)據(jù)分層。數(shù)據(jù)分層的好處：

清晰數(shù)據(jù)結(jié)構(gòu)：讓每個(gè)數(shù)據(jù)層都有自己的作用和職責(zé)，在使用和維護(hù)的時(shí)候能夠更方便和理解復(fù)雜問題簡(jiǎn)化：將一個(gè)復(fù)雜的任務(wù)拆解成多個(gè)步驟來分步驟完成，每個(gè)層只解決特定的問題統(tǒng)一數(shù)據(jù)口徑：通過數(shù)據(jù)分層，提供統(tǒng)一的數(shù)據(jù)出口，統(tǒng)一輸出口徑減少重復(fù)開發(fā)：規(guī)范數(shù)據(jù)分層，開發(fā)通用的中間層，可以極大地減少重復(fù)計(jì)算的工作 ?

數(shù)據(jù)分層

每個(gè)公司的業(yè)務(wù)都可以根據(jù)自己的業(yè)務(wù)需求分層不同的層次；目前比較成熟的數(shù)據(jù)分層：數(shù)據(jù)運(yùn)營(yíng)層ODS、數(shù)據(jù)倉(cāng)庫(kù)層DW、數(shù)據(jù)服務(wù)層ADS(APP)。

數(shù)據(jù)運(yùn)營(yíng)層ODS

數(shù)據(jù)運(yùn)營(yíng)層：Operation Data Store 數(shù)據(jù)準(zhǔn)備區(qū)，也稱為貼源層。數(shù)據(jù)源中的數(shù)據(jù)，經(jīng)過抽取、洗凈、傳輸，也就是ETL過程之后進(jìn)入本層。該層的主要功能：

ODS是后面數(shù)據(jù)倉(cāng)庫(kù)層的準(zhǔn)備區(qū)為DWD層提供原始數(shù)據(jù)減少對(duì)業(yè)務(wù)系統(tǒng)的影響

在源數(shù)據(jù)裝入這一層時(shí)，要進(jìn)行諸如去噪（例如有一條數(shù)據(jù)中人的年齡是 300 歲，這種屬于異常數(shù)據(jù)，就需要提前做一些處理）、去重(例如在個(gè)人資料表中，同一 ID 卻有兩條重復(fù)數(shù)據(jù)，在接入的時(shí)候需要做一步去重)、字段命名規(guī)范等一系列操作。

但是為了考慮后續(xù)可能需要追溯數(shù)據(jù)問題，因此對(duì)于這一層就不建議做過多的數(shù)據(jù)清洗工作，原封不動(dòng)地接入原始數(shù)據(jù)也可以，根據(jù)業(yè)務(wù)具體分層的需求來做。

這層的數(shù)據(jù)是后續(xù)數(shù)據(jù)倉(cāng)庫(kù)加工數(shù)據(jù)的來源。數(shù)據(jù)來源的方式：

業(yè)務(wù)庫(kù)

經(jīng)常會(huì)使用sqoop來抽取，例如每天定時(shí)抽取一次。實(shí)時(shí)方面，可以考慮用canal監(jiān)聽mysql的binlog，實(shí)時(shí)接入即可。

埋點(diǎn)日志

日志一般以文件的形式保存，可以選擇用flume定時(shí)同步可以用spark streaming或者Flink來實(shí)時(shí)接入kafka也OK

消息隊(duì)列：即來自ActiveMQ、Kafka的數(shù)據(jù)等。 ?

數(shù)據(jù)倉(cāng)庫(kù)層

數(shù)據(jù)倉(cāng)庫(kù)層從上到下，又可以分為3個(gè)層：數(shù)據(jù)細(xì)節(jié)層DWD、數(shù)據(jù)中間層DWM、數(shù)據(jù)服務(wù)層DWS。

數(shù)據(jù)細(xì)節(jié)層DWD

數(shù)據(jù)細(xì)節(jié)層：data warehouse details，DWD(數(shù)據(jù)清洗/DWI)

該層是業(yè)務(wù)層和數(shù)據(jù)倉(cāng)庫(kù)的隔離層，保持和ODS層一樣的數(shù)據(jù)顆粒度；主要是對(duì)ODS數(shù)據(jù)層做一些數(shù)據(jù)的清洗和規(guī)范化的操作，比如去除空數(shù)據(jù)、臟數(shù)據(jù)、離群值等。

為了提高數(shù)據(jù)明細(xì)層的易用性，該層通常會(huì)才采用一些維度退化方法，將維度退化至事實(shí)表中，減少事實(shí)表和維表的關(guān)聯(lián)。

數(shù)據(jù)中間層DWM

數(shù)據(jù)中間層：Data Warehouse Middle，DWM

該層是在DWD層的數(shù)據(jù)基礎(chǔ)上，對(duì)數(shù)據(jù)做一些輕微的聚合操作，生成一些列的中間結(jié)果表，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工的工作。 ?

簡(jiǎn)答來說，對(duì)通用的核心維度進(jìn)行聚合操作，算出相應(yīng)的統(tǒng)計(jì)指標(biāo)

數(shù)據(jù)服務(wù)層DWS

數(shù)據(jù)服務(wù)層：Data Warehouse Service，DWS(寬表-用戶行為，輕度聚合)

該層是基于DWM上的基礎(chǔ)數(shù)據(jù)，整合匯總成分析某一個(gè)主題域的數(shù)據(jù)服務(wù)層，一般是寬表，用于提供后續(xù)的業(yè)務(wù)查詢，OLAP分析，數(shù)據(jù)分發(fā)等。

一般來說，該層的數(shù)據(jù)表會(huì)相對(duì)較少；一張表會(huì)涵蓋比較多的業(yè)務(wù)內(nèi)容，由于其字段較多，因此一般也會(huì)稱該層的表為寬表。

用戶行為，輕度聚合對(duì)DWD主要對(duì)ODS/DWD層數(shù)據(jù)做一些輕度的匯總。 ?

數(shù)據(jù)應(yīng)用層ADS

數(shù)據(jù)應(yīng)用層：Application Data Service，ADS(APP/DAL/DF)-出報(bào)表結(jié)果

該層主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)，一般會(huì)存放在ES、Redis、PostgreSql等系統(tǒng)中供線上系統(tǒng)使用；也可能存放在hive或者Druid中，供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用，比如常用的數(shù)據(jù)報(bào)表就是存在這里的。

事實(shí)表 Fact Table

事實(shí)表是指存儲(chǔ)有事實(shí)記錄的表，比如系統(tǒng)日志、銷售記錄等。事實(shí)表的記錄在不斷地增長(zhǎng)，比如電商的商品訂單表，就是類似的情況，所以事實(shí)表的體積通常是遠(yuǎn)大于其他表。 ?

維表層Dimension（DIM）

維度表（Dimension Table）或維表，有時(shí)也稱查找表（Lookup Table），是與事實(shí)表相對(duì)應(yīng)的一種表；它保存了維度的屬性值，可以跟事實(shí)表做關(guān)聯(lián)，相當(dāng)于將事實(shí)表上經(jīng)常重復(fù)出現(xiàn)的屬性抽取、規(guī)范出來用一張表進(jìn)行管理。維度表主要是包含兩個(gè)部分：

高基數(shù)維度數(shù)據(jù)：一般是用戶資料表、商品資料表類似的資料表，數(shù)據(jù)量可能是千萬(wàn)級(jí)或者上億級(jí)別低基數(shù)維度數(shù)據(jù)：一般是配置表，比如枚舉字段對(duì)應(yīng)的中文含義，或者日期維表等；數(shù)據(jù)量可能就是個(gè)位數(shù)或者幾千幾萬(wàn)。 ?

臨時(shí)表TMP

每一層的計(jì)算都會(huì)有很多臨時(shí)表，專設(shè)一個(gè)DWTMP層來存儲(chǔ)我們數(shù)據(jù)倉(cāng)庫(kù)的臨時(shí)表

數(shù)據(jù)集市

狹義ADS層；廣義上指hadoop從DWD DWS ADS 同步到RDS的數(shù)據(jù)

數(shù)據(jù)集市（Data Mart），也叫數(shù)據(jù)市場(chǎng)，數(shù)據(jù)集市就是滿足特定的部門或者用戶的需求，按照多維的方式進(jìn)行存儲(chǔ)，包括定義維度、需要計(jì)算的指標(biāo)、維度的層次等，生成面向決策分析需求的數(shù)據(jù)立方體。

從范圍上來說，數(shù)據(jù)是從企業(yè)范圍的數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)，或者是更加專業(yè)的數(shù)據(jù)倉(cāng)庫(kù)中抽取出來的。數(shù)據(jù)中心的重點(diǎn)就在于它迎合了專業(yè)用戶群體的特殊需求，在分析、內(nèi)容、表現(xiàn)，以及易用方面。數(shù)據(jù)中心的用戶希望數(shù)據(jù)是由他們熟悉的術(shù)語(yǔ)表現(xiàn)的。 ?

帶有數(shù)據(jù)集市的數(shù)據(jù)倉(cāng)儲(chǔ)結(jié)構(gòu)

區(qū)別數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)集市就是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子集，它主要面向部門級(jí)業(yè)務(wù)，并且只面向某個(gè)特定的主題。為了解決靈活性與性能之間的矛盾，數(shù)據(jù)集市就是數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中增加的一種小型的部門或工作組級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)集市存儲(chǔ)為特定用戶預(yù)先計(jì)算好的數(shù)據(jù)，從而滿足用戶對(duì)性能的需求。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉(cāng)庫(kù)的瓶頸。

理論上講，應(yīng)該有一個(gè)總的數(shù)據(jù)倉(cāng)庫(kù)的概念，然后才有數(shù)據(jù)集市。實(shí)際建設(shè)數(shù)據(jù)集市的時(shí)候，國(guó)內(nèi)很少這么做。國(guó)內(nèi)一般會(huì)先從數(shù)據(jù)集市入手，就某一個(gè)特定的主題（比如企業(yè)的客戶信息）先做數(shù)據(jù)集市，再建設(shè)數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市建立的先后次序之分，是和設(shè)計(jì)方法緊密相關(guān)的。而數(shù)據(jù)倉(cāng)庫(kù)作為工程學(xué)科，并沒有對(duì)錯(cuò)之分。

在數(shù)據(jù)結(jié)構(gòu)上，數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的數(shù)據(jù)的集合。而數(shù)據(jù)集市通常被定義為星型結(jié)構(gòu)或者雪花型數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)集市一般是由一張事實(shí)表和幾張維表組成的。 ?

ETL

ETL ：Extract-Transform-Load，用于描述將數(shù)據(jù)從來源端經(jīng)過抽取、轉(zhuǎn)換、加載到目的端的過程。

寬表

含義：指字段比較多的數(shù)據(jù)庫(kù)表。通常是指業(yè)務(wù)主體相關(guān)的指標(biāo)、緯度、屬性關(guān)聯(lián)在一起的一張數(shù)據(jù)庫(kù)表。

特點(diǎn)：

寬表由于把不同的內(nèi)容都放在同一張表，寬表已經(jīng)不符合三范式的模型設(shè)計(jì)規(guī)范：

壞處：數(shù)據(jù)有大量冗余好處：查詢性能的提高和便捷

寬表的設(shè)計(jì)廣泛應(yīng)用于數(shù)據(jù)挖掘模型訓(xùn)練前的數(shù)據(jù)準(zhǔn)備，通過把相關(guān)字段放在同一張表中，可以大大提供數(shù)據(jù)挖掘模型訓(xùn)練過程中迭代計(jì)算的消息問題。 ?

主題（Subject）

是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)進(jìn)行綜合、歸類和分析利用的一個(gè)抽象概念，每一個(gè)主題基本對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域。在邏輯意義上，它是對(duì)應(yīng)企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對(duì)象。例如“銷售分析”就是一個(gè)分析領(lǐng)域，因此這個(gè)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的主題就是“銷售分析”。

第2章項(xiàng)目需求及架構(gòu)設(shè)計(jì)

2.1 項(xiàng)目需求分析

1）采集平臺(tái)

? ?(1) 用戶行為數(shù)據(jù)采集平臺(tái)搭建。

（2）業(yè)務(wù)數(shù)據(jù)采集平臺(tái)搭建

?2）離線需求

電商離線指標(biāo)體系.xlsx

3) 實(shí)時(shí)需求

電商實(shí)時(shí)指標(biāo)體系.xlsx

?技術(shù)選型

技術(shù)選型主要考慮因素：數(shù)據(jù)量大小、業(yè)務(wù)需求、行業(yè)內(nèi)經(jīng)驗(yàn)、技術(shù)成熟度、開發(fā)維護(hù)成本、總成本預(yù)算。

?2.2.3框架版本的選型