柚子快報邀請碼778899分享：數(shù)據(jù)庫 數(shù)據(jù)倉庫概念以及選型

http://yzkb.51969.com/

?

數(shù)據(jù)倉庫（ Data Warehouse ），是為企業(yè)制定決策，提供數(shù)據(jù)支持的。可以幫助企業(yè)，改進業(yè)務(wù)流程、提高產(chǎn)品質(zhì)量等。

數(shù)據(jù)倉庫的輸入數(shù)據(jù)通常包括：業(yè)務(wù)數(shù)據(jù)、用戶行為數(shù)據(jù)和爬蟲數(shù)據(jù)等

ODS（Operation Data Store）：數(shù)據(jù)準備區(qū)，貼源層，直接接入源數(shù)據(jù)的：業(yè)務(wù)庫，埋點日志，消息隊列等，是數(shù)據(jù)倉庫的準備區(qū)。

DWD（data warehouse details）：數(shù)據(jù)細節(jié)層，業(yè)務(wù)層和數(shù)據(jù)倉庫的隔離層。

保持和ODS層一樣的數(shù)據(jù)顆粒度；主要是對ODS數(shù)據(jù)層做一些數(shù)據(jù)的清洗和規(guī)范化的操作，比如去除空數(shù)據(jù)、臟數(shù)據(jù)、離群值等。

為了提高數(shù)據(jù)明細層的易用性，該層通常會才采用一些維度退化方法，將維度退化至事實表中，減少事實表和維表的關(guān)聯(lián)

DWS（Data Warehouse Middle）：該層是基于DWM上的基礎(chǔ)數(shù)據(jù)，整合匯總成分析某一個主題域的數(shù)據(jù)服務(wù)層，一般是寬表，用于提供后續(xù)的業(yè)務(wù)查詢，OLAP分析，數(shù)據(jù)分發(fā)等。

ADS（Data Warehouse Service）：

該層主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)，一般會存放在ES、Redis、PostgreSql等系統(tǒng)中供線上系統(tǒng)使用；也可能存放在hive或者Druid中，供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用，比如常用的數(shù)據(jù)報表就是存在這里的。

?

柚子快報邀請碼778899分享：數(shù)據(jù)庫 數(shù)據(jù)倉庫概念以及選型

http://yzkb.51969.com/

文章來源