柚子快報(bào)激活碼778899分享：大數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)-相關(guān)概念

http://yzkb.51969.com/

簡(jiǎn)介 ?????

?數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)用于集成、存儲(chǔ)和管理大量數(shù)據(jù)的系統(tǒng)。它用于支持企業(yè)決策制定過(guò)程中的數(shù)據(jù)分析和報(bào)告需求。數(shù)據(jù)倉(cāng)庫(kù)從多個(gè)來(lái)源收集和整合數(shù)據(jù)，并將其組織成易于查詢和分析的結(jié)構(gòu)。

????????數(shù)據(jù)倉(cāng)庫(kù)的主要目標(biāo)是提供高性能的數(shù)據(jù)訪問(wèn)和分析能力，以便用戶可以從不同的角度和層次上理解和解釋數(shù)據(jù)。它通常包含歷史數(shù)據(jù)，用于支持趨勢(shì)分析和預(yù)測(cè)模型的建立。

????????數(shù)據(jù)倉(cāng)庫(kù)不僅僅是一個(gè)存儲(chǔ)數(shù)據(jù)的地方，它還提供了一系列工具和技術(shù)來(lái)支持?jǐn)?shù)據(jù)清洗、轉(zhuǎn)換、集成和加載等過(guò)程。這些過(guò)程通常被稱為ETL（抽取、轉(zhuǎn)換和加載），用于將原始數(shù)據(jù)從各種源系統(tǒng)中提取出來(lái)，并將其轉(zhuǎn)換為適合分析和報(bào)告的格式。

????????通過(guò)數(shù)據(jù)倉(cāng)庫(kù)，企業(yè)可以更好地理解自己的業(yè)務(wù)和客戶行為，發(fā)現(xiàn)潛在的商業(yè)機(jī)會(huì)，改善運(yùn)營(yíng)效率，并制定更明智的決策。它在各種行業(yè)和領(lǐng)域都被廣泛應(yīng)用，例如零售、金融、醫(yī)療保健和制造業(yè)等。

OLAP和OLTP

????????OLAP（聯(lián)機(jī)分析處理）和OLTP（聯(lián)機(jī)事務(wù)處理）是兩種不同的數(shù)據(jù)處理方式，用于支持不同的業(yè)務(wù)需求。

????????OLAP是一種面向分析和決策支持的數(shù)據(jù)處理方式。它主要針對(duì)復(fù)雜的查詢和多維度的數(shù)據(jù)分析，并提供靈活的數(shù)據(jù)切片、鉆取和匯總等功能。OLAP系統(tǒng)通?；诙嗑S數(shù)據(jù)模型，例如星型模型或雪花模型，它們使用聚集技術(shù)和預(yù)計(jì)算來(lái)提供高性能的查詢響應(yīng)。OLAP適用于需要進(jìn)行復(fù)雜數(shù)據(jù)分析、報(bào)告和決策制定的場(chǎng)景，如銷售分析、業(yè)務(wù)智能和預(yù)測(cè)模型等。

????????OLTP是一種面向事務(wù)處理的數(shù)據(jù)處理方式。它主要關(guān)注數(shù)據(jù)的錄入、修改和查詢等操作，以支持日常業(yè)務(wù)的進(jìn)行。OLTP系統(tǒng)通?；陉P(guān)系型數(shù)據(jù)庫(kù)，用于處理實(shí)時(shí)的交易和業(yè)務(wù)流程。它的目標(biāo)是提供高并發(fā)性、數(shù)據(jù)一致性和事務(wù)處理能力。OLTP適用于需要處理大量事務(wù)、保證數(shù)據(jù)準(zhǔn)確性和實(shí)時(shí)性的場(chǎng)景，如在線銀行交易、訂單處理和庫(kù)存管理等。

????????總結(jié)來(lái)說(shuō)，OLAP適用于復(fù)雜的分析和決策支持，強(qiáng)調(diào)對(duì)數(shù)據(jù)的多維度切片和聚合分析；而OLTP適用于日常的事務(wù)處理，強(qiáng)調(diào)對(duì)數(shù)據(jù)的錄入、修改和查詢操作。在實(shí)際應(yīng)用中，兩者通常結(jié)合使用，以滿足不同層次和類型的數(shù)據(jù)處理需求。

特征

面向主題： 主題是一個(gè)抽象的概念，是較高層次上 數(shù)據(jù)綜合、歸類并進(jìn)行分析利用的抽象集成性： 主題相關(guān)的數(shù)據(jù)通常會(huì)分布在多個(gè)操作型 系統(tǒng)中，彼此分散、獨(dú)立、異構(gòu)。需要集 成到數(shù)倉(cāng)主題下 非易失性： 也叫非易變性。數(shù)據(jù)倉(cāng)庫(kù)是分析數(shù)據(jù)的平臺(tái)，而不是創(chuàng)造數(shù)據(jù)的平臺(tái)。時(shí)變性： 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)需要隨著時(shí)間更新，以適 應(yīng)決策的需要

分層

數(shù)據(jù)倉(cāng)庫(kù)為什么要分層

把復(fù)雜問(wèn)題簡(jiǎn)單化，每一層只處理簡(jiǎn)單的任務(wù)，方便定位問(wèn)題； 減少重復(fù)開發(fā)，規(guī)范數(shù)據(jù)分層，通過(guò)中間層數(shù)據(jù)能夠減少重復(fù)計(jì)算，且增加計(jì)算結(jié)果的復(fù)用性； 隔離原始數(shù)據(jù)，不論是數(shù)據(jù)的異常還是數(shù)據(jù)的敏感性，使真實(shí)數(shù)據(jù)與統(tǒng)計(jì)數(shù)據(jù)解耦開。

DW五層架構(gòu)的特點(diǎn)

細(xì)化DW建模，對(duì)DW中各個(gè)主題業(yè)務(wù)建模進(jìn)行了細(xì)分，每個(gè)層次具有不同的功能。保留了最細(xì)粒度數(shù)據(jù)，滿足了不同維度、不同事實(shí)的信息； 滿足數(shù)據(jù)重新生產(chǎn)，不同層次的數(shù)據(jù)支持?jǐn)?shù)據(jù)重新生成，無(wú)需備份恢復(fù)，解決了由不同故障帶來(lái)的數(shù)據(jù)質(zhì)量問(wèn)題，消除了重新初始化數(shù)據(jù)的煩惱； 減少應(yīng)用對(duì)DW的壓力，以業(yè)務(wù)應(yīng)用驅(qū)動(dòng)為向?qū)Ы?，避免直接操作基礎(chǔ)事實(shí)表，降低數(shù)據(jù)獲取時(shí)間； 快速適應(yīng)需求變更和維度變化，明細(xì)基礎(chǔ)數(shù)據(jù)層穩(wěn)定，適應(yīng)前端應(yīng)用層業(yè)務(wù)需求變更，所有前端應(yīng)用層模型之間不存在依賴，需求變更對(duì)DW整個(gè)模型影響范圍小，能適應(yīng)短周期內(nèi)上線下線需求。

ODS（Operational Data Store）原始數(shù)據(jù)層

數(shù)據(jù)準(zhǔn)備區(qū)，也稱為貼源層。數(shù)據(jù)倉(cāng)庫(kù)源頭系統(tǒng)的數(shù)據(jù)表通常會(huì)原封不動(dòng)的存儲(chǔ)一份，以此減少對(duì)業(yè)務(wù)系統(tǒng)的影響，也是后續(xù)數(shù)據(jù)倉(cāng)庫(kù)加工數(shù)據(jù)的來(lái)源。業(yè)務(wù)DB基本上是直接同步過(guò)來(lái)，LOG主要做結(jié)構(gòu)化。

ODS層數(shù)據(jù)的來(lái)源方式

業(yè)務(wù)庫(kù) 可使用Sqoop來(lái)抽取，例如每天定時(shí)抽取一次； 實(shí)時(shí)接入，考慮用canal監(jiān)聽MySQL的binlog； Flume、Sqoop、Kettle等ETL工具導(dǎo)入到HDFS，并映射到HIVE的數(shù)據(jù)倉(cāng)庫(kù)表中。 埋點(diǎn)日志 日志一般以文件的形式保存，可以選擇用Flume定時(shí)同步； 可以用Spark Streaming或者Flink來(lái)實(shí)時(shí)接入； Kafka。 消息隊(duì)列 來(lái)自ActiveMQ、Kafka的數(shù)據(jù)等。 1.3.2 建模方式及原則 從業(yè)務(wù)系統(tǒng)增量抽??； 保留時(shí)間由業(yè)務(wù)需求決定； 可分表進(jìn)行周期存儲(chǔ)； 數(shù)據(jù)不做清洗轉(zhuǎn)換與業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型保持一致； 按主題邏輯劃分。 針對(duì)HDFS上的用戶行為數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，我們?nèi)绾我?guī)劃處理？

保持?jǐn)?shù)據(jù)原貌不做任何修改，起到備份數(shù)據(jù)的作用； 數(shù)據(jù)采用壓縮，減少磁盤存儲(chǔ)空間； 創(chuàng)建分區(qū)表，防止后續(xù)的全表掃描。

DWD（Data Warehouse Detail）明細(xì)數(shù)據(jù)層

DWD是業(yè)務(wù)層與數(shù)據(jù)倉(cāng)庫(kù)的隔離層，主要對(duì)ODS數(shù)據(jù)層做一些數(shù)據(jù)清洗（去除空值、臟數(shù)據(jù)、超過(guò)極限范圍的數(shù)據(jù)）、規(guī)范化、維度退化、脫敏等操作。

1.4.1 建模方式及原則 需要構(gòu)建維度模型，一般采用星型模型，呈現(xiàn)的狀態(tài)一般為星座模型（由多個(gè)事實(shí)表組合，維表是公共的，可被多個(gè)事實(shí)表共享）； 為支持?jǐn)?shù)據(jù)重跑可額外增加數(shù)據(jù)業(yè)務(wù)日期字段，可按年月日進(jìn)行分表，用增量ODS層數(shù)據(jù)和前一天DWD相關(guān)表進(jìn)行merge處理； 粒度是一行信息代表一次行為，例如一次下單。 1.4.2 維度建模步驟 選擇業(yè)務(wù)過(guò)程：在業(yè)務(wù)系統(tǒng)中，挑選感興趣的業(yè)務(wù)線，比如下單業(yè)務(wù)，支付業(yè)務(wù)，退款業(yè)務(wù)，物流業(yè)務(wù)，一條業(yè)務(wù)線對(duì)應(yīng)一張事實(shí)表。如果是中小公司，盡量把所有業(yè)務(wù)過(guò)程都選擇。如果是大公司（1000多張表），選擇和需求相關(guān)的業(yè)務(wù)線。 聲明粒度：數(shù)據(jù)粒度指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)中保存數(shù)據(jù)的細(xì)化程度或綜合程度的級(jí)別。聲明粒度意味著精確定義事實(shí)表中的一行數(shù)據(jù)表示什么，應(yīng)該盡可能選擇最小粒度，以此來(lái)應(yīng)各種各樣的需求。典型的粒度聲明如下：訂單當(dāng)中的每個(gè)商品項(xiàng)作為下單事實(shí)表中的一行，粒度為每次。每周的訂單次數(shù)作為一行，粒度為每周。每月的訂單次數(shù)作為一行，粒度為每月。如果在DWD層粒度就是每周或者每月，那么后續(xù)就沒有辦法統(tǒng)計(jì)細(xì)粒度的指標(biāo)了。所以建議采用最小粒度。 確定維度：維度的主要作用是描述業(yè)務(wù)是事實(shí)，主要表示的是“誰(shuí)，何處，何時(shí)”等信息。確定維度的原則是：后續(xù)需求中是否要分析相關(guān)維度的指標(biāo)。例如，需要統(tǒng)計(jì)，什么時(shí)間下的訂單多，哪個(gè)地區(qū)下的訂單多，哪個(gè)用戶下的訂單多。需要確定的維度就包括：時(shí)間維度、地區(qū)維度、用戶維度。維度表：需要根據(jù)維度建模中的星型模型原則進(jìn)行維度退化。 確定事實(shí)：此處的“事實(shí)”一詞，指的是業(yè)務(wù)中的度量值（次數(shù)、個(gè)數(shù)、件數(shù)、金額，可以進(jìn)行累加），例如訂單金額、下單次數(shù)等。在DWD層，以業(yè)務(wù)過(guò)程為建模驅(qū)動(dòng)，基于每個(gè)具體業(yè)務(wù)過(guò)程的特點(diǎn)，構(gòu)建最細(xì)粒度的明細(xì)層事實(shí)表。事實(shí)表可做適當(dāng)?shù)膶挶砘幚怼?注意：DWD層是以業(yè)務(wù)過(guò)程為驅(qū)動(dòng)。DWS層、DWT層和ADS層都是以需求為驅(qū)動(dòng)，和維度建模已經(jīng)沒有關(guān)系了。DWS和DWT都是建寬表，按照主題去建表。主題相當(dāng)于觀察問(wèn)題的角度。對(duì)應(yīng)著維度表。

DWS（Data Warehouse Service）服務(wù)數(shù)據(jù)層

DWB：data warehouse base 數(shù)據(jù)基礎(chǔ)層，存儲(chǔ)的是客觀數(shù)據(jù)，一般用作中間層，可以認(rèn)為是大量指標(biāo)的數(shù)據(jù)層。 以DWD為基礎(chǔ)，按天進(jìn)行輕度匯總。粒度是一行信息代表一天的行為，例如一天下單次數(shù)。

1.5.1 功能 DWB是根據(jù)DWD明細(xì)數(shù)據(jù)經(jīng)行清晰轉(zhuǎn)換，如維度轉(zhuǎn)代理鍵、身份證清洗、會(huì)員注冊(cè)來(lái)源清晰、字段合并、空值處理、臟數(shù)據(jù)處理、IP清晰轉(zhuǎn)換、賬號(hào)余額清洗、資金來(lái)源清洗等； DWS是根據(jù)DWB層數(shù)據(jù)按各個(gè)維度ID進(jìn)行粗粒度匯總聚合，如按交易來(lái)源，交易類型進(jìn)行匯合。 1.5.2 建模方式及原則 聚合、匯總增加派生事實(shí)； 關(guān)聯(lián)其它主題的事實(shí)表，DW層可能會(huì)跨主題域； DWB保持低粒度匯總加工數(shù)據(jù)，DWS保持高粒度匯總數(shù)據(jù)； 數(shù)據(jù)模型可能采用反范式設(shè)計(jì)，合并信息等。

DWT（Data Warehouse Topic）數(shù)據(jù)主題層

以DWS為基礎(chǔ)，按主題進(jìn)行匯總。粒度是一行信息代表累積的行為，例如用戶從注冊(cè)那天開始至今一共下了多少次單。

1.6.1 功能 可以是一些寬表，是根據(jù)DW層數(shù)據(jù)按照各種維度或多種維度組合把需要查詢的一些事實(shí)字段進(jìn)行匯總統(tǒng)計(jì)并作為單獨(dú)的列進(jìn)行存儲(chǔ)； 滿足一些特定查詢、數(shù)據(jù)挖掘應(yīng)用。 1.6.2 建模方式及原則 盡量減少數(shù)據(jù)訪問(wèn)時(shí)計(jì)算，優(yōu)化檢索； 維度建模，星型模型； 事實(shí)拉寬，度量預(yù)先計(jì)算； 分表存儲(chǔ)。

ADS（Application Data Store）數(shù)據(jù)應(yīng)用層

面向?qū)嶋H的數(shù)據(jù)需求，同步到關(guān)系型數(shù)據(jù)庫(kù)服務(wù)RDS。該層主要是提供數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)，一般會(huì)存儲(chǔ)在ES、mysql等系統(tǒng)中供線上系統(tǒng)使用。我們通過(guò)說(shuō)的報(bào)表數(shù)據(jù)，或者說(shuō)那種大寬表，一般就放在這里。為應(yīng)用層，這層數(shù)據(jù)是完全為了滿足具體的分析需求而構(gòu)建的數(shù)據(jù)，也是星形結(jié)構(gòu)的數(shù)據(jù)。應(yīng)用層為前端應(yīng)用的展現(xiàn)提現(xiàn)數(shù)據(jù)，可以為關(guān)系型數(shù)據(jù)庫(kù)組成。

1.7.1 功能 ST層面向用戶應(yīng)用和分析需求，包括前端報(bào)表、分析圖表、KPI、儀表盤、OLAP、專題等分析，面向最終結(jié)果用戶； 適合作OLAP、報(bào)表模型，如ROLAP、MOLAP； 根據(jù)DW層經(jīng)過(guò)聚合匯總統(tǒng)計(jì)后的粗粒度事實(shí)表。 1.7.2 建模方式及原則 保持?jǐn)?shù)據(jù)量??； 維度建模，星形模型； 各位維度代理鍵+度量； 增加數(shù)據(jù)業(yè)務(wù)日期字段，支持?jǐn)?shù)據(jù)重跑； 不分表存儲(chǔ)。 1.8 其他層 數(shù)據(jù)緩存層：用于存放接口方提供的原始數(shù)據(jù)的數(shù)據(jù)庫(kù)層，此層的表結(jié)構(gòu)與源數(shù)據(jù)保持基本一致，數(shù)據(jù)存放時(shí)間根據(jù)數(shù)據(jù)量大小和項(xiàng)目情況而定，如果數(shù)據(jù)量較大，可以只存近期數(shù)據(jù)，將歷史數(shù)據(jù)進(jìn)行備份。此層的目的在于數(shù)據(jù)的中轉(zhuǎn)和備份。 臨時(shí)數(shù)據(jù)表層：存放臨時(shí)測(cè)試數(shù)據(jù)表（Temp表），或者中間結(jié)果集的表。

柚子快報(bào)激活碼778899分享：大數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)-相關(guān)概念

http://yzkb.51969.com/

文章來(lái)源