柚子快報(bào)邀請碼778899分享：hive 拉鏈表和寬表的優(yōu)劣勢

http://yzkb.51969.com/

一、拉鏈表:是一種用于數(shù)據(jù)倉庫的表結(jié)構(gòu)，記錄了數(shù)據(jù)隨時(shí)間變化的歷史狀態(tài)。每次數(shù)據(jù)發(fā)生變化時(shí)，都會在拉鏈表中插入一條新記錄，而舊記錄保持不變，僅標(biāo)記其有效時(shí)間區(qū)間。

在數(shù)據(jù)倉庫的數(shù)據(jù)模型設(shè)計(jì)過程中，經(jīng)常會遇到這樣的需求：

數(shù)據(jù)量比較大表中的部分字段會被update,如用戶的地址，產(chǎn)品的描述信息，訂單的狀態(tài)等等；需要查看某一個(gè)時(shí)間點(diǎn)或者時(shí)間段的歷史快照信息，比如，查看某一個(gè)訂單在歷史某一個(gè)時(shí)間點(diǎn)的狀態(tài)，比如，查看某一個(gè)用戶在過去某一段時(shí)間內(nèi)，更新過幾次等等；變化的比例和頻率不是很大，比如，總共有1000萬的會員，每天新增和發(fā)生變化的有10萬左右；如果對這邊表每天都保留一份全量，那么每次全量中會保存很多不變的信息，對存儲是極大的浪費(fèi)；

對于這種表有幾種方案可選： ????? 方案一：每天只留最新的一份，比如我們每天用Sqoop抽取最新的一份全量數(shù)據(jù)到Hive中。 方案二：每天保留一份全量的切片數(shù)據(jù)。 方案三: 每天保存一份增量數(shù)據(jù) 方案四：使用拉鏈表。 以上方案對比 方案一 這種方案就不用多說了，實(shí)現(xiàn)起來很簡單，每天drop掉前一天的數(shù)據(jù)，重新抽一份最新的。 優(yōu)點(diǎn)很明顯，節(jié)省空間，一些普通的使用也很方便，不用在選擇表的時(shí)候加一個(gè)時(shí)間分區(qū)什么的。 缺點(diǎn)同樣明顯，沒有歷史數(shù)據(jù)，先翻翻舊賬只能通過其它方式，比如從流水表里面抽。 方案二 每天一份全量的切片是一種比較穩(wěn)妥的方案，而且歷史數(shù)據(jù)也在。 缺點(diǎn)就是存儲空間占用量太大太大了，如果對這邊表每天都保留一份全量，那么每次全量中會保存很多不變的信息，對存儲是極大的浪費(fèi)，這點(diǎn)我感觸還是很深的… 當(dāng)然我們也可以做一些取舍，比如只保留近一個(gè)月的數(shù)據(jù)？但是，需求是無恥的，數(shù)據(jù)的生命周期不是我們能完全左右的。 方案三 每天都保存增量數(shù)據(jù),這種方案相比較方案一二的話,數(shù)據(jù)量變少了,也記錄了每條數(shù)據(jù)的變化.但是數(shù)據(jù)量還是比拉鏈表多,同時(shí)它要求某天的歷史數(shù)據(jù)查詢效率比較低,比較繁瑣.比如你要求2021年10月01號的在職人數(shù),你就需要判斷入職日期小于等于10月01號的,用lead函數(shù)獲取下條數(shù)據(jù),判斷下條數(shù)據(jù)的離職日期是否大于2021年10月01號. 拉鏈表 拉鏈表在使用上基本兼顧了我們的需求。 首先它在空間上做了一個(gè)取舍，雖說不像方案一那樣占用量那么小，但是它每日的增量可能只有方案二的千分之一甚至是萬分之一。 其實(shí)它能滿足方案二所能滿足的需求，既能獲取最新的數(shù)據(jù)，也能添加篩選條件也獲取歷史的數(shù)據(jù)。 所以我們還是很有必要來使用拉鏈表的。

優(yōu)勢

歷史數(shù)據(jù)跟蹤：

拉鏈表能夠完整地記錄數(shù)據(jù)的歷史變化，保留數(shù)據(jù)的所有版本，方便進(jìn)行時(shí)間序列分析和審計(jì)。 數(shù)據(jù)一致性：

通過記錄數(shù)據(jù)的所有變化，拉鏈表能夠確保數(shù)據(jù)的一致性和完整性，使得數(shù)據(jù)分析和報(bào)告更加準(zhǔn)確可靠。 回溯分析：

允許用戶回溯到某一特定時(shí)間點(diǎn)查看數(shù)據(jù)的狀態(tài)，有助于進(jìn)行歷史數(shù)據(jù)分析和故障排查。 數(shù)據(jù)審計(jì)：

拉鏈表為數(shù)據(jù)審計(jì)提供了基礎(chǔ)，能夠詳細(xì)記錄數(shù)據(jù)的變更歷史，方便追溯和審核數(shù)據(jù)的變更過程。 簡化數(shù)據(jù)歸檔：

拉鏈表可以作為數(shù)據(jù)歸檔的一部分，將歷史數(shù)據(jù)保留在同一表中，方便管理和查詢。

劣勢

存儲空間需求高：

由于需要記錄數(shù)據(jù)的所有變化版本，拉鏈表可能會占用大量存儲空間，尤其是在數(shù)據(jù)頻繁變更的情況下。 數(shù)據(jù)插入復(fù)雜性：

每次數(shù)據(jù)變更時(shí)都需要插入新記錄，同時(shí)更新舊記錄的有效時(shí)間區(qū)間，這增加了數(shù)據(jù)插入操作的復(fù)雜性和資源消耗。 查詢復(fù)雜性：

查詢某一時(shí)點(diǎn)的有效數(shù)據(jù)可能需要進(jìn)行時(shí)間過濾和關(guān)聯(lián)操作，增加了查詢的復(fù)雜性和執(zhí)行時(shí)間。 數(shù)據(jù)冗余：

為了保留數(shù)據(jù)的所有版本，拉鏈表可能會包含大量冗余數(shù)據(jù)，這不僅增加了存儲需求，還可能影響查詢性能。 維護(hù)成本高：

由于表結(jié)構(gòu)復(fù)雜，數(shù)據(jù)插入和更新操作頻繁，拉鏈表的維護(hù)成本較高，需要更多的管理和監(jiān)控。 性能問題：

在數(shù)據(jù)量大且變化頻繁的情況下，拉鏈表的查詢和插入性能可能受到影響，尤其是在進(jìn)行大規(guī)模數(shù)據(jù)分析時(shí)。 復(fù)雜的ETL過程：

構(gòu)建和維護(hù)拉鏈表的ETL（提取、轉(zhuǎn)換、加載）過程相對復(fù)雜，需要處理數(shù)據(jù)的版本控制和歷史記錄管理，增加了開發(fā)和維護(hù)的難度。

二、寬表:一種數(shù)據(jù)倉庫表結(jié)構(gòu)，通常包含大量的列，并盡量減少表之間的連接操作。

優(yōu)勢：

查詢性能提升：

寬表減少了多表連接（Join）的需求，從而減少了查詢的復(fù)雜度和執(zhí)行時(shí)間。對于復(fù)雜查詢，尤其是涉及多個(gè)表的查詢，寬表能夠顯著提升性能。 簡化數(shù)據(jù)模型：

寬表將相關(guān)數(shù)據(jù)集中在一起，簡化了數(shù)據(jù)模型，使得數(shù)據(jù)分析和查詢更加直觀。數(shù)據(jù)分析人員不需要處理復(fù)雜的多表關(guān)系，從而減少了錯(cuò)誤的可能性。 提高數(shù)據(jù)讀取效率：

寬表可以減少IO操作次數(shù)。由于相關(guān)的數(shù)據(jù)集中存儲，讀取數(shù)據(jù)時(shí)可以一次性獲取所需信息，減少了數(shù)據(jù)讀取的次數(shù)和時(shí)間。 減少冗余存儲：

在某些情況下，寬表可以通過消除多表冗余數(shù)據(jù)存儲來節(jié)省存儲空間。雖然寬表本身可能會有較大的數(shù)據(jù)量，但與多表存儲相比較，整體存儲需求可能更低。 便于數(shù)據(jù)備份和恢復(fù)：

數(shù)據(jù)集中在一個(gè)表中，備份和恢復(fù)操作更加簡單和高效。無需在多個(gè)表之間進(jìn)行協(xié)調(diào)，減少了出錯(cuò)的幾率。 提高數(shù)據(jù)一致性：

寬表減少了由于多表結(jié)構(gòu)導(dǎo)致的數(shù)據(jù)一致性問題。所有相關(guān)數(shù)據(jù)存儲在一個(gè)表中，更新操作更加簡單，降低了數(shù)據(jù)不一致的風(fēng)險(xiǎn)。 優(yōu)化數(shù)據(jù)分析和機(jī)器學(xué)習(xí)：

寬表結(jié)構(gòu)適合大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)應(yīng)用，尤其是在需要進(jìn)行特征工程和特征選擇的場景下。所有相關(guān)特征數(shù)據(jù)集中存儲，方便進(jìn)行快速處理和分析。

劣勢:

存儲空間需求增加：

寬表通常包含大量的列和重復(fù)的數(shù)據(jù)，因此可能會占用更多的存儲空間，尤其是當(dāng)表中包含許多冗余信息時(shí)。 數(shù)據(jù)更新復(fù)雜性：

更新寬表中的數(shù)據(jù)可能會變得復(fù)雜且耗時(shí)，因?yàn)楸斫Y(jié)構(gòu)較大且字段眾多，任何更新操作都可能涉及到大量數(shù)據(jù)的修改，增加了操作的復(fù)雜性。 數(shù)據(jù)冗余：

為了減少多表連接，寬表中可能會存儲重復(fù)的數(shù)據(jù)，導(dǎo)致數(shù)據(jù)冗余。這不僅增加了存儲需求，還可能引發(fā)數(shù)據(jù)一致性問題。 靈活性降低：

寬表設(shè)計(jì)相對固定，添加新字段或修改現(xiàn)有結(jié)構(gòu)可能需要重新設(shè)計(jì)和遷移數(shù)據(jù)，這降低了數(shù)據(jù)模型的靈活性，不利于應(yīng)對快速變化的業(yè)務(wù)需求。 性能問題：

在某些場景下，寬表的查詢性能可能反而會下降，特別是在涉及到大量列掃描的情況下。如果表的寬度過大，可能會導(dǎo)致性能瓶頸。 維護(hù)成本高：

寬表的設(shè)計(jì)、管理和維護(hù)需要更多的精力和資源。由于表結(jié)構(gòu)復(fù)雜，任何變動都可能需要大量的測試和調(diào)整，增加了維護(hù)成本。 數(shù)據(jù)管理難度增加：

寬表包含大量列，管理和理解這些數(shù)據(jù)可能會變得更加困難。數(shù)據(jù)質(zhì)量、字段解釋和使用規(guī)范都需要嚴(yán)格管理，否則容易引發(fā)數(shù)據(jù)管理問題。 備份和恢復(fù)復(fù)雜性：

雖然寬表備份和恢復(fù)操作較為集中，但由于數(shù)據(jù)量大，備份和恢復(fù)的時(shí)間和資源需求也相應(yīng)增加，特別是在大規(guī)模數(shù)據(jù)環(huán)境中。

柚子快報(bào)邀請碼778899分享：hive 拉鏈表和寬表的優(yōu)劣勢

http://yzkb.51969.com/

精彩鏈接